Necesito ajustar mi Windows 8.1 para un web scraper
Estoy usando miles de hilos para rastreo simultáneo
Para el proceso de rastreo, estoy usando mi propio C# HttpWebRequest escrito usando el rastreador.
Sin embargo, tengo problemas cuando uso proxies.
No sé qué causa el error, sin embargo, el recuento de conexiones establecidas sigue acumulándose mientras nada en el sistema puede conectar nada hasta que finalice la aplicación, desactive la tarjeta de red y vuelva a habilitarla.
Estoy eliminando adecuadamente todas las conexiones, incluso si la conexión finaliza inesperadamente.
Estas son las afinaciones que he encontrado hasta ahora, pero me pregunto si hay otras afinaciones que pueda hacer.
Mi computadora es muy potente, así que no tengo limitaciones de hardware.
regedit modifica TCPIP
- establezca TcpTimedWaitDelay en 30 segundos
- TcpFinWait2Delay: 30 segundos
- segundos establezca MaxUserPort en 32k
- Habilitar retraso dinámico: 1
- Atraso dinámico mínimo: 20
- Atraso dinámico máximo: 10k
- Delta de crecimiento del backlog dinámico: 100
- Habilitar TCPA: 1
- TcpAckFrecuencia: 1
- TCPSinRetraso: 1
- TcpDelAckTicks: 1
- Prioridad local=4
- Prioridad de hosts=5
- Prioridad DNS=6
- Prioridad netbt=7
comandos cmd:
- netsh int tcp establece nivel de autoajuste global = deshabilitado
- netsh int tcp establece capacidad global = habilitado
- netsh int tcp establece global rss = habilitado
- netsh int tcp establece chimenea global = habilitado
- netsh int tcp establece heurísticas deshabilitadas
- netsh int tcp establece dca global = habilitado
mi configuración actual
mi computadora es core i7 2600k @ 4.5 ghz = 8 subprocesos 32 gb de ram raid 0 discos ssd como unidad C
Después de un tiempo, el número de conexiones establecidas nunca disminuye y sigue aumentando. Cuando esto sucede, se pierde la conectividad a Internet.
