Ich muss mein Windows 8.1 für einen Web Scraper optimieren
Ich verwende Tausende von Threads für das gleichzeitige Crawlen
Für den Crawling-Prozess verwende ich meinen selbst geschriebenen C# HttpWebRequest mit Crawler
Allerdings habe ich Probleme, wenn ich Proxys verwende
Ich weiß nicht, was die Fehlerursache ist, aber die Anzahl der hergestellten Verbindungen stapelt sich weiter, während nichts auf dem System eine Verbindung herstellen kann, bis ich die Anwendung beende, die Netzwerkkarte deaktiviere und wieder aktiviere
Ich beende jede Verbindung ordnungsgemäß, auch wenn sie unerwartet beendet wird.
Dies sind die Stimmungen, die ich bisher gefunden habe, aber ich frage mich, ob es noch andere Stimmungen gibt, die ich vornehmen kann?
Mein Computer ist sehr leistungsstark, daher habe ich keine Hardwarebeschränkungen
regedit optimiert TCPIP
- Setzen Sie TcpTimedWaitDelay auf 30 Sekunden
- TcpFinWait2Delay: 30 Sekunden
- Sekunden MaxUserPort auf 32k setzen
- EnableDynamicBacklog: 1
- Minimaler dynamischer Rückstand: 20
- Maximaler dynamischer Rückstand: 10.000
- DynamicBacklogGrowthDelta: 100
- TCPA aktivieren: 1
- TcpAckFrequency: 1
- TCPNoDelay: 1
- TcpDelAckTicks: 1
- LokalePriorität=4
- HostsPriority=5
- DNS-Priorität = 6
- NetbtPriority=7
cmd-Befehle:
- netsh int tcp set global autotuninglevel=deaktiviert
- netsh int tcp set global ecncapability=aktiviert
- netsh int tcp set global rss=aktiviert
- netsh int tcp set global fireplace=aktiviert
- netsh int tcp set heuristics deaktiviert
- netsh int tcp set global dca=aktiviert
meine aktuellen Einstellungen
mein Computer ist ein Core i7 2600k mit 4,5 GHz = 8 Threads, 32 GB RAM, RAID 0 SSD-Festplatten als Laufwerk C
Nach einer Weile wird die Anzahl der hergestellten Verbindungen nie mehr verringert und steigt weiter an. Wenn dies geschieht, geht die Internetverbindung verloren
