我需要針對網頁抓取工具調整我的 Windows 8.1
我正在使用數千個線程進行並發抓取
對於爬行過程,我使用自己編寫的 c# HttpWebRequest 使用爬蟲
但是我在使用代理時遇到問題
我不知道是什麼原因導致錯誤,但是已建立的連接計數不斷堆積,而係統上沒有任何東西可以連接任何東西,直到我終止應用程序,禁用網卡並再次啟用
即使連接意外終止,我也會正確處理每個連接
這些是我到目前為止找到的調音,但我想知道我還可以進行其他調音嗎?
我的電腦很強大所以我沒有硬體限制
regedit 調整 TCPIP
- 將 TcpTimedWaitDelay 設定為 30 秒
- TcpFinWait2Delay : 30 秒
- 秒將 MaxUserPort 設定為 32k
- 啟用動態待辦事項:1
- 最小動態積壓:20
- 最大動態積壓:10k
- 動態待辦事項成長增量:100
- 啟用TCPA:1
- TcpAck 頻率:1
- TCP無延遲:1
- TcpDelAckTicks : 1
- 本地優先權=4
- 主機優先權=5
- Dns優先權=6
- 網路優先權=7
cmd指令:
- netsh int tcp 設定全域自動調整等級=停用
- netsh int tcp 設定全域 ecncapability=啟用
- netsh int tcp 設定全域 rss=啟用
- netsh int tcp 設定全域煙囪=啟用
- netsh int tcp 設定啟發式已停用
- netsh int tcp 設定全域 dca=啟用
我目前的設置
我的電腦是 core i7 2600k @ 4.5 ghz = 8 個線程 32 GB RAM raid 0 SSD 磁碟作為 C 驅動器
一段時間後,建立的連線計數永遠不會減少並持續增加。發生這種情況時,網路連線會遺失