ウェブスクレイパー用にWindows 8.1を調整する必要がある
同時クロールに数千のスレッドを使用しています
クロールプロセスでは、クローラーを使用して自分で書いたC# HttpWebRequestを使用しています。
しかし、プロキシを使用すると問題が発生します
エラーの原因はわかりませんが、確立された接続数は積み重なり続けますが、アプリケーションを終了し、ネットワークカードを無効にして再度有効にするまで、システム上で何も接続できません。
接続が予期せず終了した場合でも、すべての接続を適切に処理しています
これらは私がこれまでに見つけたチューニングですが、他にできるチューニングはあるのでしょうか?
私のコンピュータは非常に強力なので、ハードウェアの制限はありません
regedit で TCPIP を調整する
- TcpTimedWaitDelayを30秒に設定する
- TcpFinWait2Delay: 30秒
- 秒MaxUserPortを32kに設定
- ダイナミックバックログを有効にする: 1
- 最小ダイナミックバックログ: 20
- 最大ダイナミックバックログ: 10k
- 動的バックログ成長デルタ: 100
- TCPAを有効にする: 1
- TCPAck頻度: 1
- TCP遅延なし: 1
- TcpDelAckTicks: 1 秒
- ローカル優先度=4
- ホスト優先度=5
- DNS優先度=6
- ネットbt優先度=7
cmd コマンド:
- netsh int tcp グローバル自動チューニングレベルを無効に設定します
- netsh int tcp グローバル ecncapability=有効を設定します
- netsh int tcp グローバル rss を有効にする
- netsh int tcp グローバル chimney=有効 を設定します
- netsh int tcp ヒューリスティックを無効にする
- netsh int tcp グローバル dca=有効を設定します
現在の設定
私のコンピューターは、Core i7 2600k @ 4.5 ghz = 8 スレッド、32 GB RAM、RAID 0 SSD、C ドライブとしてのディスクです。
しばらくすると、確立された接続数は減少せず、増加し続けます。これが発生すると、インターネット接続が失われます。
