Мне нужно настроить Windows 8.1 для веб-скрапера
Я использую тысячи потоков для одновременного сканирования.
Для процесса сканирования я использую свой собственный написанный на C# HttpWebRequest с использованием краулера
Однако у меня возникают проблемы при использовании прокси-серверов.
Я не знаю, что вызывает ошибку, однако количество установленных подключений продолжает расти, и в системе ничего не может подключиться, пока я не закрою приложение, не отключу сетевую карту и не включу ее снова.
Я правильно удаляю каждое соединение, даже если оно неожиданно прерывается.
Это настройки, которые я нашел на данный момент, но интересно, есть ли еще какие-нибудь настройки, которые я могу сделать?
Мой компьютер очень мощный, поэтому у меня нет ограничений по оборудованию.
regedit твики TCPIP
- установите TcpTimedWaitDelay на 30 секунд
- TcpFinWait2Delay: 30 секунд
- секунд установите MaxUserPort на 32k
- Включить DynamicBacklog: 1
- Минимальный динамический бэклог: 20
- Максимальный динамический бэклог: 10 тыс.
- DynamicBacklogGrowthDelta: 100
- Включить TCPA: 1
- TcpAckFrequency: 1
- TCPNoDelay : 1
- TcpDelAckTicks: 1
- ЛокальныйПриоритет=4
- HostsPriority=5
- DNS-приоритет=6
- NetbtPriority=7
Команды cmd:
- netsh int tcp set global autotuninglevel=disabled
- netsh int tcp set global ecncapability=enabled
- netsh int tcp установить глобальный rss=enabled
- netsh int tcp set global chimney=enabled
- netsh int tcp set эвристика отключена
- netsh int tcp set global dca=enabled
мои текущие настройки
Мой компьютер — Core i7 2600k @ 4,5 ГГц = 8 потоков, 32 ГБ оперативной памяти, RAID 0, SSD-диски в качестве диска C.
Через некоторое время установленные счетчики подключений не уменьшаются и продолжают увеличиваться. Когда это происходит, подключение к интернету теряется
