Итак, я сейчас работаю над проектом веб-скрейпинга в NodeJS, используя Puppeteer. Мне нужно использовать и менять прокси для каждого запроса, чтобы избежать блокировки со стороны веб-сайта.
Однако Puppeteer допускает только один прокси на запуск браузера, который нельзя изменить без перезапуска браузера. Перезапуск браузера при каждом запросе добавил бы огромное количество времени к скрипту.
Поэтому мне было интересно, возможно ли это и как я могу написать локальный прокси-сервер, который перенаправлял бы каждый запрос на случайный адрес из списка. Конечно, язык прокси-сервера не обязательно должен быть NodeJS. Я думал, может быть, использовать Python и библиотеку Proxy Broker, но я не уверен, как это сделать.
решение1
Вот проект на Python, который это делает:ProxyBroker
Этот проект позволяет использовать прокси-сервер [Finder | Checker | Server]. HTTP(S) и SOCKS: