Atualmente, estou trabalhando em um projeto de web scraping em NodeJS, usando o Puppeteer. Estou precisando usar e alternar proxies em cada solicitação para evitar ser bloqueado pelo site.
No entanto, o Puppeteer permite apenas um proxy por inicialização do navegador, que não pode ser alterado sem reiniciar o navegador. Reiniciar o navegador em cada solicitação adicionaria muito tempo ao script.
Então, eu queria saber se isso era possível e como eu poderia escrever um servidor proxy local que redirecionasse cada solicitação para um endereço aleatório de uma lista. A linguagem não precisa ser NodeJS para o servidor proxy, é claro. Eu estava pensando em usar Python e a biblioteca Proxy Broker, mas não tenho certeza de como fazer isso.
Responder1
Existe este projeto python que faz isso:Corretor de proxy
Este projeto permite Proxy [Finder | Verificador | Servidor]. HTTP(S) e MEIAS: