Actualmente estoy trabajando en un proyecto de web scraping en NodeJS, usando Puppeteer. Necesito usar y rotar servidores proxy en cada solicitud para evitar que el sitio web me bloquee.
Sin embargo, Puppeteer solo permite un proxy por inicio del navegador, que no se puede cambiar sin reiniciar el navegador. Reiniciar el navegador en cada solicitud agregaría una gran cantidad de tiempo al script.
Entonces me preguntaba si era posible y cómo podría escribir un servidor proxy local que redirija cada solicitud a una dirección aleatoria de una lista. Por supuesto, el idioma no tiene que ser NodeJS para el servidor proxy. Estaba pensando en usar Python y la biblioteca The Proxy Broker, pero no estoy seguro de cómo hacerlo.
Respuesta1
Existe este proyecto de Python que lo hace:agente proxy
Este proyecto permite proxy [Finder | inspector | Servidor]. HTTP(S) Y CALCETINES: