用於輪換遠端代理的本地代理伺服器

用於輪換遠端代理的本地代理伺服器

我目前正在 NodeJS 中使用 Puppeteer 開發網頁抓取專案。我需要在每個請求上使用和輪換代理,以避免被網站阻止。

但是,Puppeteer 只允許每次瀏覽器啟動使用一個代理,如果不重新啟動瀏覽器就無法變更該代理程式。每次請求時重新啟動瀏覽器都會為腳本增加大量時間。

所以我想知道這是否可能,以及如何編寫一個本地代理伺服器,將每個請求重定向到列表中的隨機地址。當然,代理伺服器的語言不必是 NodeJS。我想也許使用 Python 和代理程式庫,但我不確定如何做。

答案1

有一個 python 專案可以做到這一點:代理經紀商

該專案允許代理[Finder |檢查器|伺服器]. HTTP(S) 與 SOCKS:

相關內容