そこで私は現在、Puppeteer を使用して NodeJS で Web スクレイピング プロジェクトに取り組んでいます。Web サイトによってブロックされないように、リクエストごとにプロキシを使用してローテーションする必要があります。
ただし、Puppeteer ではブラウザの起動ごとに 1 つのプロキシしか許可されず、ブラウザを再起動しないと変更できません。リクエストごとにブラウザを再起動すると、スクリプトに膨大な時間がかかります。
そこで、各リクエストをリストからランダムに選んだアップアドレスにリダイレクトするローカル プロキシ サーバーを作成できるかどうか、またその方法について考えていました。もちろん、プロキシ サーバーの言語は NodeJS である必要はありません。Python と Proxy Broker ライブラリを使用することを考えていましたが、どのように進めればよいかわかりません。
答え1
これを実行する Python プロジェクトがあります:プロキシブローカー
このプロジェクトではプロキシ [Finder | Checker | Server] が可能になります。HTTP(S) と SOCKS: