サーバーに IP フェイルオーバー (32 IP / OVH) を追加しました。このサーバー上の Docker の 1 つのコンテナーにプロキシ サーバーを構築したいと考えています。このような状況ではどのツール/ライブラリが最適ですか?
Puppeteer 経由で複数のページをスクレイピングするためのプロキシが必要です。現在、10 行のプロキシを使用しており、スクレイピング用に 10 行のような類似のリンクが必要です: curl -k "http://example.com" -L -x "http://67e5d6108f831a320d4e70e88e410a58518a9ade:@proxy.zenrows.com:8001"
Squid について考えていますが、それは良い選択肢でしょうか?
答え1
はい、squid-cache はフォワードプロキシに適したオプションです。
Ubuntu の docker イメージ ubuntu/squid を使用できます。
ベストプラクティスについて:
- プロキシの認証または少なくともソースIP制限を設定する
- HTTPS 経由で認証します。数年前、ほとんどの JavaScript ライブラリが HTTP 経由のプロキシのみをサポートしていたため、これを実行するにはいくつかの課題がありましたが、結局のところ、これは実現可能です。