Ich habe meinem Server IP Failover hinzugefügt (32 IP / OVH). Ich möchte auf diesem Server einen Proxyserver auf einem Container auf Docker erstellen. Welches Tool/welche Bibliothek ist in dieser Situation am besten?
Ich brauche einen Proxy, um mehrere Seiten über Puppeteer zu scrapen. Momentan verwende ich einen Ten-Rows-Proxy und möchte ähnliche Links wie Ten-Rows zum Scrapen: curl -k "http://example.com" -L -x "http://67e5d6108f831a320d4e70e88e410a58518a9ade:@proxy.zenrows.com:8001"
Ich denke an Squid. Ist das eine gute Option?
Antwort1
Ja, Squid-Cache ist eine gute Option für Forward-Proxy.
Sie können das Docker-Image Ubuntu/Squid von Ubuntu verwenden.
Bezüglich bewährter Vorgehensweisen:
- Legen Sie Authentifizierung oder zumindest Quell-IP-Einschränkungen für Ihren Proxy fest
- Authentifizieren Sie es über HTTPS. Ich hatte dabei vor ein paar Jahren einige Schwierigkeiten, da die meisten JavaScript-Bibliotheken nur Proxy über HTTP unterstützten, aber letztendlich ist es machbar.