그래서 저는 현재 Puppeteer를 사용하여 NodeJS에서 웹 스크래핑 프로젝트를 진행하고 있습니다. 웹사이트에서 차단되는 것을 방지하려면 각 요청마다 프록시를 사용하고 교체해야 합니다.
그러나 Puppeteer는 브라우저 실행당 하나의 프록시만 허용하며 브라우저를 다시 시작하지 않으면 변경할 수 없습니다. 각 요청에 대해 브라우저를 다시 시작하면 스크립트에 엄청난 시간이 추가됩니다.
그래서 이것이 가능한지, 각 요청을 목록의 임의의 상위 주소로 리디렉션하는 로컬 프록시 서버를 어떻게 작성할 수 있는지 궁금했습니다. 물론 프록시 서버용 언어가 NodeJS일 필요는 없습니다. Python과 Proxy Broker 라이브러리를 사용할 수도 있다고 생각했는데 어떻게 해야 할지 잘 모르겠습니다.
답변1
이를 수행하는 Python 프로젝트가 있습니다.프록시브로커
이 프로젝트는 [Finder | 체커 | 섬기는 사람]. HTTP(S) 및 양말: