Google 검색에서 일부 데이터를 가져오기 위해 bash 스크립트를 작성 중입니다. lynx쿼리에 사용 하고 나중에 구문 분석을 위해 결과를 파일로 리디렉션했습니다. 문제는 내가 얻는 것은 한 페이지뿐이라는 것입니다. lynx다음 페이지/페이지 수를 얻으려면 어떻게 해야 합니까?
grep과 cut을 사용하여 URL을 "www.google.com/search?q=....." 종류로 분리했지만 lynx로 다시 보내려고 하면 다음 페이지가 열리지 않습니다. 제안 사항을 열지 않고 링크만 표시합니까? TNX
답변1
페이지 하단에 있는 모든 링크를 살펴보아야 할 것 같습니다. 검색 결과가 하나의 페이지로 압축되지 않습니다.
각 결과를 직접 구문 분석하고 다운로드해야 합니다.