Estou escrevendo um script bash para obter alguns dados da pesquisa do Google. Usei lynxpara a consulta e redirecionei os resultados para um arquivo para análise posterior. O problema é que tudo que obtenho é apenas uma página. Como posso lynxobter a próxima página/número de páginas?
Usei grep e cut para isolar o URL para ser do tipo "www.google.com/search?q=..." mas quando tento reenviá-lo para o lynx ele não abre a próxima página, apenas mostra o link sem abri-lo, alguma sugestão? TNX
Responder1
Suponho que você precisaria passar por todos os links na parte inferior da página, os resultados da pesquisa não estão condensados em uma única página.
Você precisaria analisar e baixar cada um dos resultados sozinhos.