從 Google 搜尋中取得多個頁面

Question

我正在編寫一個 bash 腳本來從谷歌搜尋中獲取一些數據。我lynx用於查詢並將結果重定向到文件中以供稍後解析。問題是我得到的只是一頁，我怎麼才能lynx得到下一頁/頁數？

---

我使用 grep 和 cut 將 URL 隔離為“www.google.com/search?q=.....”，但是當我嘗試將其重新發送到 lynx 時，它不會打開下一頁，只是顯示鏈接而不打開它有什麼建議嗎？氨氮

Answer 1

我猜您需要瀏覽頁面底部的所有鏈接，搜索結果不會壓縮到一頁中。

您需要自己解析並下載每個結果。