Я пишу скрипт bash для получения некоторых данных из поиска Google. Я использовал lynxдля запроса и перенаправил результаты в файл для последующего анализа. Проблема в том, что все, что я получаю, это только одна страница, как мне получить lynxследующую страницу / количество страниц?
Я использовал grep и cut, чтобы выделить URL-адрес, который должен быть вида "www.google.com/search?q=.....", но затем, когда я пытаюсь повторно отправить его в lynx, он не открывает следующую страницу, а просто показывает ссылку, не открывая ее. Есть какие-нибудь предложения? TNX
решение1
Полагаю, вам придется пройти по всем ссылкам внизу страницы, поскольку результаты поиска не сведены на одну страницу.
Вам придется анализировать и загружать каждый из результатов по отдельности.