Wget — Извлечение рекурсивных URL-адресов из списка URL-адресов

Wget — Извлечение рекурсивных URL-адресов из списка URL-адресов

У меня есть список URL-адресов в текстовом файле. Каждый из этих URL-адресов указывает на страницу с другим списком URL-адресов. Какую команду WGET я могу использовать для извлечения URL-адресов со страниц, на которые есть ссылки из URL-адресов в моем текстовом файле?

ПРИМЕЧАНИЕ: Я не хочу загружать файлы, а просто вывести список URL-адресов в текстовый файл.

решение1

(не проверено):

wget -r -l 1 -i file

wgetУ команды много опций... В этом случае:

  • -rозначает рекурсивный
  • -l 1означает только один уровень рекурсии (попробуйте 2, если одного недостаточно)
  • -i fileозначает, что файл содержит список URL-адресов отправных точек

Связанный контент