В качестве возможного решения дляеще одна проблема, возможно ли сделатьwget
РаспечататьURL-адреса, которые он находит в целевом документе,он учитывает как реквизиты страницы?Я бы предпочел не создавать код для парсинга простой задачи, над которой я работаю.
решение1
Вы можете сделать что-то вроде:
wget -nv -p -nd --delete-after <url>
Что выведет что-то вроде:
2017-06-01 21:37:41 URL:<url> [19101] -> "index.html.3" [1]
2017-06-01 21:37:42 URL:<url>robots.txt [24/24] -> "robots.txt" [1]
2017-06-01 21:37:42 URL:<url>rc/1502.css [19106/19106] -> "1502.css" [1]
2017-06-01 21:37:42 URL:<url>favicon.ico [5390/5390] -> "favicon.ico" [1]
2017-06-01 21:37:42 URL:<url>avatar/nopic.jpg [893/893] -> "nopic.jpg
Его можно быстро преобразовать или отфильтровать во что-то, что соответствует вашим потребностям.