如何使用遞歸 wget 取得所有連結的清單?

如何使用遞歸 wget 取得所有連結的清單?

我想獲取給定網頁上所有連結的列表(遞歸地)。如果不使用 wget -r ,我似乎無法找出如何做到這一點。我不想保存所有垃圾,只想保存連結。有任何想法嗎?

答案1

我使用此命令僅獲取 YouTube 影片(https://www.youtube.com/watch?v=XXXXXXXXX

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep --color  'watch?v='

您可以使用它並更改 grep 選項,如下所示:對於我的示例,如果您想跳過 YouTube 視頻,請使用“grep -v”:

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep -v 'watch?v='

相關內容