재귀적 wget을 사용하여 모든 링크 목록을 얻는 방법은 무엇입니까?

Question

특정 웹페이지에 있는 모든 링크의 목록을 (재귀적으로) 얻고 싶습니다. 그냥 wget -r 을 실행하지 않고서는 어떻게 하는지 알 수 없는 것 같습니다. 나는 모든 정크를 저장하고 싶지 않고 링크만 저장하고 싶습니다. 어떤 아이디어가 있나요?

Answer 1

나는 이 명령을 사용하여 YouTube 비디오(https://www.youtube.com/watch?v=XXXXXXXXX)

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep --color  'watch?v='

이것을 사용하고 grep 옵션을 다음과 같이 변경할 수 있습니다. 제 예에서는 YouTube 비디오를 건너뛰려면 'grep -v'를 사용하세요.

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep -v 'watch?v='