Como obter uma lista de todos os links usando um wget recursivo?

Question

Gostaria de obter uma lista de todos os links de uma determinada página da Web (recursivamente). Não consigo descobrir como fazer isso sem apenas usar um wget -r . Não quero salvar todo o lixo, apenas os links. Alguma ideia?

Answer 1

Eu uso esses comandos para obter apenas vídeos do YouTube (https://www.youtube.com/watch?v=XXXXXXXXX)

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep --color  'watch?v='

Você pode usar isso e alterar as opções do grep assim: No meu exemplo, se você quiser pular os vídeos do YouTube, use 'grep -v':

wget --spider --force-html -r -l2 "https://www.youtube.com"  2>&1 | grep -v 'watch?v='