Um amigo meu colocou vários arquivos mkv em um servidor público. Como posso baixar todos eles com um comando wget?
eu tentei
wget -r [path]
que simplesmente pega o arquivo de índice, robots.txt e ignora os mkvs. Eu também tentei
wget -r -A.mkv
Se eu tentar obter um arquivo individual diretamente, ele funcionará bem. O que estou fazendo de errado aqui? A página de manual é muito longa, então possivelmente eu pulei a opção relevante e, nesse caso, peço desculpas.
Responder1
Meu palpite: sua resposta está aqui:http://www.robotstxt.org/
A página de manual do wget tem uma solução alternativa, mas não é legal ignorar o robots.txt, então não o recomendo (você mesmo pode pesquisar). Você pode verificar se este é o problema real visualizando o texto
curl http://somedomain.com/robots.txt