내 친구가 공용 서버에 mkv 파일을 잔뜩 올렸는데, wget 명령 하나로 이 파일들을 모두 다운로드하려면 어떻게 해야 합니까?
나는 시도했다
wget -r [path]
이는 단순히 인덱스 파일 robots.txt를 가져오고 mkvs를 건너뜁니다. 나도 시도했다
wget -r -A.mkv
개별 파일을 직접 가져오려고 하면 잘 작동합니다. 여기서 내가 뭘 잘못하고 있는 걸까요? 매뉴얼 페이지가 매우 길어서 관련 옵션을 건너뛰었을 수도 있습니다. 그런 경우에는 사과드립니다.
답변1
내 추측은 다음과 같습니다. 답변은 다음과 같습니다.http://www.robotstxt.org/
wget의 매뉴얼 페이지에는 해결 방법이 있지만 robots.txt를 무시하는 것은 좋은 일이 아니므로 권장하지 않습니다(직접 찾아볼 수 있음). 텍스트를 보면 이것이 실제 문제인지 확인할 수 있습니다.
curl http://somedomain.com/robots.txt