Ein Freund von mir hat eine Reihe von MKV-Dateien auf einem öffentlichen Server abgelegt. Wie kann ich sie alle mit einem Wget-Befehl herunterladen?
Ich habe versucht
wget -r [path]
das einfach die Indexdatei robots.txt greift und die mkvs überspringt. Ich habe auch versucht
wget -r -A.mkv
Wenn ich versuche, eine einzelne Datei direkt abzurufen, funktioniert es einwandfrei. Was mache ich hier falsch? Die Manpage ist sehr lang, also habe ich möglicherweise die entsprechende Option einfach übersprungen. In diesem Fall bitte ich um Entschuldigung.
Antwort1
Meine Vermutung: Ihre Antwort ist hier:http://www.robotstxt.org/
Die Manpage für wget bietet einen Workaround, aber es ist nicht schön, robots.txt zu ignorieren, daher empfehle ich es nicht (Sie können es selbst nachschlagen). Sie können überprüfen, ob dies das eigentliche Problem ist, indem Sie den Text lesen
curl http://somedomain.com/robots.txt