Ich möchte ein Forum herunterladen, zu dem ich nur mit meinem Benutzernamen und meinem Passwort Zugang habe.
Ich habe Folgendes versucht:
C:\wget.exe wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.myforum1234.com/forum/categories/discussions
Das ist also der Befehl, den ich in meine cmd eingebe. Denn wenn ich auf wget.exe klicke, erscheint ein schwarzes Fenster, das aber sehr schnell wieder verschwindet. Aber ich denke, das ist auch der richtige Weg (ich verwende Windows XP)?
Mein Problem ist, dass die Ergebnisse zeigen, dass wget das Forum nicht herunterladen konnte, da es sich nicht anmelden konnte. Die Anmeldeseite wird also angezeigt (heruntergeladen), aber sonst nichts. Ich war angemeldet, als ich den Befehl ausführte.
Ich bin kein Wget-Profi, daher bin ich mir nicht sicher, ob mein Befehl richtig ist? Ich habe ihn aus einem anderen Beitrag kopiert. Ein einfacher C:\wget.exe wget http://www.theforumurl.comhat nicht funktioniert.
BEARBEITEN:
Ich habe jetzt auch versucht
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://www.myforum.com/forum/categories/discussions
Aber hier das gleiche Problem.
2. BEARBEITUNGzum Link im ersten Kommentar:
Ich habe jetzt versucht
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://www.myforum.com/forum/categories/discussions --post-data="username&password=1234"
Aber nochmal, dasselbe Problem!
Wenn ich mit der Maus über die Schaltfläche „Anmelden“ fahre, wird die folgende URL angezeigt:
http://www.myforum.com/user/popupLogin
Muss ich dieses verwenden?
3. BEARBEITUNG:
Ich habe auch versucht, vor dem www. den Benutzernamen:Passwort@ einzufügen, und zwar so:
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://user:[email protected]/forum/categories/
Das Ergebnis ist das gleiche, ich sehe, dass die Anmeldung nicht funktioniert hat.
4. BEARBEITUNG:
Ich habe auch versucht, gemäßdieser Thread:
C:\wget.exe wget --save-cookies cookies.txt --post-data 'user=usern&password=passw' http://www.myforum.com/user/popupLogin
C:\wget.exe wget --load-cookies cookies.txt -p http://www.myforum.com/forum/categories/
Aber nochmal, dasselbe Problem!!
5. BEARBEITUNG:
Ich glaube, ich habe jetzt den Quellcode des Login-Buttons isoliert:
<div class="forumSignup">
<a href="http://www.myforum.com/user/popupLogin" class="Button SignInPopup">Login</a> </div>
6. BEARBEITUNG:
Ich habe es auch mit HTTrack versucht, aber das Problem ist das gleiche: Der Login funktioniert nicht. Ein weiteres Problem scheint zu sein, dass das Forum selbst die URL www.mywebsite.com/forum verwendet, der Login aber für www.mywebsite.com erforderlich ist. Wenn ich also z. B. so etwas wie Benutzername verwende:[email geschützt]die meineWebsite wird erfasst, aber nicht das Forum. Wenn ich den Benutzernamen verwende:[email geschützt]/forum, die Anmeldung funktioniert nicht und es wird nichts erfasst.
Antwort1
Zunächst einmal würden C:\wget.exe -k -m …Sie den Namen nicht wiederholen wget.
Da die Anmeldung im Forum kompliziert erscheint (selbst bei einfachen Sites kann es komplex werden), besteht die beste Lösung wahrscheinlich darin, sich über den Browser anzumelden und die Cookies* dann an wget zu übergeben (entweder in eine Datei einfügen und verwenden --load-cookiesoder sie direkt mit übergeben --header "Cookie: name=value").
* Die Art und Weise der Extraktion kann je nach Browser leicht variieren.
Antwort2
Wget interpretiert es <pass>@serveraddressals Port.
Um einen Benutzernamen und ein Passwort anzugeben, verwenden Sie die Schalter --userund --password:
wget --user username --password passw http://...
Antwort3
Es ist schwierig, eine Site mit Login über zu spiegeln wget. Sie benötigen Expertenwissen, um zu verwenden wget. Derzeit geben Sie Benutzername und Passwort, Cookies und erforderliche Schalter ein.
Weitere Dinge, die zu tun sind:
1. Vermeiden Sie das Spiegeln, bis alles in Ordnung ist, da das rekursive Herunterladen der Seite den Webserver zwingt, Ihre IP zur Blacklist hinzuzufügen. (Versuchen Sie, eine einzelne Seite zu speichern.)
2. Täuschen Sie wget als Browser vor, da die meisten Webforen Download-Manager hassen. SieheDasAntworten Sie für weitere Informationen.
Beste Lösung
Der beste und einfachste Weg, diese Art von Site zu spiegeln, ist die Verwendung von **Sammelalbum**. Es ist ein Firefox-Plugin. Alles, was Sie tun müssen, ist, Firefox zu starten, sich auf der Site anzumelden, mit der rechten Maustaste zu klicken -> Seite speichern unter, nach Domain filtern. SieheDasAntwort, um eine Site effizient zu spiegeln.
Antwort4
Wenn Sie über einen Browser Zugriff auf die Cookie-Daten haben (Firefox verfügt über einen eigenen Cookie-Browser unter Optionen->Datenschutz, es gibt jedoch Plugins, die diese Aufgabe erleichtern), melden Sie sich manuell im Forum an, suchen Sie nach allen Cookies für diese Domäne und speichern Sie sie in der Datei cookies.txt. Mit Ihrem vorherigen Befehl würde es wahrscheinlich funktionieren:
C:\wget.exe wget --load-cookies cookies.txt -p http://www.myforum.com/forum/categories/
Einige Anmeldeseiten sind viel zu komplex, um zu versuchen, die Aufgabe in einer einzigen Befehlszeile auszuführen.
Denken Sie daran, ALLE Cookies für die gesamte Domain einzuschließen (suchen Sie nach „myforum.com“, nicht nur nach „www.myforum.com“).