Ich verwende wget --spider. Es verbraucht viel RAM-Speicher. Wie kann ich die RAM-Speichernutzung durch den wget-Befehl einschränken?
wget --spider -r -c http://www.example.org 2>&1 | grep '^--' | awk '{ print $3 }' | grep -v '\.\(css\|js\|png\|gif\|jpg\|JPG\)$' > example.txt
"-c" funktioniert nicht mit --spider? Ich möchte die Links in example.txt einfügen und die txt zu einem späteren Zeitpunkt weiter mit den Links füttern können