¿Wget (o curl) todo el contenido de un hilo del foro?

Question

La URL del hilo del foro al que estoy intentando acceder tiene el formato

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

He intentado

wget --user-agent=Mozilla/5.0 -k -m -E -p -np -Rhttp://dominio/showthread.php?noseen=0&threadid=3333333&pagenumber=1

y no he tenido suerte.

Answer 1

¿Por qué no simplemente en un bucle for?

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

o quizás sea mejor un bucle while, si se escribe un poco más:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done

Answer 2

Podría valer la pena comprobar si el foro admite feeds rss de secciones/hilos. Te ahorraría molestias.