wget (или curl) все содержимое темы форума?

Question

URL-адрес темы форума, к которой я пытаюсь получить доступ, имеет вид

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

я пробовал

wget --user-agent=Mozilla/5.0 -k -m -E -p -np -Rhttp://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=1

и мне не повезло.

Answer 1

Почему бы не просто в цикле for:

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

или, возможно, лучше использовать цикл while, хотя писать его немного длиннее:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done

Answer 2

Может быть, стоит проверить, поддерживает ли форум rss-каналы разделов/тем. Это сэкономит вам нервы.