wget(或curl)論壇貼文的全部內容?

wget(或curl)論壇貼文的全部內容?

我嘗試造訪的論壇主題的 URL 格式為

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

我試過了

wget --user-agent=Mozilla/5.0 -k -m -E -p -np -Rhttp://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=1

我就沒那麼幸運。

答案1

為什麼不只是在 for 迴圈:

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

或者也許 while 迴圈更好,如果寫得長一點:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done

答案2

可能值得檢查論壇是否支援節/主題的 RSS 提要。這樣可以省去你的麻煩。

相關內容