☰

wget 鏡像網站失敗 - 403 Forbidden，即使使用使用者代理

tag-icon • tag-icon linux apache-http-server wget mirroring suricata
wget 鏡像網站失敗 - 403 Forbidden，即使使用使用者代理

我需要從這個網址下載suricata的最新規則：

http://rules.emergingthreats.net/blockrules/

我正在嘗試根據不同的新興規則和snort 的規則來製定自己的規則。嘗試替換alert為drop.

我什至無法下載所有規則，因為 apache 2.2.22 的rules.emergingthreats.net配置以某種方式針對wget.

我的命令如下圖所示：

# wget -m --user-agent="Mozilla/5.0 (X11; U; Linux x86_64; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3"  "https://rules.emergingthreats.net/"

我正在嘗試鏡像整個網站。

--2014-07-22 06:18:49--  https://rules.emergingthreats.net/
Resolving rules.emergingthreats.net (rules.emergingthreats.net)... 204.12.217.19, 96.43.137.99
Connecting to rules.emergingthreats.net (rules.emergingthreats.net)|204.12.217.19|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘rules.emergingthreats.net/index.html’

    [ <=>                                                                                                                                                                    ] 1,951       --.-K/s   in 0s      

Last-modified header missing -- time-stamps turned off.
2014-07-22 06:18:50 (23.3 MB/s) - ‘rules.emergingthreats.net/index.html’ saved [1951]

此後，所有內部目錄都會給我403 Forbidden：

--2014-07-22 06:18:51--  https://rules.emergingthreats.net/blockrules/
Reusing existing connection to rules.emergingthreats.net:443.
HTTP request sent, awaiting response... 403 Forbidden
2014-07-22 06:18:51 ERROR 403: Forbidden.

我成功瀏覽了網站（目錄），我可以使用我的瀏覽器 - chromium（Ubuntu）下載任何檔案。

為什麼wget獲取數據失敗？

答案1

嘗試

wget -mk -w 20 --user-agent="Mozilla/4.5 (X11; U; Linux x86_64; en-US)" https://rules.emergingthreats.net

網站可能不知道較新的瀏覽器規範，並且您將網站網址放在引號內

相關內容