Apache 上的塊狀爬蟲

Question

我正在嘗試阻止 Apache 上的爬蟲

    <Directory /to/my/site/>
        Options Indexes FollowSymLinks
        AllowOverride All
        Order deny,allow
        deny from 18.*.*.*
        deny from 35.*.*.*
        deny from *.us-west-2.compute.amazonaws.com
        deny from *.*.compute.amazonaws.com
        Allow from all
    </Directory>

然而，這似乎並沒有阻止來自任何這些 IP 的流量。我缺什麼？

Answer 1

首先你應該嘗試增加一個機器人.txt到您的網頁以阻止禮貌的爬蟲。

您的Deny語句不起作用，因為您使用了不支援的通配符語法（參見阿帕奇的文檔）。指令應該是：

Deny from 18 35
Deny from .compute.amazonaws.com