Blockieren Sie Crawler auf Apache

Question

Ich versuche, Crawler auf Apache zu blockieren

    <Directory /to/my/site/>
        Options Indexes FollowSymLinks
        AllowOverride All
        Order deny,allow
        deny from 18.*.*.*
        deny from 35.*.*.*
        deny from *.us-west-2.compute.amazonaws.com
        deny from *.*.compute.amazonaws.com
        Allow from all
    </Directory>

Allerdings scheint dies den Datenverkehr von keiner dieser IPs zu blockieren. Was übersehe ich?

Answer 1

Versuchen Sie zunächst,robots.txtzu Ihrer Webseite, um Polite Crawler zu stoppen.

Deine DenyAngaben funktionieren nicht, da du eine nicht unterstützte Syntax für Wildcards verwendest (vgl.Apache-Dokumentation). Die Anweisungen sollten lauten:

Deny from 18 35
Deny from .compute.amazonaws.com