Apache의 블록 크롤러

Question

Apache에서 크롤러를 차단하려고 합니다.

    <Directory /to/my/site/>
        Options Indexes FollowSymLinks
        AllowOverride All
        Order deny,allow
        deny from 18.*.*.*
        deny from 35.*.*.*
        deny from *.us-west-2.compute.amazonaws.com
        deny from *.*.compute.amazonaws.com
        Allow from all
    </Directory>

그러나 이는 이러한 IP에서 들어오는 트래픽을 차단하지 않는 것 같습니다. 내가 무엇을 놓치고 있나요?

Answer 1

먼저로봇.txt정중한 크롤러를 중지하려면 웹페이지로 이동하세요.

Deny지원되지 않는 와일드카드 구문을 사용했기 때문에 귀하의 명령문이 작동하지 않습니다(참조:아파치의 문서). 지시문은 다음과 같아야 합니다.

Deny from 18 35
Deny from .compute.amazonaws.com