하기 위해:
- 내 웹사이트의 보안을 강화하세요
- 대역폭 요구 사항 감소
- 이메일 주소 수집 방지
답변1
이메일을 수집하거나 사이트의 취약점을 테스트하는 봇은 robots.txt를 존중하지 않습니다. 실제로 이러한 악성 봇은 사이트를 더 잘 매핑하기 위해 robots.txt를 확인합니다. 어떤 포인트가 있으면 Disallow:사이트를 더 잘 공격하는 데 사용됩니다. 귀하의 사이트를 수동으로 살펴보는 해커는 귀하가 허용하지 않으려는 파일/디렉터리를 검사하는 데 추가 시간을 소비해야 합니다.
답변2
robots.txt는 웹사이트의 보안을 강화하거나 이메일 주소 수집을 방지하지 않습니다. robots.txt는 검색 엔진이 웹 사이트의 섹션을 건너뛸 수 있도록 하는 가이드입니다. 이러한 항목은 색인화되지 않으며 공개 검색 엔진에 표시되기를 원하지 않는 섹션에 사용되어야 합니다.
그러나 이것이 보안을 강화하거나 이메일 수집을 방지하기 위해 다른 봇이 전체 사이트를 다운로드하는 것을 결코 막지는 못합니다. 보안을 강화하려면 인증을 추가하고 보안 섹션 너머에는 인증된 사용자만 허용해야 합니다. 이메일 주소 수집을 방지하려면 이메일을 웹사이트에 일반 텍스트(또는 쉽게 해독할 수 있는 텍스트)로 넣지 마세요.
답변3
robots.txt는 보안에 도움이 되지 않습니다. 수상한 일을 하려는 봇은 어쨌든 이를 무시할 것입니다.
답변4
robots.txt 대신 CAPTCHA 코드를 사용해야 할 수도 있습니다.