Для того, чтобы:
- Повысить безопасность моего сайта
- Снизить требования к полосе пропускания
- Предотвратить сбор адресов электронной почты
решение1
Ни один бот, который собирает электронные письма или проверяет ваш сайт на уязвимости, не будет уважать ваш robots.txt. Фактически, эти вредоносные боты просматривают robots.txt, чтобы лучше сопоставить ваш сайт. Если у вас есть какая-либо точка, Disallow:это будет использовано для лучшей атаки на ваш сайт. Хакер, который вручную просматривает ваш сайт, должен потратить дополнительное время на проверку любых файлов/каталогов, которые вы пытаетесь запретить.
решение2
robots.txt не повысит безопасность вашего сайта и не предотвратит сбор адресов электронной почты. robots.txt — это руководство для поисковых систем, чтобы пропускать разделы вашего сайта. Они не будут индексироваться и должны использоваться для любых разделов, которые вы не хотите показывать в публичных поисковых системах.
Однако это никоим образом не помешает другим ботам загрузить весь ваш сайт для повышения безопасности или предотвращения сбора адресов электронной почты. Для повышения безопасности вам нужно добавить аутентификацию и разрешить только аутентифицированным пользователям выходить за пределы защищенных разделов. Чтобы предотвратить сбор адресов электронной почты, не размещайте электронные письма в виде простого текста (или легко читаемого текста) на веб-сайте.
решение3
robots.txt не поможет вам с безопасностью. Любой бот, который захочет сделать что-то подозрительное, в любом случае проигнорирует его.
решение4
Вместо robots.txt, возможно, вам следует использовать коды CAPTCHA.