Con el fin de:
- Aumentar la seguridad de mi sitio web
- Reducir los requisitos de ancho de banda
- Evitar la recolección de direcciones de correo electrónico
Respuesta1
Ningún robot que recopile correos electrónicos o pruebe su sitio en busca de vulnerabilidades respetará su archivo robots.txt. De hecho, estos robots maliciosos miran el archivo robots.txt para mapear mejor su sitio. Si tiene algún punto, Disallow:esto se utilizará para atacar mejor su sitio. Un hacker que esté mirando manualmente su sitio debería dedicar más tiempo a examinar cualquier archivo/directorio que esté intentando rechazar.
Respuesta2
robots.txt no aumentará la seguridad de su sitio web ni impedirá la recopilación de direcciones de correo electrónico. robots.txt es una guía para que los motores de búsqueda omitan secciones de su sitio web. Estos no se indexarán y deben usarse para cualquier sección que no desee que aparezca en los motores de búsqueda públicos.
Sin embargo, esto de ninguna manera impedirá que otros bots descarguen su sitio completo para aumentar la seguridad o evitar la recolección de correo electrónico. Para aumentar la seguridad, debe agregar autenticación y permitir solo usuarios autenticados más allá de las secciones seguras. Para evitar la recolección de direcciones de correo electrónico, no coloque mensajes de correo electrónico en texto plano (o en texto fácilmente descifrable) en un sitio web.
Respuesta3
robots.txt no te ayudará con la seguridad. Cualquier robot que quiera hacer algo turbio lo ignorará de todos modos.
Respuesta4
En lugar de robots.txt, tal vez necesites utilizar códigos CAPTCHA.