Me gustaríacrear un sitio de Google Apps de acceso público(es decir, los usuarios no necesitan estar autenticados para acceder al contenido) manteniendouna política de exclusión de rastreadores y bots con Robots.txt. ¿Alguien sabe cómo hacer eso?
Respuesta1
robots.txt no impide que los navegadores interactivos utilicen el sitio. Sólo lo utilizan robots como rastreadores, lectores de feeds y herramientas de descarga recursivas (aunque estas últimas permitirán al usuario anularlo).