Tenemos un archivo robots.txt personalizado en la raíz de nuestro sitio web Azure del servicio en la nube IIS que no se muestra correctamente al navegar a www.oursite.com/robots.txt. Aparece un archivo robots.txt “diferente” que contiene:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Hemos probado:
1. Eliminación del archivo robots.txt en la raíz: aún se muestra el archivo robots.txt incorrecto.
2. Agregue una regla de reescritura de URL a web.config para mostrar robots.txt personalizados: se mostrará el archivo robots.txt correcto durante un tiempo y luego volverá a uno diferente.
¿Alguna idea de qué es pisar nuestro robots.txt personalizado?
Respuesta1
Si está utilizando herramientas de administración de IIS para mantenimiento, parece que ya tiene su propia configuración que presumiblemente sobrescribe, si no la ha configurado en el lugar apropiado:
Extensión de mapas de sitio y robots IIS