Temos um robots.txt personalizado na raiz do nosso site Azure do serviço de nuvem IIS que não é exibido corretamente ao navegar para www.oursite.com/robots.txt . Um arquivo robots.txt “diferente” é exibido contendo:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Nós tentamos:
1. Excluindo o arquivo robots.txt na raiz – o arquivo robots.txt incorreto ainda é exibido.
2. Adicione a regra de reescrita de URL ao web.config para exibir o robots.txt personalizado – o robots.txt correto será exibido por algum tempo e depois reverterá para um diferente
Alguma ideia do que está acontecendo em nosso robots.txt personalizado?
Responder1
Se você estiver usando ferramentas de gerenciamento do IIS para manutenção, parece que ele já pode ter suas próprias configurações que provavelmente serão substituídas - se você não as tiver configurado no local apropriado:
Extensão de robôs IIS e mapa de site