У нас есть пользовательский robots.txt в корне нашего веб-сайта Azure облачной службы IIS, который отображается неправильно при переходе на www.oursite.com/robots.txt. Отображается «другой» файл robots.txt, содержащий:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Мы пробовали:
1. Удаление файла robots.txt в корне — неправильный файл robots.txt все еще отображается.
2. Добавление правила url-rewrite в web.config для отображения пользовательского robots.txt — правильный robots.txt будет отображаться некоторое время, а затем вернется к другому.
Есть идеи, что нарушает наш пользовательский robots.txt?
решение1
Если вы используете инструменты управления IIS для обслуживания, то, по-видимому, у них уже могут быть собственные настройки, которые они, предположительно, перезаписывают, если вы не настроили их в соответствующем месте:
Расширение IIS Robots и Sitemap