Wir haben eine benutzerdefinierte robots.txt-Datei im Stammverzeichnis unserer Azure-Website für den IIS-Clouddienst, die beim Navigieren zu www.oursite.com/robots.txt nicht korrekt angezeigt wird. Es wird eine „andere“ robots.txt-Datei mit folgendem Inhalt angezeigt:
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
Wir haben versucht:
1. Löschen der robots.txt-Datei im Stammverzeichnis – die falsche robots.txt-Datei wird immer noch angezeigt.
2. Fügen Sie der web.config eine URL-Umschreibregel hinzu, um eine benutzerdefinierte robots.txt anzuzeigen – die richtige robots.txt wird eine Zeit lang angezeigt und dann zu einer anderen Datei zurückgesetzt.
Irgendeine Idee, was unsere benutzerdefinierte robots.txt-Datei stört?
Antwort1
Wenn Sie IIS-Verwaltungstools zur Wartung verwenden, scheint es, dass diese bereits über eigene Einstellungen verfügen, die vermutlich überschrieben werden – sofern Sie sie nicht an der entsprechenden Stelle konfiguriert haben:
IIS Robots und Sitemap-Erweiterung