Ich möchteErstellen Sie eine öffentlich zugängliche Google Apps-Site(d. h. Benutzer müssen nicht authentifiziert werden, um auf den Inhalt zuzugreifen) und gleichzeitigeine Richtlinie zum Ausschluss von Crawlern und Bots mit Robots.txt. Weiß jemand, wie das geht?
Antwort1
robots.txt verhindert nicht, dass interaktive Browser die Site verwenden. Es wird nur von Robotern wie Crawlern, Feedreadern und rekursiven Download-Tools verwendet (letztere lassen es jedoch zu, dass der Benutzer es überschreibt).