讓 Google Apps 網站可公開訪問，同時使用 robots.txt 停用抓取工具？

Question

我想建立可公開存取的 Google Apps 網站（即用戶不需要經過身份驗證即可存取內容），同時維護使用 Robots.txt 排除爬蟲和機器人的策略。有人知道這是怎麼做到的嗎？

Answer 1

robots.txt 不會阻止互動式瀏覽器使用網站。它僅由爬蟲、提要閱讀器、遞歸下載工具等機器人使用（儘管後者會讓用戶覆蓋它）。