robots.txt を使用してクローラーを無効にしながら、Google Apps サイトを一般公開しますか?

Question

私はしたいと思います公開アクセス可能な Google Apps サイトを作成する（つまり、ユーザーはコンテンツにアクセスするために認証を受ける必要がない）Robots.txt によるクローラーとボットの除外ポリシー誰かそのやり方を知っていますか?

Answer 1

robots.txt は、インタラクティブ ブラウザーによるサイトの使用を阻止するものではありません。これは、クローラー、フィードリーダー、再帰ダウンロード ツールなどのロボットによってのみ使用されます (ただし、後者はユーザーがこれを上書きできます)。