Eu gostaria decriar um site do Google Apps acessível publicamente(ou seja, os usuários não precisam ser autenticados para acessar o conteúdo), mantendouma política de exclusão de rastreadores e bots com Robots.txt. Alguém sabe como fazer isso?
Responder1
O robots.txt não impede que navegadores interativos usem o site. Ele é usado apenas por robôs como rastreadores, leitores de feeds e ferramentas de download recursivas (embora o último permita que o usuário o substitua).