Como posso bloquear este site que administro (http://test.puttinout.com/), para motores de busca?
Como percebi, o Google indexou a maioria das nossas páginas, mas não precisamos que o Google indexe essas páginas para nós.
VerificarDetalhes do índice do Google aqui.
Responder1
Adicione um arquivo robots.txt ao seu diretório raiz. Então, crie um arquivo de texto, chamado Robots.txt com as seguintes informações dentro (isso bloqueará tudo):
User-agent: *
Disallow: /
Em seguida, carregue este arquivo no diretório raiz do site em seu servidor
Pesquise no Google por 'arquivo robots.txt' para obter mais detalhes (como bloquear certas páginas ou até mesmo certos bots)
Ou use NOINDEX na meta tag
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Como o site foi indexado, pode ser necessário solicitar a desindexação das páginas:https://support.google.com/webmasters/answer/164734?hl=en
Então, no bloco de notas adicione o seguinte
User-agent: *
Disallow: test.puttinout.com
Nomeie-o como robots.txt e carregue-o em seu diretório raiz.
O problema acima é que ele só funciona para motores que obedecem ao arquivo robots. Então, outra maneira é se você tiver um endereço IP estático. Simplesmente encaminhe todas as conexões ao seu site (exceto o seu endereço IP) para fora das páginas de teste.
Outra opção é forçar um login em seus testes. Pode até ser uma senha javascript, pois não precisa ser segura. Depois, após logado, autentique o usuário com um cookie ou similar.