¿Cómo puedo bloquear este sitio que administro (http://test.puttinout.com/), para los motores de búsqueda?
Como he notado, Google ha indexado la mayoría de nuestras páginas, pero no necesitamos que Google indexe esas páginas por nosotros.
ControlarDetalles del índice de Google aquí.
Respuesta1
Agregue un archivo robots.txt a su directorio raíz. Entonces, cree un archivo de texto, llamado Robots.txt con la siguiente información dentro (esto bloqueará todo):
User-agent: *
Disallow: /
Luego, cargue este archivo en el directorio raíz del sitio web en su servidor.
Busque en Google el 'archivo robots.txt' para obtener más detalles (como bloquear ciertas páginas o incluso ciertos bots)
O use NOINDEX en la metaetiqueta
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Dado que el sitio ha sido indexado, es posible que deba solicitar que desindexen las páginas:https://support.google.com/webmasters/answer/164734?hl=en
Entonces, en el bloc de notas agregue lo siguiente
User-agent: *
Disallow: test.puttinout.com
Nómbrelo robots.txt y cárguelo en su directorio raíz.
El problema con lo anterior es que sólo funciona para motores que obedecen al archivo robots. Entonces, otra forma es si tiene una dirección IP estática. Simplemente reenvíe todas las conexiones a su sitio web (que no sean su dirección IP) lejos de sus páginas de prueba.
Otra opción es forzar el inicio de sesión en su prueba. Incluso podría ser una contraseña de JavaScript, ya que no tiene por qué ser segura. Luego, después de iniciar sesión, autentica al usuario con una cookie o similar.