Tengo el siguiente archivo htaccess para su consideración:
Options +FollowSymlinks
#+FollowSymLinks must be enabled for any rules to work, this is a security #requirement of the rewrite engine. Normally it's enabled in the root and we #shouldn't have to add it, but it doesn't hurt to do so.
RewriteEngine on
#Apache scans all incoming URL requests, checks for matches in our #.htaccess file
#and rewrites those matching URLs to whatever we specify.
#allow blank referrers.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.com [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.dev [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?dev.site.com [NC]
RewriteRule \.(jpg|jpeg|png|gif)$ - [NC,F,L]
# if a directory or a file exists, use it directly
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
# otherwise forward it to index.php
RewriteRule . index.php
# request is for http://dev.site.com
RewriteCond %{HTTP_HOST} ^dev.site.com$ [NC]
# user-agent is a search engine bot
RewriteCond %{HTTP_USER_AGENT} (Googlebot|yahoo|msnbot) [NC]
# return forbidden
RewriteRule ^ - [L,F]
Deseo no hacer público dev.site.com a través de la búsqueda de Google o similar.
He colocado esto. Debería esperar ? ¿O hay algo más que debería hacer?
Respuesta1
.htaccess no es realmente el lugar para impedir que los sitios web aparezcan en los índices de búsqueda de Google. robots.txtes uno de los métodos diseñados para este fin.
Colocando esto:
User-agent: *
Disallow: /
En un archivo llamado "robots.txt" en su directorio raíz de dev.site.com debería evitar que aparezca.
Alternativamente podría incluir unmetaetiquetaen las páginas que no desea que aparezcan, como por ejemplo:
<meta name="robots" content="noindex">
O si essoloGoogle que desea no indexar su página, pero permitir otros robots que pueda usar:
<meta name="googlebot" content="noindex">
La desventaja de esto en un escenario de tipo desarrollo/producción es que tendrá que hacer algo para asegurarse de que esas etiquetas no aparezcan en su código de producción (suponiendo quehacerdesea que Google indexe su servidor de producción).