Tenho o seguinte arquivo htaccess para sua consideração:
Options +FollowSymlinks
#+FollowSymLinks must be enabled for any rules to work, this is a security #requirement of the rewrite engine. Normally it's enabled in the root and we #shouldn't have to add it, but it doesn't hurt to do so.
RewriteEngine on
#Apache scans all incoming URL requests, checks for matches in our #.htaccess file
#and rewrites those matching URLs to whatever we specify.
#allow blank referrers.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.com [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.dev [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?dev.site.com [NC]
RewriteRule \.(jpg|jpeg|png|gif)$ - [NC,F,L]
# if a directory or a file exists, use it directly
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
# otherwise forward it to index.php
RewriteRule . index.php
# request is for http://dev.site.com
RewriteCond %{HTTP_HOST} ^dev.site.com$ [NC]
# user-agent is a search engine bot
RewriteCond %{HTTP_USER_AGENT} (Googlebot|yahoo|msnbot) [NC]
# return forbidden
RewriteRule ^ - [L,F]
Desejo não tornar o dev.site.com público por meio da pesquisa do Google ou similar.
Eu coloquei isso. Devo esperar ? Ou há algo mais que eu deveria fazer?
Responder1
.htaccess não é realmente o lugar para impedir que sites apareçam nos índices de pesquisa do Google. robôs.txté um dos métodos concebidos para esse fim.
Colocando isso:
User-agent: *
Disallow: /
Em um arquivo chamado "robots.txt" no diretório raiz de dev.site.com deve impedir que ele apareça.
Alternativamente, você pode incluir ummetatagnas páginas que você não deseja que apareçam, como:
<meta name="robots" content="noindex">
Ou se forapenasGoogle que você deseja não indexar sua página, mas permitir que outros robôs você possa usar:
<meta name="googlebot" content="noindex">
A desvantagem disso em um cenário do tipo desenvolvimento/produção é que você terá que fazer algo para garantir que essas tags não apareçam em seu código de produção (assumindo que vocêfazerdeseja que o Google indexe seu servidor de produção).