☰

.htaccess - как избежать отображения поддомена в Google или подобных результатах поиска?

tag-icon • tag-icon .htaccess
.htaccess - как избежать отображения поддомена в Google или подобных результатах поиска?

Предлагаю вашему вниманию следующий файл htaccess:

Options +FollowSymlinks
#+FollowSymLinks must be enabled for any rules to work, this is a security #requirement of the rewrite engine. Normally it's enabled in the root and we #shouldn't have to add it, but it doesn't hurt to do so.

RewriteEngine on
#Apache scans all incoming URL requests, checks for matches in our #.htaccess file 
#and rewrites those matching URLs to whatever we specify.

#allow blank referrers.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.com [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?site.dev [NC]
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?dev.site.com [NC]
RewriteRule \.(jpg|jpeg|png|gif)$ - [NC,F,L]

# if a directory or a file exists, use it directly
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d


# otherwise forward it to index.php
RewriteRule . index.php

# request is for http://dev.site.com
RewriteCond %{HTTP_HOST} ^dev.site.com$ [NC]

# user-agent is a search engine bot
RewriteCond %{HTTP_USER_AGENT} (Googlebot|yahoo|msnbot) [NC]

# return forbidden
RewriteRule ^ - [L,F]

Я не хочу делать dev.site.com общедоступным через поиск Google или аналогичные сервисы.

Я разместил это. Мне ждать? Или есть что-то еще, что я должен сделать?

решение1

.htaccess — это не совсем то место, где можно заблокировать отображение веб-сайтов в поисковых индексах Google. robots.txtявляется одним из методов, разработанных для этой цели.

Размещаем это:

User-agent: *
Disallow: /

В файле с именем «robots.txt» в корневом каталоге dev.site.com это должно предотвратить его появление.

В качестве альтернативы вы можете включитьметатегна страницах, которые вы не хотите видеть, например:

<meta name="robots" content="noindex">

Или если этотолькоGoogle, который вы хотите запретить индексировать, но разрешить другим роботам использовать:

<meta name="googlebot" content="noindex">

Недостатком этого в сценарии типа разработка/производство является то, что вам придется что-то сделать, чтобы убедиться, что эти теги не появляются в вашем производственном коде (предполагая, что выделатьхотите, чтобы Google проиндексировал ваш рабочий сервер).

Связанный контент