Как я могу заблокировать этот сайт, который я администрирую (http://test.puttinout.com/), для поисковых систем?
Как я заметил, Google проиндексировал большинство наших страниц, но нам не нужно, чтобы Google индексировал эти страницы за нас.
ПроверятьПодробности индекса Google здесь.
решение1
Добавьте файл robots.txt в корневой каталог. Итак, создайте текстовый файл с именем Robots.txt со следующей информацией внутри (это заблокирует все):
User-agent: *
Disallow: /
Затем загрузите этот файл в корневой каталог сайта на вашем сервере.
Поищите в Google «файл robots.txt» для получения более подробной информации (например, блокировка определенных страниц или даже определенных ботов)
Или используйте NOINDEX в метатеге
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Поскольку сайт был проиндексирован, вам может потребоваться запросить удаление страниц из индекса:https://support.google.com/webmasters/answer/164734?hl=ru
Итак, в блокноте добавьте следующее
User-agent: *
Disallow: test.puttinout.com
Назовите его robots.txt и загрузите в корневой каталог.
Проблема с вышеизложенным в том, что это работает только для движков, которые подчиняются файлу robots. Так что, другой способ, если у вас статический IP-адрес. Просто перенаправьте все соединения с вашим сайтом (кроме вашего IP-адреса) подальше от ваших тестовых страниц.
Другой вариант — принудительно ввести логин для тестирования. Это может быть даже пароль javascript, так как он не обязательно должен быть безопасным. Затем, после входа в систему, аутентифицируйте пользователя с помощью cookie или чего-то подобного.