У меня есть блог WordPress на моем собственном сервере, который использует постоянные ссылки, содержащие китайские иероглифы в URL-адресах, например:http://techblog.zellux.czm.cn/2008/03/ics-lab4-%E7%BB%8F%E9%AA%8C/.
Несколько месяцев назад я изменил все URL-адреса с английскими описаниями, например:http://techblog.zellux.czm.cn/2009/05/page-coloring/и установил плагин для автоматического создания sitemap.xml и отправки его в Google Webmaster Tools.
Теперь, несколько месяцев спустя, я снова проверил Google Webmaster Tools, в Диагностике->Сканирование веб-страниц он сказал, что не может найти 41 URL, все из которых содержат юникод китайских символов, как и предыдущий, и вСвязано сколонка они все былинедоступен. Что касается Sitemaps->Sitemap details, то там указано, что только 15 из 115 URL-адресов были проиндексированы.
Итак, моя проблема в том, как заставить Google прекратить попытки сканировать устаревшие URL-адреса, а сканировать только те, которые указаны в sitemap.xml?
решение1
Вы можете использовать файл robots.txt, чтобы исключить определенные страницы из сканирования. Это будет выглядеть так:
User-Agent: Googlebot
Disallow: /file-1
Disallow: /file-2
Disallow: /file-3
Создайте его в любом текстовом редакторе и загрузите в корневой каталог (или отредактируйте существующий файл robots.txt, если он есть).
В Webmaster Tools также есть инструмент для создания файла robots.txt (Инструменты > Создать robots.txt)