У меня robots.txt выглядит так:
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
Очевидной целью было предотвратить индексацию всех уродливых URL, поскольку все они начинаются с "/index.php".
Но по какой-то причине все URL, такие как/мой-прекрасный-sef-url-123перечислены подОшибки сканированияв Google Webmaster Tools с "URL restricted by robots.txt". (Когда я тестирую такой URL, он выдаетДопустимый(Для Googlebot и Googlebot-Mobile.)
Кто-нибудь может помочь?
решение1
URL-адреса похожи на/мой-прекрасный-sef-url-123реальные страницы или они делают редирект на другую страницу? Если они делают редирект, может быть, попробовать протестировать перенаправленную на страницу в Google Webmaster??