Tengo robots.txt que se ve así:
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
El objetivo obvio ha sido evitar que se indexen todas las URL feas, ya que todas comienzan con "/index.php".
Pero por alguna razón a todas las URL les gusta/mi-hermosa-sef-url-123se enumeran bajoErrores de rastreoen Herramientas para webmasters de Google con "URL restringida por robots.txt". (Cuando pruebo dicha URL, arrojaPermitidotanto para Googlebot como para Googlebot-Mobile).
¿Alguien puede ayudar por favor?
Respuesta1
¿Las URL son como/mi-hermosa-sef-url-123¿Páginas reales o hacen una redirección a otra página? Si realizan una redirección, ¿tal vez intente probar la página redirigida a en Google Webmaster?