Eu tenho um robots.txt parecido com este:
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
O objetivo óbvio é evitar que todas as URLs feias sejam indexadas, pois todas começam com "/index.php".
Mas, por algum motivo, todos os URLs como/minha-linda-sef-url-123estão listados abaixoErros de rastreamentonas Ferramentas do Google para webmasters com "URL restrito por robots.txt". (Quando eu testo esse URL, ele produzPermitidopara Googlebot e Googlebot-Mobile.)
Alguém pode ajudar por favor?
Responder1
Os URLs são como/minha-linda-sef-url-123páginas reais ou redirecionam para outra página? Se eles fizerem um redirecionamento, talvez tente testar a página redirecionada para no Google Webmaster?