Ich habe eine robots.txt-Datei, die so aussieht:
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
Das offensichtliche Ziel war es, zu verhindern, dass alle hässlichen URLs indexiert werden, da sie alle mit "/index.php" beginnen.
Aber aus irgendeinem Grund sind alle URLs wie/meine-wunderschone-sef-url-123sind aufgeführt unterCrawling-Fehlerin Google Webmaster Tools mit "URL durch robots.txt eingeschränkt". (Wenn ich eine solche URL teste, ergibt sichErlaubtsowohl für Googlebot als auch für Googlebot-Mobile.)
Kann mir bitte jemand helfen?
Antwort1
Sind die URLs wie/meine-wunderschone-sef-url-123echte Seiten oder leiten sie auf eine andere Seite weiter? Wenn sie eine Weiterleitung durchführen, versuchen Sie vielleicht, die Seite, auf die weitergeleitet wird, in Google Webmaster zu testen??