次のような robots.txt があります:
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
明らかな目標は、"/index.php"で始まる醜いURLがインデックスに登録されないようにすることです。
しかし、何らかの理由で、次のようなURLはすべて/私の美しいセフURL-123以下に記載されていますクロールエラーGoogleウェブマスターツールで「robots.txtによってURLが制限されています」と表示されます。（このようなURLをテストすると、許可されたGooglebot と Googlebot-Mobile の両方に適用されます。
誰か助けてくれませんか？
答え1
URLは次のようになります/私の美しいセフURL-123実際のページですか、それとも別のページにリダイレクトしますか? リダイレクトする場合は、Google ウェブマスターでリダイレクト先のページをテストしてみてください。