我的 robots.txt 看起來像這樣：
User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php
顯而易見的目標是防止所有醜陋的 URL 被索引，因為它們都以「/index.php」開頭。
但由於某種原因，所有 URL 都喜歡/我的美麗-sef-url-123列在下面抓取錯誤在 Google 網站管理員工具中顯示「URL 受 robots.txt 限制」。 （當我測試這樣的 URL 時，它會產生允許適用於 Googlebot 和 Googlebot-Mobile。
有人可以幫忙嗎？
答案1
網址是這樣的嗎/我的美麗-sef-url-123真實頁面還是重新導向到另一個頁面？如果他們進行重定向，也許可以嘗試在 Google 網站管理員中測試重定向到的頁面？