自訂 robots.txt 在 Azure IIS 8 中被某些內容覆蓋

Question

我們的 IIS 雲端服務 Azure 網站的根目錄中有一個自訂 robots.txt，導航至 www.oursite.com/robots.txt 時該檔案無法正確顯示。將顯示一個「不同的」robots.txt 文件，其中包含：

User-agent: LinkChecker  
Allow: /  
User-agent: *  
Disallow: /  

我們嘗試過：
1. 刪除根目錄中的 robots.txt 檔案 – 仍然顯示不正確的 robots.txt 檔案。
2. 在 web.config 中新增 url-rewrite 規則以顯示自訂 robots.txt – 正確的 robots.txt 將顯示一段時間，然後恢復為不同的 robots.txt

知道我們的自訂 robots.txt 上踩了什麼嗎？

Answer 1

如果您使用 IIS 管理工具進行維護，那麼它似乎可能已經擁有自己的設置，並且可能會覆蓋這些設置 - 如果您沒有在適當的位置配置它：
IIS 機器人和網站地圖擴展