我應該在 robots.txt 中阻止哪些機器人和蜘蛛？

Question

為了：

1. 提高我的網站的安全性
2. 降低頻寬要求
3. 防止電子郵件地址被盜取

Answer 1

收集電子郵件或測試您網站的漏洞的機器人都不會尊重您的 robots.txt。事實上，這些惡意機器人會查看 robots.txt 以更好地繪製您的網站。如果您有任何一點，Disallow:這將用於更好地攻擊您的網站。手動查看您網站的駭客應該花費額外的時間檢查您試圖禁止的任何檔案/目錄。

Answer 2

robots.txt 不會提高您網站的安全性或阻止電子郵件地址收集。 robots.txt 是搜尋引擎跳過網站部分的指南。這些不會被索引，應該用於您不想在公共搜尋引擎中顯示的任何部分。

但是，這絕不會阻止任何其他機器人下載您的整個網站以提高安全性或防止電子郵件收集。為了提高安全性，您需要新增身份驗證，並且僅允許經過身份驗證的使用者超出安全性部分。為了防止電子郵件地址被盜取，請勿將純文字（或易於理解的文字）的電子郵件放在網站上。

Answer 3

robots.txt 不會幫助您提高安全性。任何想要做一些見不得人的事情的機器人都會忽略它。

Answer 4

也許您需要使用 CAPTCHA 程式碼，而不是 robots.txt。