robots.txt でブロックすべきボットとスパイダーはどれですか?

Question

するために：

1. ウェブサイトのセキュリティを強化する
2. 帯域幅要件の削減
3. メールアドレスの収集を防ぐ

Answer 1

電子メールを収集したり、サイトの脆弱性をテストしたりするボットは、robots.txt を尊重しません。実際、これらの悪意のあるボットは、サイトをより適切にマッピングするために robots.txt を参照します。Disallow:これを使用すると、サイトをより効果的に攻撃できます。手動でサイトを調べているハッカーは、許可しないようにしようとしているファイルやディレクトリを調べるのに余分な時間を費やす必要があります。

Answer 2

robots.txt は、Web サイトのセキュリティを強化したり、電子メール アドレスの収集を防止したりすることはありません。robots.txt は、検索エンジンが Web サイトのセクションをスキップするためのガイドです。これらはインデックス化されないため、パブリック検索エンジンに表示したくないセクションに使用する必要があります。

ただし、これによって、他のボットがサイト全体をダウンロードしてセキュリティを強化したり、電子メールの収集を防止したりすることを防ぐことはできません。セキュリティを強化するには、認証を追加し、認証されたユーザーのみが保護されたセクションを通過できるようにする必要があります。電子メール アドレスの収集を防止するには、電子メールをプレーン テキスト (または簡単に解読できるテキスト) で Web サイトに置かないでください。

Answer 3

robots.txt はセキュリティの面で役に立ちません。怪しいことをしようとするボットは、とにかくそれを無視します。

Answer 4

robots.txt の代わりに、CAPTCHA コードを使用する必要があるかもしれません。