私はカナダのどこかでサーバーを借りて、自分のウェブサイトをホストしています。そのウェブサイトには、今日インデックスしたいページが40万ページ近くあります。そのために、しばらく前にクローラーを作成しました（JクローラーStackoverflow.com で)。欲張りなので、時間がかかりすぎないようにしたかったので、複数のスレッドを実行したところ、IP から 1 秒あたり 60 件以上のリクエストが発生しました。数分後、サーバーがロックアウトしました。FTP ではまだ接続できますが、HTTP では接続できません。
サーバー管理者またはユーザーとして、サーバーが通常このような状況をどのように処理するかについて何かご存知ですか? IP に対して永久的または一時的な禁止措置を講じるのが一般的ですか、それとも通常はどのような処置が取られますか?
当然、復帰したら、リクエスト数を減らしてソフトウェアを再実行します。
答え1
mod_evasive を見てください。あなたの説明から判断すると、おそらくこれがあなたをロックアウトした原因です。
答え2
何があなたを締め出したのですか?
これはあなたのサーバーなので、ここに来る前にプロバイダーに確認/確認する必要があります。サーバー上にあなたが知らない自動ファイアウォールがある可能性があります (細かい点: 管理者としてのあなたの能力について多くを語っています)、またはプロバイダーのファイアウォールがあなたをロックアウトしている可能性があります (この場合、実際にはサーバーは何もしていません)。