Я арендую сервер где-то в Канаде или около того, который я использую для хостинга моего веб-сайта. На этом веб-сайте около 400 000 страниц, которые я хотел сегодня проиндексировать. Для этого я некоторое время назад написал краулер (см.JCrawlerна Stackoverflow.com). Теперь я жадный и не хотел, чтобы это заняло слишком много времени, поэтому я запустил несколько потоков, что привело к более чем 60 запросам в секунду с моего IP. Пару минут спустя мой сервер заблокировал меня. Я все еще могу зайти на него по FTP, но не могу сделать это по HTTP.
Как администратор сервера или пользователь, вы знаете, как серверы обычно справляются с такими ситуациями? Является ли обычным делом накладывать постоянный или временный бан на IP или что обычно делается?
Разумеется, я перезапущу свое программное обеспечение с меньшим количеством запросов, как только снова буду в сети.
решение1
Взгляните на mod_evasive. Вероятно, именно он вас заблокировал, судя по вашему описанию.
решение2
Что вас заперло?
Это ваш сервер, поэтому вы должны знать / проверить у своего провайдера, прежде чем идти сюда. Может быть какой-то автоматический брандмауэр на сервере, о котором вы не знаете (придирка: многое говорит о ваших способностях как администратора) или какая-то штука на брандмауэре провайдера, которая вас блокирует (в этом случае это на самом деле не сервер что-либо делает).