Alugo um servidor em algum lugar no Canadá que estou usando para hospedar um site meu. Esse site tem cerca de 400.000 páginas que eu queria indexar hoje. Para isso, escrevi um crawler há algum tempo (vejaJCrawlerem Stackoverflow.com). Agora, sou ganancioso e não queria que demorasse muito, então executei vários threads, resultando em mais de 60 solicitações por segundo do meu IP. Alguns minutos depois, meu servidor me bloqueou. Ainda consigo fazer FTP nele, mas não consigo HTTP.
Como administrador ou usuário do servidor, você tem ideia de como os servidores costumam lidar com essas situações? É comum proibir permanentemente ou temporariamente o IP ou o que normalmente é feito?
Naturalmente, executarei novamente meu software com menos solicitações quando voltar a funcionar.
Responder1
Dê uma olhada em mod_evasive. Provavelmente foi o que o bloqueou com base na sua descrição.
Responder2
O que te bloqueou?
É o seu servidor, então você deve conhecer/verificar com seu provedor antes de vir aqui. Pode haver algum firewall automático no servidor que você não conhece (detalhamento: diz muito sobre sua capacidade como administrador) ou algum firewall do provedor que bloqueia você (nesse caso, na verdade, não é o servidor que está fazendo nada).