Alquilo un servidor en algún lugar de Canadá y lo uso para alojar uno de mis sitios web. Ese sitio web tiene cerca de 400.000 páginas que quería indexar hoy. Para eso, escribí un rastreador hace un tiempo (verJCrawleren Stackoverflow.com). Ahora, soy codicioso y no quería que tomara demasiado tiempo, así que ejecuté varios subprocesos, lo que generó más de 60 solicitudes por segundo desde mi IP. Un par de minutos más tarde, mi servidor me bloqueó. Todavía puedo acceder por FTP, pero no por HTTP.
Como usuario o administrador del servidor, ¿tiene alguna idea de cómo los servidores suelen manejar estas situaciones? ¿Es común imponer una prohibición permanente o temporal a la propiedad intelectual o qué se hace normalmente?
Naturalmente, volveré a ejecutar mi software con menos solicitudes una vez que vuelva a estar conectado.
Respuesta1
Eche un vistazo a mod_evasive. Probablemente sea lo que te bloqueó según tu descripción.
Respuesta2
¿Qué te dejó fuera?
Es su servidor, por lo que debe saberlo o consultarlo con su proveedor antes de venir aquí. Puede ser algún firewall automático en el servidor que no conoce (peculiar: dice mucho sobre su capacidad como administrador) o algún firewall de proveedor que lo bloquea (en cuyo caso en realidad no es el servidor el que hace nada).