Ich miete irgendwo in Kanada oder so einen Server, auf dem ich eine meiner Websites hoste. Diese Website hat fast 400.000 Seiten, die ich heute indexieren wollte. Dafür habe ich vor einiger Zeit einen Crawler geschrieben (sieheJCrawlerauf Stackoverflow.com). Nun bin ich gierig und wollte nicht, dass es zu lange dauert, also habe ich mehrere Threads ausgeführt, was zu über 60 Anfragen pro Sekunde von meiner IP führte. Ein paar Minuten später hat mich mein Server gesperrt. Ich kann immer noch per FTP darauf zugreifen, aber nicht per HTTP.
Haben Sie als Serveradministrator oder -benutzer eine Vorstellung davon, wie Server normalerweise mit solchen Situationen umgehen? Ist es üblich, die IP dauerhaft oder vorübergehend zu sperren, oder was wird normalerweise getan?
Natürlich werde ich meine Software mit weniger Anfragen erneut ausführen, sobald ich wieder online bin.
Antwort1
Sehen Sie sich mod_evasive an. Ihrer Beschreibung zufolge ist es wahrscheinlich das, was Sie ausgesperrt hat.
Antwort2
Was hat Sie ausgesperrt?
Es ist Ihr Server, also sollten Sie Ihren Anbieter kennen bzw. sich bei ihm erkundigen, bevor Sie hierher kommen. Es kann eine automatische Firewall auf dem Server geben, von der Sie nichts wissen (Kleinkram: sagt viel über Ihre Fähigkeiten als Administrator aus) oder irgendein Firewall-Ding des Anbieters, das Sie aussperrt (in diesem Fall ist es eigentlich nicht der Server, der etwas tut).