Ich habe eine Liste von Bots, die blockiert werden sollen, also dachte ich, dass fail2ban eine Lösung sein könnte, bis mir klar wurde, dass mod_security bei dieser Art von Aufgaben effizienter wäre.
Die Anzahl der Bots ist riesig, daher enthält die Konfigurationsdatei eine lange Liste.
Meine Frage betrifft die Leistung (Speicher, Prozessor, Festplatte usw.):
Wird die Leistung von Apache auf einer Site mit hohem Datenverkehr beeinträchtigt, wenn eine große Liste zu blockierender Bots vorhanden ist?
Antwort1
Die Leistung sollte kein Problem darstellen. Überprüfen Sie die @rbl-Funktion von ModSecurity in Kombination mit dem lokalen DNS-Caching. Dadurch können Sie Verstöße im DNS verfolgen und diese DNS-Zone als Referenz verwenden, wenn Sie entscheiden, ob Sie eine Verbindung zulassen oder blockieren.
Antwort2
Anstatt eine lange Liste von Bots zu verwalten, können Sie Bots anhand einiger im User-Agent-String vorhandener Schlüsselwörter herausfiltern und nur bestimmte Bots durchlassen.
Ich verwende dies, um alle Spider/Bots zu blockieren, die meine Site nicht crawlen sollen. Von diesen lasse ich dann nur diejenigen durch, die für mich an der Indexierung der Website interessiert sind. Alle anderen werden von der Firewall blockiert.
Bislang funktioniert es für mich ganz gut.
sudo nohup tail -f /var/log/apache2/access.log | awk -F' - |\"' 'tolower($7) ~ /bot|crawler|spider/ && tolower($7) !~ /google|yahoo|bing|msn|ask|aol|duckduckgo/{system(" sudo ufw deny from "$1" to any comment \""$7"\"")}' > /dev/null &