☰

O filtro regex fail2ban não funciona com arquivos de log nginx

tag-icon • tag-icon nginx regex fail2ban
O filtro regex fail2ban não funciona com arquivos de log nginx

Fiquei batendo a cabeça o dia todo tentando combinar meu filtro regex com meu access.log sem sorte. Eu instalei o fail2ban em um servidor gentoo e ele está funcionando bem (bani manualmente meu próprio IP e funciona), mas o regex do fail2ban falha e retorna 0 resultados com filtros, mesmo meu site tem ataque de carga pesada agora e nos últimos dias.

a propósito, eu não uso software iptables no meu servidor (preciso instalar um para que o fail2ban funcione?) Acho que o fail2ban não consegue ler meu formato de log ou meu formato de hora, tentei ajustar tudo, mas sem sorte, qualquer ajuda é muito apreciado

Aqui está minha prisão.local

[INCLUDES]
before = paths-common.conf
[DEFAULT]
action=%(action_mwl)s
ignoreip = 127.0.0.1/8 192.168.99.25
ignorecommand =
bantime  = 86400
findtime  = 300
backend = gamin

[wp-login]
enabled = true
filter = wp-login
banaction=iptables-allports
logpath = /var/log/nginx/localhost*access_log
bantime = 7200
maxretry = 1


[nginx-nohome]
enabled=true
port=http,https
filter=nginx-nohome
logpath=/var/log/nginx/localhost.error.log
bantime=86400
maxretry=2

[nginx-dos]
enabled = true
port    = http,8090,8080
filter  = nginx-dos
logpath = /var/log/nginx/localhost.access*log
findtime = 30
bantime  = 172800
maxretry = 140

[nginx-login]
enabled = true
filter = nginx-login
action = iptables-multiport[name=NoLoginFailures, port="http,https"]
logpath = /var/log/messages
bantime = 7200
maxretry = 6

[nginx-req-limit]
enabled = true
filter = nginx-req-limit
action = iptables-multiport[name=ReqLimit, port="http,https", protocol=tcp]
logpath = /var/log/nginx/localhost.access*log
findtime = 600
bantime = 7200
maxretry = 10

e aqui estão meus filtros:

[Definition]i
failregex = limiting requests, excess:.* by zone.*client: <HOST>

# Option: ignoreregex
# Notes.: regex to ignore. If this regex matches, the line is ignored.
# Values: TEXT
#
ignoreregex =
~

[Definition]
failregex = ^<HOST> -.*GET */wp-login* HTTP/1\.."
ignoreregex =

#
[Definition]
failregex = ^<HOST> -.*GET.*(\.php|\.asp|\.exe|\.pl|\.cgi|\scgi)
ignoreregex =


[Definition]
failregex = ^<HOST> -.*GET .*/~.*
ignoreregex =
~

No lado do nginx, esta é minha sintaxe e saída de formato de log:

formato de registro

 log_format main
 '[$time_local] - $remote_addr '
 '"$request" $status $bytes_sent '
 '"$http_referer" "$http_user_agent" ';

saída do log de acesso:

[01/Oct/2015:09:15:52 +0800] - 60.18.17.206, 113.21.15.23 "POST/httprl_async_function_callback?count=121 HTTP/1.1" 200 1351 "-" "Drupal (+http://drupal.org/)" "-"

formato do log de erros:

2015/09/22 00:04:06 [error] 7418#0: *287 FastCGI sent in stderr: "Primary    scriptunknown", client: 192.168.99.76, server: www.sams.com, request: "GET/city HTTP/1.0", host: "www.sams.com"

ATUALIZAR: Meu site não usa wordpress, mas estou recebendo milhões de links relacionados ao wordpress wp-login.php que desejo bloquear, existem muitos bots de pesquisa agressivos e maliciosos, bots de anúncios, spider também que quebra meu servidor, quero bloquear

Responder1

Parece que você não está muito familiarizado com regexes, você tem uma curva de aprendizado acentuada. O utilitário fail2ban usaexpressões regulares python, vale a pena ler um pouco essa página.

Parte do problema que você está enfrentando é parte do seu failregex

^<HOST>

Isto diz para procurar o regex predefinido <HOST>no início da linha (ou imediatamente após uma nova linha), é para isso que ^serve.

Observando seus exemplos de log, todos começam com uma data/hora, isso é removido pelo fail2ban antes que o regex seja aplicado ao restante da linha. A linha não começa com nada que '^' reconheça, é por isso que seu regex está falhando.

Um exemplo simples usando sua entrada no log de erros. Se você quiser tomar medidas em relação a scriptunknownerros (que podem ou não ser uma coisa boa), você pode usar um failregex como

failregex= scriptunknown", clinet: <HOST>

Você pode testar isso executando-o no arquivo de log usandofail2ban-regex(1)por exemplo

fail2ban-regex /path/to/logfile 'scriptunknown", client: <HOST>'
Running tests
=============

Use   failregex line : scriptunknown", client: <HOST>
Use         log file : /path/to/logfile
Use         encoding : UTF-8


Results
=======

Failregex: 1 total
|-  #) [# of hits] regular expression
|   1) [1] scriptunknown", client: <HOST>
`-

Ignoreregex: 0 total

Date template hits:
|- [# of hits] date format
|  [1] Day(?P<_sep>[-/])MON(?P=_sep)Year[ :]?24hour:Minute:Second(?:\.Microseconds)?(?: Zone offset)?
|  [1] Year(?P<_sep>[-/.])Month(?P=_sep)Day 24hour:Minute:Second(?:,Microseconds)?
`-

Lines: 2 lines, 0 ignored, 1 matched, 1 missed [processed in 0.00 sec]    
|- Missed line(s):
|  [01/Oct/2015:09:15:52 +0800] - 60.18.17.206, 113.21.15.23  "POST/httprl_async_function_callback?count=121 HTTP/1.1" 200 1351 "-" "Drupal (+http://drupal.org/)" "-"

Ok, isso pode fazer o que você deseja, mas pode ser muito amplo, você teria que olhar os resultados e fazer essas ligações.

a propósito, eu não uso software iptables no meu servidor (preciso instalar um para que o fail2ban funcione?)

Você precisa de algum tipo de firewall compatível com fail2ban instalado e funcionando em seu sistema. Como você testou e

bani manualmente meu próprio IP e funciona

Então eu acho que há algo lá fazendo o trabalho.

informação relacionada