☰

nginx - Este é um bot ruim?

tag-icon • tag-icon nginx fail2ban
nginx - Este é um bot ruim?

Eu tenho essas entradas em /var/log/nginx/access.log:

107.155.152.109 - - [22/Mar/2018:19:20:54 +0000] "GET / HTTP/1.0" 301 193 "-" "-"
162.216.152.56 - - [22/Mar/2018:19:21:40 +0000] "GET / HTTP/1.0" 301 193 "-" "-"
60.191.48.204 - - [22/Mar/2018:19:21:52 +0000] "GET / HTTP/1.0" 200 17582 "-" "-"

eles me parecem suspeitos, mas meu conhecimento nesta área é limitado. O que está acontecendo? Existem até vários outros de 107.155.xxx.xxx

2 dos endereços aparecem neste site conforme relatado:https://www.abuseipdb.com/check/. São 162.216.152.56 e 60.191.48.204, aparentemente Jacksonville, EUA e China.

Eu configurei o fail2ban conforme descritoaquijá que estou no Digital Ocean com Ubuntu 14.04, mas nada no log fail2ban.

Responder1

Pelo que posso dizer, não há nada com que se preocupar nessas linhas. Não é incomum que você veja bots visitando seu site e rastreando diretórios a cada minuto. Dê uma olhada em "/etc/fail2ban/filter.d/botsearch-common.conf" e "/etc/fail2ban/filter.d/nginx-botsearch.conf" para ver como o fail2ban tenta evitar que badbots rastreiem seu site. Você também pode tentar bloquear bots por agente de usuário. Esta poderia ser uma abordagem que poderia ser usada:https://gist.github.com/hans2103/733b8eef30e89c759335017863bd721d

Mas meu conselho é simplesmente ignorar os bots, se suas configurações estiverem limpas você não precisa se preocupar muito com isso.

Responder2

Um simples GETevento /acontecerá o dia todo, todos os dias - junto com muitos outros tráfegos gerados por bots. Quase não faz sentido desperdiçar recursos fazendo algo a respeito se você estiver executando um servidor web que pode ser acessado publicamente. É literalmente para isso que existe. O fato de alguns serem respondidos 301sugere que você está usando hosts virtuais e que a solicitação chegou sem um Hostcabeçalho válido e que sua configuração do Nginx é redirecioná-los para seu host virtual padrão.

O motivo fail2bande não fazer nada é porque nenhum tráfego visto foi detectado como malicioso. Por padrão, ele estará atento a scanners de script, forças brutas de autenticação HTTP e outros padrões maliciosos.

Responder3

Você pode simplesmente adicionar este código ao início do seu código nginx antes da tag do servidor para ignorar os bots mais comuns do seu site.

map $http_user_agent $limit_bots {
     default 0;
     ~*(google|bing|yandex|msnbot) 1;
     ~*(AltaVista|Googlebot|Slurp|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
     ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
     ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|Ninja|JetCar|Spider|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
     ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
     ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
     ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;
 }

E isso para sua / localização

    location / {
            ...........
            if ($limit_bots = 1) {
                    return 403;
            }
    }

informação relacionada