☰

nginx - 이것은 나쁜 봇인가요?

tag-icon • tag-icon nginx fail2ban
nginx - 이것은 나쁜 봇인가요?

/var/log/nginx/access.log에 다음 항목이 있습니다.

107.155.152.109 - - [22/Mar/2018:19:20:54 +0000] "GET / HTTP/1.0" 301 193 "-" "-"
162.216.152.56 - - [22/Mar/2018:19:21:40 +0000] "GET / HTTP/1.0" 301 193 "-" "-"
60.191.48.204 - - [22/Mar/2018:19:21:52 +0000] "GET / HTTP/1.0" 200 17582 "-" "-"

내 눈에는 의심스러워 보이지만 이 분야에 대한 나의 지식은 제한되어 있습니다. 무슨 일이야? 107.155.xxx.xxx에는 다른 여러 가지도 있습니다.

보고된 대로 주소 중 2개가 이 사이트에 나타납니다.https://www.abuseipdb.com/check/. 그들은 162.216.152.56과 60.191.48.204로 미국과 중국의 잭슨빌인 것으로 보입니다.

설명된 대로 Fail2ban을 구성했습니다.여기Ubuntu 14.04를 사용하여 Digital Ocean을 사용하고 있지만 Fail2ban 로그에는 아무것도 없습니다.

답변1

내가 알 수 있는 바에 따르면 이 라인에서는 걱정할 것이 없습니다. 봇이 귀하의 웹사이트를 방문하고 매분마다 디렉토리를 크롤링하는 것을 보는 것은 드문 일이 아닙니다. "/etc/fail2ban/filter.d/botsearch-common.conf" 및 "/etc/fail2ban/filter.d/nginx-botsearch.conf"를 살펴보고 fall2ban이 Badbot이 웹 사이트를 크롤링하는 것을 어떻게 방지하는지 확인하세요. 사용자 에이전트를 통해 봇을 차단할 수도 있습니다. 이는 다음과 같은 접근 방식 중 하나를 사용할 수 있습니다.https://gist.github.com/hans2103/733b8eef30e89c759335017863bd721d

하지만 제 조언은 봇을 그냥 무시하라는 것입니다. 구성이 깨끗하다면 크게 걱정할 필요가 없습니다.

답변2

다른 봇이 생성한 트래픽과 함께 간단한 GET일이 매일 하루 종일 일어날 것입니다. /공개적으로 액세스할 수 있는 웹 서버를 실행하는 경우 리소스를 낭비하는 것은 거의 의미가 없습니다. 말 그대로 그것이 존재하는 이유입니다. 일부 응답은 301가상 호스트를 사용하고 있고 요청이 유효한 헤더 없이 들어왔으며 HostNginx 설정이 이를 기본 가상 호스트로 리디렉션한다는 것을 의미합니다.

아무것도 하지 않는 이유 fail2ban는 보이는 트래픽 중 악성으로 감지된 트래픽이 하나도 없기 때문입니다. 기본적으로 스크립트 스캐너, HTTP 인증 무차별 공격 및 기타 악성 패턴을 감시합니다.

답변3

웹사이트에서 가장 일반적인 봇을 무시하려면 서버 태그 앞의 nginx 코드 시작 부분에 이 코드를 추가하기만 하면 됩니다.

map $http_user_agent $limit_bots {
     default 0;
     ~*(google|bing|yandex|msnbot) 1;
     ~*(AltaVista|Googlebot|Slurp|BlackWidow|Bot|ChinaClaw|Custo|DISCo|Download|Demon|eCatch|EirGrabber|EmailSiphon|EmailWolf|SuperHTTP|Surfbot|WebWhacker) 1;
     ~*(Express|WebPictures|ExtractorPro|EyeNetIE|FlashGet|GetRight|GetWeb!|Go!Zilla|Go-Ahead-Got-It|GrabNet|Grafula|HMView|Go!Zilla|Go-Ahead-Got-It) 1;
     ~*(rafula|HMView|HTTrack|Stripper|Sucker|Indy|InterGET|Ninja|JetCar|Spider|larbin|LeechFTP|Downloader|tool|Navroad|NearSite|NetAnts|tAkeOut|WWWOFFLE) 1;
     ~*(GrabNet|NetSpider|Vampire|NetZIP|Octopus|Offline|PageGrabber|Foto|pavuk|pcBrowser|RealDownload|ReGet|SiteSnagger|SmartDownload|SuperBot|WebSpider) 1;
     ~*(Teleport|VoidEYE|Collector|WebAuto|WebCopier|WebFetch|WebGo|WebLeacher|WebReaper|WebSauger|eXtractor|Quester|WebStripper|WebZIP|Wget|Widow|Zeus) 1;
     ~*(Twengabot|htmlparser|libwww|Python|perl|urllib|scan|Curl|email|PycURL|Pyth|PyQ|WebCollector|WebCopy|webcraw) 1;
 }

그리고 이것은 당신의 / 위치로

    location / {
            ...........
            if ($limit_bots = 1) {
                    return 403;
            }
    }

관련 정보