저는 캐나다 어딘가에 서버를 임대하여 웹사이트를 호스팅하는 데 사용하고 있습니다. 해당 웹사이트에는 제가 오늘 색인을 생성하고 싶은 페이지가 거의 400,000개에 달합니다. 이를 위해 나는 얼마 전에 크롤러를 작성했습니다(참조:JCrawlerStackoverflow.com에서). 이제 나는 욕심이 많아 너무 오래 걸리는 것을 원하지 않았기 때문에 여러 스레드를 실행하여 내 IP에서 초당 약 60개 이상의 요청이 발생했습니다. 몇 분 후 서버가 나를 차단했습니다. 여전히 FTP로 연결할 수 있지만 HTTP로 보낼 수는 없습니다.
서버 관리자 또는 사용자로서 서버가 일반적으로 이러한 상황을 어떻게 처리하는지 알고 계십니까? IP를 영구적 또는 일시적으로 금지하는 것이 일반적입니까? 아니면 일반적으로 어떻게 됩니까?
당연히 다시 시작하면 더 적은 요청으로 소프트웨어를 다시 실행할 것입니다.
답변1
mod_evasive를 살펴보세요. 아마도 귀하의 설명에 따라 귀하를 차단한 것일 수 있습니다.
답변2
무엇이 당신을 가두었나요?
이는 귀하의 서버이므로 여기에 오기 전에 제공업체에 대해 알고/확인해야 합니다. 사용자가 알지 못하는 서버의 일부 자동 방화벽(nitpick: 관리자로서의 능력에 대해 많은 것을 말함) 또는 사용자를 차단하는 일부 공급자 방화벽(이 경우 실제로는 서버가 아무 것도 수행하지 않음)일 수 있습니다.