일부 웹 크롤러를 관리하고 있습니다. 로드/조절 시스템을 더욱 지능적으로 개선하고 싶습니다.
당연히 응답 코드를 보고 그에 따라 속도를 높이거나 낮춥니다. 하지만 요청되는 서버의 동작에 따라 속도를 동적으로 조정하는 시스템이 더 나았으면 좋겠습니다. 하루 중 매우 바쁜 시간이고 대상 웹 서버에 비정상적으로 많은 양의 트래픽이 발생하는 등의 현상이 발생하고 있다고 가정해 보겠습니다. 그런 다음 이를 감지하고 정중하게 요청을 제한하고 서버가 다시 정상일 때 다시 제한하고 싶습니다.
속도를 늦추기 위한 지표로 결론을 내려야 하는 증상은 무엇입니까? 그리고 다시 속도를 높이는 지표는 무엇입니까?
예를 들어 지난 시간 동안 각 요청에 대한 응답 시간을 기록하는 것에 대해 생각하고 있습니다. 문제는 모든 서버가 다르고 동일한 웹 사이트 내의 리소스도 매우 다른 속도로 응답하기 때문에 벤치마킹할 합리적인 평균/중앙 요청 시간을 찾는 것이 매우 어렵다는 것입니다. 제가 생각해 본 또 다른 사항은 응답 시간의 변동을 찾는 것이었지만 이것이 일반적인 증상인지 아니면 모든 요청에 시간이 더 오래 걸리는 것이 더 일반적인 것인지는 알 수 없습니다.