私はいくつかの Web クローラーを保守しています。負荷/スロットリング システムをさらにインテリジェントに改善したいと考えています。
もちろん、応答コードを確認し、それに基づいてスロットルを調整します。ただし、要求されているサーバーの動作に基づいてレートを動的に調整するシステムがより優れていることを望んでいます。たとえば、1 日の非常に忙しい時間帯で、ターゲット Web サーバーが異常に大量のトラフィックなどを経験しているとします。その場合、それを検出し、礼儀としてこちら側からリクエストをスロットル調整し、サーバーが再び正常になったらスロットル調整を元に戻します。
スロットルを絞るべき兆候と判断すべき症状は何でしょうか? また、スロットルを再び絞るべき兆候は何でしょうか?
たとえば、過去 1 時間の各リクエストの応答時間を記録することを考えています。問題は、すべてのサーバーが異なり、同じ Web サイト内のリソースでも応答速度が大きく異なるため、ベンチマークするための適切な平均/中央値のリクエスト時間を見つけるのが非常に難しいことです。私が考えているもう 1 つのことは、応答時間の変動を探すことですが、それが一般的な症状なのか、すべてのリクエストに時間がかかるのが一般的なのかはわかりません。