☰

応答しないApacheサーバー

tag-icon • tag-icon apache-2.2 web-server timeout
応答しないApacheサーバー

当社の Web サービスは専用サーバー上でホストされています。

高負荷期間中、サーバーはページの代わりにタイムアウト エラーを頻繁に返します。

毎日約 170,000 件のリクエストがあります。

ただし、サーバーには空きメモリが大量にあり、現時点では CPU に負荷がかかっていません。

サーバーの動作がなぜ悪いのか理解できません。

tcpdump ユーティリティを使用して、問題のあるケースをプロファイルしました。これらは、tcpdump によってトレースされた正常なセッションと不良なセッションです。両方の実験で要求は同じです。

Good - server returns response.

Bad - no response, time-out error.

これらのデータから、なぜ問題が発生するのかがわかりますか? エラーの原因をさらに突き止めるにはどうすればよいでしょうか?

実際のIPアドレスを123.45.67.890に置き換えました

---- Bad ----
12:23:36.366292 IP 123.45.67.890.61749 > myserver.superbservers.com.www: S 2125316338:2125316338(0) win 8192 <mss 1460,nop,wscale 2,nop,nop,sackOK>
12:23:39.362394 IP 123.45.67.890.61749 > myserver.superbservers.com.www: S 2125316338:2125316338(0) win 8192 <mss 1460,nop,wscale 2,nop,nop,sackOK>
12:23:45.365567 IP 123.45.67.890.61749 > myserver.superbservers.com.www: S 2125316338:2125316338(0) win 8192 <mss 1460,nop,nop,sackOK>
--------

---- Good ----
12:27:07.632229 IP 123.45.67.890.63914 > myserver.superbservers.com.www: S 3581365570:3581365570(0) win 8192 <mss 1460,nop,wscale 2,nop,nop,sackOK>
12:27:10.620946 IP 123.45.67.890.63914 > myserver.superbservers.com.www: S 3581365570:3581365570(0) win 8192 <mss 1460,nop,wscale 2,nop,nop,sackOK>
12:27:10.620969 IP myserver.superbservers.com.www > 123.45.67.890.63914: S 2654770980:2654770980(0) ack 3581365571 win 5840 <mss 1460,nop,nop,sackOK,nop,wscale 6>
12:27:10.838747 IP 123.45.67.890.63914 > myserver.superbservers.com.www: . ack 1 win 4380
12:27:10.957143 IP 123.45.67.890.63914 > myserver.superbservers.com.www: P 1:213(212) ack 1 win 4380
12:27:10.957152 IP myserver.superbservers.com.www > 123.45.67.890.63914: . ack 213 win 108
12:27:10.965543 IP myserver.superbservers.com.www > 123.45.67.890.63914: P 1:630(629) ack 213 win 108
12:27:10.965621 IP myserver.superbservers.com.www > 123.45.67.890.63914: F 630:630(0) ack 213 win 108
12:27:11.183540 IP 123.45.67.890.63914 > myserver.superbservers.com.www: . ack 631 win 4222
12:27:11.185657 IP 123.45.67.890.63914 > myserver.superbservers.com.www: F 213:213(0) ack 631 win 4222
12:27:11.185663 IP myserver.superbservers.com.www > 123.45.67.890.63914: . ack 214 win 108
--------

サービスの詳細。

これは天気予報サービスです。Perl で書かれており、MySQL を利用しています。スクリプトはいくつかのモジュール (CPAN および当社独自のもの) を使用します。

コードは比較的シンプルです。スクリプトは別のサーバーから天気をダウンロードし、データ形式を変換して XML 応答を返します。天気は MyISAM DB にキャッシュされます。スクリプト経由で要求できる世界位置データベース (INNODB) もあります。

これらは高負荷期間中に取得されたメトリックです。

平均トラフィック: 3MBit/秒

平均パケット数: 3300 パケット/秒

ホスティング会社: SuperbHosting

OS: Ubuntu

サーバーパラメータ: E6300 CONROE 1.86GHZ 2 X 1MB キャッシュ 1066 1GB DDR2 667MHZ

これは私たちが使用するApache設定ファイルへのリンクです http://repkin5.snow.prohosting.com/apache.txt

これはタイムアウト エラー直後に取得されたサーバー ステータス レポートです。 http://repkin5.snow.prohosting.com/server-status.htm 120 台のうち実行中の子サーバーは 10 台だけなので、新しいリクエストを処理するのに十分なスペースがあります。

高負荷期間中のトッププログラムスナップショット。

------
top - 13:21:29 up 15 days, 18:36,  1 user,  load average: 0.18, 0.19, 0.21
Tasks: 137 total,   1 running, 136 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.8%us,  1.2%sy,  0.0%ni, 92.8%id,  0.7%wa,  0.0%hi,  3.5%si,  0.0%st
Mem:   1033904k total,   590620k used,   443284k free,     6892k buffers
Swap:  3028212k total,    82556k used,  2945656k free,    64156k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 4252 mysql     20   0  162m  48m 3352 S    1  4.8 279:01.27 mysqld
14503 www-data  20   0 43280  14m 3824 S    1  1.4   0:00.16 apache2
14577 www-data  20   0 43012  13m 3500 S    1  1.4   0:00.06 apache2
14401 www-data  20   0 45076  17m 4340 S    0  1.8   0:00.46 apache2
14414 www-data  20   0 45516  18m 4344 S    0  1.8   0:00.47 apache2
14420 www-data  20   0 45624  18m 4372 S    0  1.8   0:00.61 apache2
14421 www-data  20   0 45488  18m 4352 S    0  1.8   0:00.42 apache2
14496 www-data  20   0 44820  17m 4328 S    0  1.7   0:00.18 apache2
14510 www-data  20   0 45216  17m 4300 S    0  1.8   0:00.62 apache2
    1 root      20   0  2844  456  404 S    0  0.0   0:05.24 init
    2 root      15  -5     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.24 migration/0
    4 root      15  -5     0    0    0 S    0  0.0  32:28.85 ksoftirqd/0
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.77 watchdog/0
    6 root      RT  -5     0    0    0 S    0  0.0   0:00.15 migration/1
    7 root      15  -5     0    0    0 S    0  0.0   0:03.07 ksoftirqd/1
    8 root      RT  -5     0    0    0 S    0  0.0   0:00.63 watchdog/1
-----

答え1

時々、サーバーが非常にクール (「uptime」でわかります) なのに、応答が非常に遅くなるという奇妙な動作が発生します。確認する方法の 1 つは、「netstat」を使用して、何行あるかを確認することです。Apache mod_status も試すことができます。問題はまだよくわかっていませんが、外部、つまりデータセンターの接続から来ていることは確かです。近くにあるマシンがすべての帯域幅を消費しているか、パケットが到着する前にフィルタリングしている可能性があり、そのため、速度が遅く感じられます。

あなたに当てはまるかどうかはわかりませんが、多くの Apache プロセスが何かを待っている間、CPU に高い負荷がかかっていないようです。おそらく、外部からの応答を待っているのでしょう... 「sar」があれば、それも役立つかもしれません。

答え2

このウェブサービスが実際に何なのかは説明されていません設計/書かれた多くの場合、同時スレッドで実行されるアプリケーション コードは、共通リソースに対してある程度の競合を起こしたり、ボトルネックとなるバックエンド リソースを待機したりすることがあります。そのため、メモリやプロセッサの使用率は高くないかもしれませんが、他の共通リソースの制限により、他のスレッドの処理が停止したり遅延したりして、タイムリーな応答ができなくなる可能性があります。

作業を実行するために Apache 上に配置されているアプリケーション プラットフォームは何ですか? また、Web サービス要求を処理するために必要な最終リソース ポイントは何ですか? バックエンド データベースが関係している場合は、データベース サーバーでクエリ デッドロックが発生する可能性があります。

答え3

/etc/apache2/apache.confファイルには、mpm_prefork_moduleとmpm_worker_moduleの2つのセクションがあります。

StartServers          5  
MinSpareServers       5  
MaxSpareServers      10  
MaxClients          150    
MaxRequestsPerChild   0

より多くのリクエストを処理するには、環境に応じてこのセクションを微調整する必要がある場合があります。

関連情報