Kubernetes と kswapd0 は悪のカップル？

Question 1

kswapd0 のこのような動作は設計によるものであり、説明可能です。

スワップファイルを無効にして削除し、swappiness を 0 に設定しても、kswapd は使用可能なメモリを監視しています。これにより、何もせずにほぼすべてのメモリを消費できます。ただし、使用可能なメモリが極めて低い値 (の Normal ゾーンのページ数が少ない/proc/zoneinfo、テストサーバーでは 4K ページのうち約 4000 ページ) に低下するとすぐに、kswapd が介入します。これにより、CPU 使用率が高くなります。

次の方法で問題を再現し、さらに詳しく調査することができます。Roman Evstifeev が提供しているスクリプトのように、メモリを制御された方法で消費できるツールが必要になります。ラムホッグ

このスクリプトは、メモリを ASCII コード「Z」の 100 MB のチャンクで埋めます。実験の公平性を保つために、スクリプトはポッドではなく Kubernetes ホストで起動され、k8s が関与しないようにします。このスクリプトは Python3 で実行する必要があります。次の目的で少し変更されています。

Python 3.6 より前のバージョンと互換性があること。
最終的にシステムパフォーマンスの低下がより顕著になるように、メモリ割り当てチャンクを 4000 メモリページ (/proc/zoneinfo の Normal ゾーンの低ページ。私は 10 MB に設定) より小さく設定します。

from time import sleep

print('Press ctrl-c to exit; Press Enter to hog 10MB more')

one = b'Z' * 1024 * 1024  # 1MB hog = []

while True:
    hog.append(one * 10)  # allocate 10MB
    free = ';\t'.join(open('/proc/meminfo').read().split('\n')[1:3])
    print("{}\tPress Enter to hog 10MB more".format(free), end='')
    input()
    sleep(0.1)

何が起こっているかを確認するために、テストシステムとの 3 つの端末接続を確立する場合があります。

スクリプトを実行します。
top コマンドを実行します。
/proc/zoneinfoを取得する

スクリプトを実行します:

$ python3 ramhog.py

Enterキーを何回か入力すると（設定した小さなメモリ割り当てチャンク（10MB）による）、

がMemAvailable少なくなり、システムの応答性が低下しています。ramhog.py の出力

無料ページは最低水準点を下回ります:無料ページ

その結果、kswapd と k8s プロセスが起動し、CPU 使用率が最大 100% まで上昇します。上

スクリプトは k8s とは別に実行されており、SWAP は無効になっていることに注意してください。そのため、テストの開始時には Kubernetes と kswapd0 の両方がアイドル状態でした。実行中のポッドには影響しませんでした。しかし、時間の経過とともに、3 番目のアプリケーションによって使用可能なメモリが不足し、kswapd だけでなく k8s でも CPU 使用率が高くなります。つまり、根本的な原因はメモリ不足であり、k8s や kswapd 自体ではないということです。

/proc/meminfo提供されたからわかるように、がMemAvailable非常に少なくなり、kswapd が起動する原因になっています。/proc/zoneinfoサーバーのも確認してください。

実際のところ、根本的な原因は k8s と kswap0 の衝突や非互換性ではなく、無効化されたスワップとメモリ不足の矛盾にあり、それが kswapd のアクティブ化を引き起こしています。システムを再起動すると一時的に問題は解決しますが、RAM を追加することが本当に推奨されます。

kswapd の動作に関するわかりやすい説明はここにあります: kswapdはCPUサイクルを大量に使用しています

Answer