私は を利用するPythonプログラムを持っていますmultiprocessing.Pool。つまり、複数のプロセスを生成します。プログラムは70kのテキストファイルを取得し、いくつかの処理を行って、別のディレクトリに保存します。実行時にすべてのCPUコアを活用したいのですが、これ。
そしてしばらくの間、それが可能でした。私のプログラムは毎回実行するのに約 10 秒かかりました。これは良いことです。
real 0m12.430s
user 0m13.072s
sys 0m9.704s
しかし、ここ数日は不安定になっています。すべてのコアで CPU を 100% 使用することもあれば、理由もなくプログラムが 0 ～ 1 パーセントしか使用せず、実行に 5 分もかかることもあります。
real 5m6.186s
user 0m4.844s
sys 0m4.968s
real >> user + sys であることに注意してください。ただし、これが何を意味するのかはわかりません。また、実行間でコードのパラメータやその他の設定を変更していないことにも注意してください。この場合、各プロセスの RAM 使用量が 10 MB を超えることはなく、CPU 使用率に影響する可能性があることにも気付きました。
私の疑問は、どうすれば始めるこの問題を診断するにはどうすればいいでしょうか? 私の仮説のいくつかは次のとおりです:
- OSは私のラップトップが2年前のものだと検出し、CPU/RAMの使用量を制限して寿命を延ばそうとしています
- かなり長い間、大量の CPU/RAM が使用されている場合、OS がプロセスの CPU/RAM 使用量を抑制する可能性があります。
- 誰かが私のノートパソコンにリモートアクセスして私を攻撃している
私は、Intel(R) Core(TM) i3-4005U CPU @ 1.70GHz、4コア、8 GBのRAM、HDDを搭載したラップトップでLinux Mint 17.3を実行しています。
前もって感謝します。
編集: プログラム実行中のvmstat出力は次のとおりです。
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
3 1 0 2773588 242912 2522744 0 0 114 54 229 812 11 2 83 5 0