Ich habe ein Python-Programm, das verwendet multiprocessing.Pool, was bedeutet, dass es mehrere Prozesse erzeugt. Das Programm ruft 70.000 Textdateien ab, führt einige Verarbeitungen durch und speichert sie in einem anderen Verzeichnis. Ich möchte beim Ausführen alle meine CPU-Kerne nutzen, wieDas.
Und seit einiger Zeit gelingt mir das auch. Die Ausführung meines Programms dauerte jedes Mal etwa 10 Sekunden, was gut ist.
real 0m12.430s
user 0m13.072s
sys 0m9.704s
Aber in den letzten Tagen war es inkonsistent. Manchmal nutzt es 100 % der CPU-Leistung für alle Kerne. Andere Male nutzt das Programm ohne Grund nur 0-1 Prozent und braucht bis zu 5 Minuten, um ausgeführt zu werden.
real 5m6.186s
user 0m4.844s
sys 0m4.968s
Beachten Sie, dass real >> user + sys, obwohl ich keine Ahnung habe, was das bedeutet. Beachten Sie auch, dass ich zwischen den Läufen keine Parameter des Codes oder andere Einstellungen ändere. In diesem Fall habe ich auch festgestellt, dass die RAM-Nutzung jedes Prozesses nie über 10 MB hinausgeht, was sich auf die CPU-Auslastung auswirken kann.
Meine Frage ist, wie kann ich überhauptbeginnenum dieses Problem zu diagnostizieren? Einige meiner Hypothesen sind:
- Das Betriebssystem hat erkannt, dass mein Laptop 2 Jahre alt ist und versucht, seine Lebensdauer durch Drosselung der CPU-/RAM-Nutzung zu verlängern
- Möglicherweise drosselt das Betriebssystem die CPU-/RAM-Nutzung eines Prozesses, wenn dieser über einen längeren Zeitraum hinweg viel davon verbraucht hat.
- Jemand hat Fernzugriff auf meinen Laptop und trollt mich
Ich verwende Linux Mint 17.3 auf einem Laptop mit Intel(R) Core(TM) i3-4005U CPU @ 1,70GHz, 4 Kernen, 8 GB RAM, HDD
Dank im Voraus.
BEARBEITEN: Hier ist die vmstat-Ausgabe während das Programm läuft
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
3 1 0 2773588 242912 2522744 0 0 114 54 229 812 11 2 83 5 0