Ich habe ein einfaches Python-Skript, das von stdin liest (eine einzelne Zeile), einige Verarbeitungen durchführt (String-Parsing, kein IO erforderlich) und auf stdout ausgibt.
e.g. python parse.py < in.txt > out.txt
Ich habe einen in.txtmit einer Größe von etwa 200 GB und verwende Parallel, um ihn zu beschleunigen (ich habe 8 CPU-Kerne).
cat in.txt | parallel -j8 -N1 --pipe python parse.py
Was ich beobachtet habe, ist, dass die CPU nicht voll ausgelastet ist, z. B.
%Cpu0 : 9.1 us, 22.7 sy, 0.0 ni, 68.2 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 27.3 us, 13.6 sy, 0.0 ni, 59.1 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu2 : 14.3 us, 71.4 sy, 0.0 ni, 14.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu3 : 14.3 us, 28.6 sy, 0.0 ni, 57.1 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu4 : 14.3 us, 38.1 sy, 0.0 ni, 47.6 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu5 : 4.8 us, 23.8 sy, 0.0 ni, 71.4 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu6 : 15.0 us, 20.0 sy, 0.0 ni, 65.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu7 : 23.8 us, 19.0 sy, 0.0 ni, 57.1 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
Und
ps ax | grep python
ich habe
12450 ? S 0:00 /bin/bash -c sh -c 'dd bs=1 count=1 of=/tmp/2NQLo8j4qy.chr 2>/dev/null'; test ! -s "/tmp/2NQLo8j4qy.chr" && rm -f "/tmp/2NQLo8j4qy.chr" && exec true; (cat /tmp/2NQLo8j4qy.chr; rm /tmp/2NQLo8j4qy.chr; cat - ) | (python parse.py);
12453 ? S 0:00 /bin/bash -c sh -c 'dd bs=1 count=1 of=/tmp/zYnfr4Ss8H.chr 2>/dev/null'; test ! -s "/tmp/zYnfr4Ss8H.chr" && rm -f "/tmp/zYnfr4Ss8H.chr" && exec true; (cat /tmp/zYnfr4Ss8H.chr; rm /tmp/zYnfr4Ss8H.chr; cat - ) | (python parse.py);
12456 ? S 0:00 /bin/bash -c sh -c 'dd bs=1 count=1 of=/tmp/wlrI14juYz.chr 2>/dev/null'; test ! -s "/tmp/wlrI14juYz.chr" && rm -f "/tmp/wlrI14juYz.chr" && exec true; (cat /tmp/wlrI14juYz.chr; rm /tmp/wlrI14juYz.chr; cat - ) | (python parse.py);
12459 ? S 0:00 /bin/bash -c sh -c 'dd bs=1 count=1 of=/tmp/cyArLNBTTm.chr 2>/dev/null'; test ! -s "/tmp/cyArLNBTTm.chr" && rm -f "/tmp/cyArLNBTTm.chr" && exec true; (cat /tmp/cyArLNBTTm.chr; rm /tmp/cyArLNBTTm.chr; cat - ) | (python parse.py);
12461 pts/0 S+ 0:00 grep --color=auto python
15211 ? S 144:22 perl /usr/bin/parallel -j8 -N1 --pipe python parse.py
Bei jedem Ausführen ps ax | grep pythonerhalte ich unterschiedliche temporäre Dateien. Ich nehme an, die Verarbeitung dieser temporären Dateien beansprucht die CPU-Leistung zu sehr. Oder mache ich etwas falsch?
Antwort1
Obwohl Marks Antwort richtig und voll unterstützt ist, möchten Sie vielleicht eine neue Funktion ausprobieren.
cat file | parallel --pipe ...
Das Maximum liegt bei etwa 100 MB/s.
Die neue experimentelle Option --pipepart liefert > 2 GB/s, erfordert aber, dass in.txt eine echte (suchbare) Datei ist:
parallel -a in.txt --block 100M --pipepart python parse.py
Antwort2
Dies -N1führt dazu, dass pro Zeile ein Prozess erstellt wird. Sie sehen den Overhead der parallelen Einrichtung. Sie sollten das Python-Skript ändern, um mehr als eine Zeile zu verarbeiten. Dann cat in.txt | parallel --pipe python parse.pysollten die CPUs voll ausgenutzt werden.