☰

GNU 並列が CPU をすべて利用していない

tag-icon • tag-icon linux bash python shell
GNU 並列が CPU をすべて利用していない

私は、stdin（1行）から読み取り、いくつかの処理（文字列解析、IOは関係しない）を行い、stdoutに出力する単純なPythonスクリプトを持っています。

e.g. python parse.py < in.txt > out.txt

私はin.txt約 200 GB のサイズのを所有しており、並列処理を使用して速度を上げています (CPU コアは 8 個あります)。

cat in.txt | parallel -j8 -N1 --pipe python parse.py

私が観察したところ、CPUは十分に活用されていないようです。

%Cpu0  :  9.1 us, 22.7 sy,  0.0 ni, 68.2 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  : 27.3 us, 13.6 sy,  0.0 ni, 59.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  : 14.3 us, 71.4 sy,  0.0 ni, 14.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  : 14.3 us, 28.6 sy,  0.0 ni, 57.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu4  : 14.3 us, 38.1 sy,  0.0 ni, 47.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu5  :  4.8 us, 23.8 sy,  0.0 ni, 71.4 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu6  : 15.0 us, 20.0 sy,  0.0 ni, 65.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu7  : 23.8 us, 19.0 sy,  0.0 ni, 57.1 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

そして

ps ax | grep python

私は

12450 ?        S      0:00 /bin/bash -c               sh -c 'dd bs=1 count=1 of=/tmp/2NQLo8j4qy.chr 2>/dev/null';              test ! -s "/tmp/2NQLo8j4qy.chr" && rm -f "/tmp/2NQLo8j4qy.chr" && exec true;              (cat /tmp/2NQLo8j4qy.chr; rm /tmp/2NQLo8j4qy.chr; cat - ) | (python parse.py);
12453 ?        S      0:00 /bin/bash -c               sh -c 'dd bs=1 count=1 of=/tmp/zYnfr4Ss8H.chr 2>/dev/null';              test ! -s "/tmp/zYnfr4Ss8H.chr" && rm -f "/tmp/zYnfr4Ss8H.chr" && exec true;              (cat /tmp/zYnfr4Ss8H.chr; rm /tmp/zYnfr4Ss8H.chr; cat - ) | (python parse.py);
12456 ?        S      0:00 /bin/bash -c               sh -c 'dd bs=1 count=1 of=/tmp/wlrI14juYz.chr 2>/dev/null';              test ! -s "/tmp/wlrI14juYz.chr" && rm -f "/tmp/wlrI14juYz.chr" && exec true;              (cat /tmp/wlrI14juYz.chr; rm /tmp/wlrI14juYz.chr; cat - ) | (python parse.py);
12459 ?        S      0:00 /bin/bash -c               sh -c 'dd bs=1 count=1 of=/tmp/cyArLNBTTm.chr 2>/dev/null';              test ! -s "/tmp/cyArLNBTTm.chr" && rm -f "/tmp/cyArLNBTTm.chr" && exec true;              (cat /tmp/cyArLNBTTm.chr; rm /tmp/cyArLNBTTm.chr; cat - ) | (python parse.py);
12461 pts/0    S+     0:00 grep --color=auto python
15211 ?        S    144:22 perl /usr/bin/parallel -j8 -N1 --pipe python parse.py

実行するたびにps ax | grep python異なる一時ファイルが生成されますが、これらの一時ファイルの処理に CPU が浪費されているのでしょうか? それとも、何か間違っているのでしょうか?

答え1

Mark の回答は正しく、完全にサポートされていますが、新しい機能を試してみるのもよいかもしれません。

cat file | parallel --pipe ...

最大で約 100 MB/秒になります。

新しい実験的なオプション --pipepart は 2 GB/秒を超える速度を実現しますが、in.txt が実際の (シーク可能な) ファイルである必要があります。

parallel -a in.txt --block 100M --pipepart python parse.py

答え2

これ-N1により、1 行につき 1 つのプロセスが作成されます。並列セットアップのオーバーヘッドが発生しています。Python スクリプトを変更して、複数の行を処理できるようにする必要があります。その後、cat in.txt | parallel --pipe python parse.pyCPU を最大限に活用する必要があります。

関連情報