☰

シェルスクリプト

tag-icon • tag-icon time synchronization write pv
シェルスクリプト

進捗状況と、執筆の有無による推定時間sync

進行状況を表示する際にバッファをフラッシュし、書き込みプロセス全体の推定時間である ETA (推定到着時間) を推定するツール (または簡単な方法) は見つかりませんでした。

  • pvオペレーティング システムから見た進行状況の時間を表示できますが、ターゲット ドライブが低速で RAM が大量にある場合は、データがバッファに書き込まれるまでの時間のみが表示されます。この時間は、バッファがフラッシュされるまでの実際の時間のほんの一部になる場合があります。

  • dd使用されたデータ量、時間、転送速度に関する最終レポートを書き込みます。また、「進行状況」レポートを書き込むようにすることもできます。以前は よりもはるかに正確な見積もりを出していましたがpv、最近では USB ドライブやメモリ カードがまだ非常に遅いのに対し、他のプロセスは高速で、バッファに使用可能なメモリは大きくなっています。そのため、ddバッファがフラッシュされるずっと前に終了することもあります。

  • 書き込み処理の時間をコマンドsyncで計測できますtime

    time ( write command; sync )

    実際にかかった時間も表示されますが、これは終了した後でのみ役立ちます。進行状況は表示されず、残り時間の合計も推定されません。

  • 実行すると、iotop読み取りおよび書き込みのプロセスと、読み取りおよび書き込みの速度が表示されますが、残り時間は推定されません。

進捗状況と推定時間を表示する方法全体書き込みプロセス?

バッファのフラッシュを含む、書き込みプロセス全体の進行状況と推定時間、ETA (到着予定時刻) を表示するにはどうすればよいでしょうかsync?

関連する質問へのリンク

答え1

シェルスクリプト

で報告された「ダーティ」データの量を使用するようにアドバイスしてくれた @LinuxSecurityFreak に感謝します/proc/meminfo。

私は次のシェルスクリプトを作成しましたflusher。バッファをフラッシュする進行状況と推定時間を表示します。これは、たとえば、iso ファイルから USB ドライブまたはメモリ カードにクローンした後、Linux オペレーティング システムでライブ ドライブを作成するために使用できます。

#!/bin/bash

timeorig=$(date '+%s')
deltat=5  # checking time interval

dirtorig=$(grep -e 'Dirty:' /proc/meminfo | tr -s ' ' '\t' | cut -f2)
dirt0=$dirtorig
echo -n "dirty = $dirt0 kB - before sync"

sync & spid=$!

while ps -A|grep "$spid" > /dev/null
do
 sleep "$deltat"
 dirty=$(grep -e 'Dirty:' /proc/meminfo | tr -s ' ' '\t' | cut -f2)
 deltad=$((dirt0-dirty))
 if [ $deltad -gt 0 ]
 then
  eta="$((dirty*deltat/deltad)) s"
  rate="$(((deltad+500)/deltat/1000)) MB/s"
 else
  eta="n.a."
  rate="n.a."
 fi
 echo -en "\0033[2K\0033[1G"
 echo -n "dirty = $dirty kB -- syncing -- rate = $rate -- eta = $eta"
 dirt0="$dirty"
done
echo -e "\0033[2K\0033[1GDone syncing :-)"

timefinal=$(date '+%s')
timeused=$((timefinal-timeorig))
if [ $timeused -gt 0 ]
then
 rate="$(((10*dirtorig+5)/timeused/10))"
 if [ $rate -ge 10000 ]
 then
  rate="$(((dirtorig+500)/timeused/1000)) MB/s"
 else
  rate="$rate kB/S"
 fi
else
 rate="n.a."
fi
echo "syncing time = $timeused s -- rate = $rate"

デモ例

低速ドライブへのクローン作成 (USB 2)

$ sudo dd if=xubuntu-18.04.1-desktop-amd64.iso of=/dev/sde bs=1M ; ./flusher
[sudo] password for sudodus: 
1367+1 posts in
1367+1 posts ut
1434386432 bytes (1.4 GB, 1.3 GiB) copied, 0.408724 s, 3.5 GB/s

出力元flusher:

dirty = 840600 kB -- syncing -- rate = 5 MB/s -- eta = 156 s
...
Done syncing :-)
syncing time = 302 s -- rate = 4639 kB/S

高速ドライブ（eSATA）へのクローン作成

$ sudo dd if=xubuntu-18.04.1-desktop-amd64.iso of=/dev/sda bs=1M ; ./flusher
1367+1 posts in
1367+1 posts ut
1434386432 bytes (1.4 GB, 1.3 GiB) copied, 0.404442 s, 3.5 GB/s

出力元flusher:

dirty = 727508 kB -- syncing -- rate = 59 MB/s -- eta = 12 s
...
Done syncing :-)
syncing time = 25 s -- rate = 56 MB/s

編集：

現在のバージョンにはflusher、 と呼ばれるの更新バージョンがあります。watch-flushムクブ以下のエイリアスを介して独自のウィンドウとは別に使用できます。

alias wf='xterm -title "watch-flush" -fa default -fs 13 -fg yellow -bg "#504030" -geometry 70x7 -e bash -c "watch-flush;read -n1" 2> /dev/null'

関連情報