77 GB の大きなパーティション バックアップ イメージが 1 つのファイルにあるので、これをすばやく圧縮したいと考えています。最悪の設定でも非常によく圧縮されるはずですが、「最速」設定で GZIP を選択すると約 1 時間かかります。プロセスを高速化するにはどうすればよいですか?
詳細: イメージ ファイルは、パーティションの生のバイナリ コピーです (Linux ddrescue ツールの出力)。このファイルは、USB 3 に接続された WD ハード ドライブに保存します。
答え1
圧縮速度の向上に関しては:
- 並列化します。http://blog.codinghorror.com/file-compression-in-the-multi-core-era/。
- さまざまな圧縮アルゴリズム (lzop など) は非常に高速です。
- 最適化された zlib 実装を取得します。たとえば、Google intel zlib などです。
読み取り速度の向上に関して:
- SSD を使用している場合、またはディスクから「ブロック」モードで読み取っている場合にのみ、定格のディスク スループットに近づきます。これは、小さなファイルの読み取りに関連するファイル シークと関係があります。
- Linuxでは次のようなものを使用します
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop