97.9GB のフォルダを別のフォルダにコピーしたいのですが、最初は転送速度を高く設定し、推定所要時間は約 30 分としました。fdsr がコピーを続けると、転送速度が低下します。現在は約 5Mb/秒で、推定時間は 5 時間にまで伸びています。速度はまだ低下しています (これを書いている間にすでに 4.3Mb/秒になっています)。これを回避して、フォルダを一貫して高い転送速度でコピーするにはどうすればよいでしょうか。私は Ubuntu を使用しています。
答え1
一般的に、多数の小さなファイルをコピーするよりも、多数の大きなファイルをコピーする方がはるかに高速です。 1 つの大きなファイルを転送する場合、コピー時間は転送速度によって決まります。多数の小さなファイルをコピーする場合、時間はファイル作成によって決まります。
ソース フォルダーを tar ファイルに圧縮して tar ファイルを転送することで、おそらく処理速度を上げることができますが、転送するファイルが 500,000 個ある場合は、遅かれ早かれ、そのメタデータ作成にかかるコストを支払う必要があることに注意してください。
また、ファイル システムによってコストが異なる場合もあります。https://unix.stackexchange.com/questions/28756/what-is-the-most-high-performance-linux-filesystem-for-storing-a-lot-of-small-fiかなり古いものですが、比較が含まれています。また、ファイルシステムのマウントオプションをいくつか選択すると、大きな違いが出る可能性があります。たとえば、ext4では、次の点を調べるとよいでしょう。noatime,nodiratime,relatime,barrier=0,commit=30