Linux から Linux、10 TB の転送?

Linux から Linux、10 TB の転送?

過去の同様の質問をすべて見てきましたが、回答はバラバラで、誰も動いていないようでした。多くデータ量(100 GB は 10 TB とは異なります)。

約10TBのデータをRAIDアレイから別のRAIDアレイに移動する必要があります。ギガビットイーサネット、フリー百科事典、.XFS のファイル システム。私の最大の懸念は、転送が途中で停止し、簡単に再開できないことです。速度は良いですが、転送を確実に行うことの方がはるかに重要です。

通常はtarとnetcatを実行するだけですが、移行元のRAIDアレイは最近非常に不安定で、途中で落ちてしまった場合に回復して再開できるようにする必要があります。rsync?

もう少し調べてみると、rsyncは遅すぎるかもしれないので、30分かかるのは避けたい。日々またはそれ以上です。そこで、転送を監視/再開する方法についてアドバイスを求めています。ネットキャット

答え1

はい、rsync

奇妙な点を除けば、DRBD の非同期機能は最近登場しました。

答え2

テープ満載のステーションワゴンの帯域幅を決して過小評価しないでください。 10TB は、比較的安価な消費者向け NAS 機器で実現可能であり、それを (たとえば 2TB) のチャンクに分割できます。これが 1 回限りの場合、半手動のプロセスが機能する可能性があります。2TB NAS は数百ドルで済みます。

継続的なプロセスが必要な場合は、最初の転送を行った後に RSYNC を設定できます。

答え3

数か月前にこのようなタスクを実行する必要がありました。プロセスを高速化するために並列 rsync を使用しました。転送/同期するファイルをチャンクに分割し、いつでも再開できます。並列 rsync スクリプトについては、以下のリンクを参照してください。

https://gist.github.com/rcoup/5358786

答え4

コピーするデータがあるサーバーに FTP サーバーを設定し、受信側で「再開」機能を備えた FTP クライアントを使用することもできます。私は Filezilla サーバーとクライアントを使用しており、クライアントの「再開」機能を頻繁に使用していますが、常に問題なく動作しています。

関連情報