Linux 到 Linux，10 TB 傳輸？

Question

我看過以前所有類似的問題，但答案似乎到處都是，沒有人移動很多數據（100 GB 與 10 TB 不同）。

我有大約 10 TB 的資料需要從一個 RAID 陣列轉移到另一個千兆位元乙太網路（免費百科全書），XFS文件系統。我最擔心的是傳輸中途終止並且無法輕鬆恢復。速度固然很好，但確保傳輸更為重要。

通常我只會 tar 和 netcat，但我要移動的 RAID 陣列最近非常不穩定，如果它在進程中丟失，我需要能夠恢復和恢復。我應該看一下同步？

進一步研究一下，我認為 rsync 可能太慢了，我想避免這種情況花費 30天或更多。所以現在我正在尋找有關如何監控/恢復傳輸的建議網貓。

Answer 1

是的，rsync

除了奇怪之外，DRBD 最近還推出了非同步功能。

Answer 2

永遠不要低估裝滿磁帶的旅行車的頻寬。 如果您可以將其分成（例如 2TB）區塊，那麼對於相對便宜的消費級 NAS 裝置來說 10TB 是可行的。如果這是一次性的，那麼半手動過程可能是可行的，而 2TB NAS 只需幾百美元。

如果您需要一個持續的過程，那麼您可以在完成初始傳輸後設定 RSYNC。

Answer 3

幾個月前我不得不做這樣的任務。我使用並行 rsync 來加速這個過程。它將要傳輸/同步的檔案分割成區塊，並且可以隨時恢復。請參閱下面的連結以了解並行 rsync 腳本。

https://gist.github.com/rcoup/5358786

Answer 4

您可以嘗試在要複製資料的伺服器上設定 FTP 伺服器，並在接收端使用具有「復原」功能的 FTP 用戶端。我使用 Filezilla 伺服器和客戶端，並且經常使用客戶端的「復原」功能，並且它始終工作順利。