將 200TB 資料從網路共用備份到多個 8TB 外部 HDD (Linux)

將 200TB 資料從網路共用備份到多個 8TB 外部 HDD (Linux)

我在一家公司工作,該公司從試駕中收集大量感測器數據。目前我們有大約 200TB (1,638,400 Gbit) 的資料需要備份。

我們計劃在年底建立一個磁帶庫,但目前我們必須將資料複製到多個 ext4 格式化的 HDD 上。

具有 10Gbit/s 感測器資料連接的伺服器可用於備份。該伺服器有兩個 UBS 3.0 連接埠。伺服器目前安裝了 debian,但我們可以安裝任何 Linux 來完成此任務。

我們的外接硬碟是 Western Digital MyBooks 3.0,儲存容量為 8TB,寫入速度為 180MB/s (1,440Mbit/s)。

因此,使用兩個 USB 3.0 連接埠理論上我們能夠寫入 2.8Gbit/s,這導致總寫入時間約為 162 小時(6.8 天)。這是最佳情況,並且不考慮更換驅動器的時間,我們預計至少需要兩週時間,每個工作日五個工作天。如果我錯了,請糾正我。

雖然這種情況尖叫著磁帶庫!我們現在必須走UBS 3.0的路。

我很想聽聽您關於如何以最快、最簡單的方式解決這個問題的建議。

任何幫助深表感謝!謝謝你!

相關內容