如何真正儲存資料(避免靜默資料損壞)

如何真正儲存資料(避免靜默資料損壞)

真正困擾我的是無聲資料損壞。多年來,我多次經歷過這樣的情況:突然你想打開一些舊照片,只是撓頭,想知道文件夾中是否沒有另一張照片。我將所有專案文件和圖片儲存在我的保管箱中,並且另外還有一個外部 RAID 1 磁碟 (WDMyBookMirror),我將這些文件備份到其中。大約一年前,我從舊的 MyBook Mirror 升級到了新的。舊磁碟仍然保留舊數據,我決定使用 FileMerge 將舊磁碟的資料夾樹與正在使用的新備份磁碟的當前狀態進行比較。事實證明,在這一年左右的時間裡,我的新磁碟上大約有 10 個檔案消失了。隨機照片和影片。如果我沒有進行比較,我永遠不會注意到。

這讓我想到了這個問題。如何儲存資料才能真正確保不會在不知不覺中遺失任何檔案?

顯然 RAID 1 並沒有讓我免於無聲的資料損壞。其上的 NTFS 檔案系統也沒有,而諸如 dropbox 之類的雲端解決方案可能只會將錯誤的檔案變更同步到雲端中,從而也會損壞/遺失其他地方的資料。創建備份的定期備份也不會通知我有關圖片默默丟失或損壞的信息。

那該怎麼辦?我讀了一些關於 ReFS 和 ZFS 的內容。這是要走的路嗎?

我不介意支付冗餘費用 - 但如何儲存我的資料才能確保不會發生靜默資料損壞?

答案1

ZFS 檔案系統旨在高度抵抗靜默資料損壞。使用複雜的校驗和技術,包括區塊鍊和將資料校驗和儲存在從資料儲存位置本身刪除的媒體位置中,再加上儲存多個元資料副本(「同上區塊」)的能力,ZFS 不僅可以偵測靜默損壞,但當 ZFS 池有足夠的冗餘時,ZFS 可以修復損壞。從這個意義上來說,ZFS 被描述為一個「自我修復」的檔案系統。

即使是單一磁碟儲存系統,ZFS 也比許多傳統檔案系統具有顯著的優勢。簡而言之,從Oracle 的 ZFS 文檔:

儲存 ZFS 使用者資料的多個副本的好處如下:

  • 透過從不可恢復的區塊讀取故障(例如所有 ZFS 配置的媒體故障(通常稱為位元腐爛))中復原來改進資料保留。

  • 即使只有一個磁碟可用,也能提供資料保護。

  • 使您能夠基於每個檔案系統選擇資料保護策略,超出儲存池的功能。

有關 ZFS 的許多其他方面可以在該連結的相關文件中找到。

也就是說,沒有一個系統是完美的。但 ZFS 是一個可用的強大工具。

答案2

為了穩定,藍寶石光碟雖然可用昂貴的。除此之外,請在不同的伺服器上建立多個 Zip 檔案。由於 Zip 具有內部校驗和,因此您可以立即知道存檔是否損壞。

數位科技的基礎是包容錯誤率透過冗餘、校驗和以及其他方式。即使理論上完美的介質仍會因宇宙射線、電噪聲等而出現錯誤。

相關內容