データを実際に保存する方法(サイレントデータ破損を回避する)

データを実際に保存する方法(サイレントデータ破損を回避する)

本当に困るのは、サイレント データの破損です。長年にわたり、突然古い写真を開きたくなり、そのフォルダーに別の写真がないかと首をかしげるという経験を何度もしてきました。プロジェクト ファイルと写真はすべて Dropbox に保存し、さらに外付け RAID 1 ディスク (WDMyBookMirror) にこれらのファイルをバックアップしています。約 1 年前、古い MyBook Mirror から新しいものにアップグレードしました。古いものはまだ古いデータとともに放置されていたので、FileMerge を使用して、古いディスクのフォルダー ツリーと、現在使用している新しいバックアップ ディスクの現在の状態を比較することにしました。この 1 年ほどで、新しいディスクから約 10 個のファイルが消えていることがわかりました。写真やビデオがランダムに消えていました。比較を実行しなければ、気付くことはなかったでしょう。

すると、次のような疑問が湧いてきます。気付かないうちにファイルを失っていないことを確実にするために、データを保存するにはどうすればよいのでしょうか?

どうやら RAID 1 では、サイレント データ破損から保護されなかったようです。その上の NTFS ファイル システムも同様で、Dropbox などのクラウド ソリューションでは、おそらく誤ったファイル変更がクラウドに同期され、他の場所のデータも破損/失われることになります。バックアップの定期的なバックアップを作成しても、サイレントに失われたり破損したりした写真については通知されません。

では、どうすればいいでしょうか? ReFS と ZFS について少し読みました。これでいいのでしょうか?

冗長性のためにお金を払うのは構いませんが、サイレントデータ破損が起こらないことを確実にするためにデータを保存する方法は何でしょうか?

答え1

ZFS ファイル システムは、サイレント データ破損に対して高い耐性を持つように設計されています。ブロック チェーン、データのチェックサムをデータ ストレージの場所自体から離れたメディアの場所に保存するなどの高度なチェックサム技術、およびメタデータの複数のコピー (「ディット ブロック」) を保存する機能を使用することで、ZFS はサイレント破損を検出できるだけでなく、ZFS プールに十分な冗長性がある場合、破損を修復できます。この意味で、ZFS は「自己修復」ファイル システムとして説明されています。

単一ディスクストレージシステムであっても、ZFSは多くの従来のファイルシステムに比べて大きな利点があります。簡単に言うと、Oracle の ZFS ドキュメント:

ZFS ユーザー データの複数のコピーを保存する利点は次のとおりです。

  • すべての ZFS 構成において、メディア障害 (一般にビット ロットと呼ばれる) などの回復不可能なブロック読み取り障害からの回復を可能にすることで、データ保持を改善します。

  • 使用可能なディスクが 1 つしかない場合でも、データ保護を提供します。

  • ストレージ プールの機能を超えて、ファイル システムごとにデータ保護ポリシーを選択できます。

ZFS に関するその他の多くの側面については、そのリンクの関連ドキュメントで確認できます。

そうは言っても、完璧なシステムはあり得ません。しかし、ZFS は利用できる強力なツールです。

答え2

安定性のために、サファイア光ディスク利用可能ですが高いそれが不可能な場合は、異なるサーバー上に複数の Zip ファイルを作成してください。Zip には内部チェックサムがあるため、アーカイブが破損している場合はすぐにわかります。

デジタル技術は、エラー率冗長性、チェックサム、その他の手段によって実現されます。理論的には完璧なメディアであっても、宇宙線や電気ノイズなどの影響でエラーが発生する可能性があります。

関連情報