Как по-настоящему хранить данные (избегая скрытого повреждения данных)

Как по-настоящему хранить данные (избегая скрытого повреждения данных)

Что меня действительно беспокоит, так это молчаливое повреждение данных. За эти годы я много раз сталкивался с тем, что внезапно хочется открыть старые фотографии, просто чтобы почесать голову и поинтересоваться, нет ли в этой папке другой фотографии. Я храню все свои файлы проектов и фотографии в своем Dropbox и дополнительно имею внешний диск RAID 1 (WDMyBookMirror), на который я делаю резервные копии этих файлов. Около года назад я обновился со старого MyBook Mirror на новый. Старый все еще лежал со старыми данными, и я решил запустить сравнение с помощью FileMerge деревьев папок старого диска с текущим состоянием моего нового резервного диска, который используется. Оказалось, что за этот год или около того с моего нового диска исчезло около 10 файлов. Случайные фотографии и видео. Если бы я не запустил сравнение, я бы никогда этого не заметил.

Это подводит меня к вопросу. Как мне хранить свои данные, чтобы быть уверенным, что я не потеряю ни одного файла, не заметив этого?

Видимо, RAID 1 не спас меня от тихого повреждения данных. Как и файловая система NTFS на нем, а облачное решение, такое как dropbox, вероятно, просто синхронизировало бы ошибочные изменения файлов в облаке, повреждая/теряя данные и в других местах. Создание регулярных резервных копий резервной копии также не сообщит мне о тихо потерянных или поврежденных фотографиях.

Так что делать? Я немного почитал о ReFS и ZFS. Это тот путь?

Я не против платить за избыточность, но как хранить мои данные, чтобы я мог быть УВЕРЕН, что не произойдет скрытого повреждения данных?

решение1

Файловая система ZFS разработана с целью обеспечения высокой устойчивости к скрытому повреждению данных. Используя сложные методы контрольных сумм, включая цепочку блоков и хранение контрольных сумм данных в местах хранения носителей, которые удалены из самих мест хранения данных, а также возможность хранения нескольких копий метаданных («блоков ditto»), ZFS может не только обнаруживать скрытое повреждение, но и, когда пул ZFS имеет достаточную избыточность, ZFS может исправлять повреждение. В этом смысле ZFS описывается как «самовосстанавливающаяся» файловая система.

Даже для однодисковых систем хранения ZFS имеет значительные преимущества перед многими традиционными файловыми системами. Вкратце, отДокументация ZFS от Oracle:

Преимущества хранения нескольких копий пользовательских данных ZFS заключаются в следующем:

  • Улучшает сохранность данных, обеспечивая восстановление после неустранимых ошибок чтения блоков, таких как сбои носителя (широко известные как битовая порча) для всех конфигураций ZFS.

  • Обеспечивает защиту данных, даже если доступен только один диск.

  • Позволяет выбирать политики защиты данных для каждой файловой системы, выходя за рамки возможностей пула хранения.

Многие другие аспекты ZFS можно найти в соответствующей документации по этой ссылке.

Тем не менее, ни одна система не может быть идеальной. Но ZFS — это мощный инструмент, который стоит иметь под рукой.

решение2

Для стабильности,сапфировые оптические дискидоступны, хотядорогой. За исключением этого, создайте несколько Zip-файлов на разных серверах. Поскольку Zip имеет внутренние контрольные суммы, вы сразу узнаете, если архив поврежден.

Цифровая технология основана на размещениичастота ошибокс помощью избыточности, контрольных сумм и других средств. Даже теоретически совершенные носители будут все равно подвержены ошибкам из-за космических лучей, электрических помех и т. д.

Связанный контент