Cómo almacenar realmente sus datos (evitando la corrupción silenciosa de los datos)

Cómo almacenar realmente sus datos (evitando la corrupción silenciosa de los datos)

Algo que realmente me molesta es la corrupción silenciosa de datos. A lo largo de los años, he experimentado muchas veces que de repente quieres abrir algunas fotos antiguas sólo para rascarte la cabeza y preguntarte si no había otra foto en esa carpeta. Almaceno todos los archivos e imágenes de mi proyecto en mi Dropbox y, además, tengo un disco RAID 1 externo (WDMyBookMirror) donde hago copias de seguridad de estos archivos. Hace aproximadamente un año actualicé mi MyBook Mirror antiguo por uno nuevo. El antiguo todavía estaba por ahí con los datos antiguos, y decidí ejecutar una comparación con FileMerge de los árboles de carpetas del disco antiguo con el estado actual de mi nuevo disco de respaldo que está en uso. Resulta que alrededor de 10 archivos han desaparecido en este año de mi nuevo disco. Fotos y vídeos aleatorios. Si no hubiera hecho la comparación, nunca me habría dado cuenta.

Esto me lleva a la pregunta. ¿Cómo puedo almacenar mis datos para estar realmente seguro de no perder ningún archivo sin darme cuenta?

Aparentemente, el RAID 1 no me salvó de la silenciosa corrupción de datos. Tampoco el sistema de archivos NTFS, y una solución en la nube como Dropbox probablemente simplemente sincronizaría los cambios erróneos de los archivos en la nube, corrompiendo o perdiendo los datos también en otros lugares. La creación de copias de seguridad periódicas tampoco me informará sobre imágenes perdidas o dañadas silenciosamente.

¿Entonces lo que hay que hacer? Leí un poco sobre ReFS y ZFS. ¿Es ese el camino a seguir?

No me importa pagar por la redundancia, pero ¿cuál es la forma de almacenar mis datos para poder estar SEGURO de que no se produzca una corrupción silenciosa de los datos?

Respuesta1

El sistema de archivos ZFS está diseñado para ser altamente resistente a la corrupción silenciosa de datos. Al utilizar técnicas sofisticadas de suma de verificación, que incluyen la cadena de bloques y el almacenamiento de sumas de verificación de datos en ubicaciones de medios que se eliminan de las ubicaciones de almacenamiento de datos, además de la capacidad de almacenar múltiples copias de metadatos ("bloques ídem"), ZFS no solo puede detectar corrupción silenciosa, pero cuando el grupo ZFS tiene suficiente redundancia, ZFS puede reparar la corrupción. En este sentido, ZFS se describe como un sistema de archivos "autocurativo".

Incluso para los sistemas de almacenamiento de un solo disco, ZFS tiene ventajas significativas sobre muchos sistemas de archivos tradicionales. Brevemente, deDocumentos ZFS de Oracle:

Los beneficios de almacenar múltiples copias de datos de usuario de ZFS son los siguientes:

  • Mejora la retención de datos al permitir la recuperación de fallas de lectura de bloques irrecuperables, como fallas de medios (comúnmente conocidas como bit rot) para todas las configuraciones de ZFS.

  • Proporciona protección de datos, incluso cuando solo hay un disco disponible.

  • Le permite seleccionar políticas de protección de datos por sistema de archivos, más allá de las capacidades del grupo de almacenamiento.

Se pueden encontrar muchos otros aspectos sobre ZFS en la documentación relacionada en ese enlace.

Dicho esto, ningún sistema puede ser perfecto. Pero ZFS es una herramienta potente que hay que tener disponible.

Respuesta2

Para la estabilidad,discos ópticos de zafiroestán disponibles, aunquecaro. Salvo eso, cree varios archivos Zip en diferentes servidores. Dado que Zip tiene sumas de verificación internas, sabrá inmediatamente si un archivo está dañado.

La tecnología digital se basa en acomodarla tasa de errormediante redundancia, sumas de verificación y otros medios. Incluso los medios teóricamente perfectos seguirán estando sujetos a errores debido a los rayos cósmicos, el ruido eléctrico, etc.

información relacionada