Quiero crear un archivo digital de fotografías, documentos y otras cosas importantes para almacenar en la nube (probablemente Amazon Glacier). Preferiblemente un año por archivo, de hasta 10 gigabytes cada uno. Quiero asegurarme de que los errores de almacenamiento y transferencia de red no rompan nada, por lo que quiero incluir una sobrecarga sólida de recuperación de datos.
¿Tiene alguna de las mejores prácticas y herramientas recomendadas aquí? ¿RAR con datos de recuperación? ¿Vale la pena almacenar la suma de comprobación de cada archivo junto con el archivo? ¿Cualquier otra sugerencia?
Respuesta1
Si desea incluir datos de recuperación adicionales con sus copias de seguridad, puede usarParchivo-soluciones tipo. Usted especifica la cantidad de datos de redundancia/recuperación que desea generar y cómo (si es que lo hace) dividirlos. La ventaja de utilizar este método es que es independiente de los métodos de almacenamiento y copia de seguridad reales que elija. Puede usar zip o tar o Windows Backup o cualquier otra cosa que genere archivos y alimentarlos a través de las herramientas Parchive para generar archivos de recuperación adicionales.
Tenga en cuenta que tanto los servicios de Amazon Glacier como S3 tienen la capacidad de generar sumas de verificación de archivos, por lo que una vez que carga un archivo, puede comparar las sumas de verificación locales y remotas para asegurarse de que el archivo se haya transferido sin errores.
Además, esto es lo que Amazon tiene que decir sobre este tema:
Durable– Amazon Glacier está diseñado para proporcionar una durabilidad anual promedio del 99,999999999% para un archivo. El servicio almacena datos de forma redundante en múltiples instalaciones y en múltiples dispositivos dentro de cada instalación. Para aumentar la durabilidad, Amazon Glacier almacena sus datos de forma sincrónica en múltiples instalaciones antes de devolver ÉXITO al cargar archivos. A diferencia de los sistemas tradicionales que pueden requerir una laboriosa verificación de datos y reparación manual, Glacier realiza comprobaciones periódicas y sistemáticas de la integridad de los datos y está diseñado para repararse automáticamente.
Esto significa que sólo existe una probabilidad de 0,00000000001 (1e-11) de que cualquiera de sus archivos se elimine.maricónen el transcurso de un solo año. Dicho de otra manera, si almacena 100 mil millones de archivos en Glacier durante un año, puede esperar perder uno de ellos.
Si desea una seguridad adicional, considere cargar sus datos en varias regiones de Glacier o en un proveedor de servicios totalmente diferente en otra región geográfica.
Respuesta2
Generalmente, si no confía plenamente en la confiabilidad de su medio de almacenamiento, querrá introducir su propia redundancia con capacidad de reparación.
Una forma de fuerza bruta, rápida y sucia de hacer esto es simplemente cargar todo dos veces. Probablemente no quieras hacer eso.
Es complicado, pero si divide sus archivos en bloques pequeños y crea archivos "par2" usando una herramienta comoPar rápido. (aquí hay un tutorial) entonces creo que si falta un archivo, se puede recuperar. Esto generalmente se usa para aumentar la confiabilidad de los archivos binarios transferidos y "recuperados" a través de Usenet (que en realidad nunca fue diseñado para hacer eso), pero podría usarse en cualquier lugar donde desee tener este nivel de redundancia.
Respuesta3
Existen alternativas al antiguo formato PAR:DVDdesastre, DAR ypyFileFixity(que desarrollé). Pero, por supuesto, los servicios en la nube deberían tener su propio sistema para la conservación de datos, porque con el espacio de almacenamiento que ofrecen, la tasa de corrupción de datos aumenta espantosamente alta, por lo que en cualquier caso deberías estar seguro.