Ich möchte ein digitales Archiv mit Fotos, Dokumenten und anderen wichtigen Dingen erstellen und es in der Cloud (wahrscheinlich Amazon Glacier) speichern. Vorzugsweise ein Jahr pro Archiv, jeweils bis zu 10 Gigabyte. Ich möchte sicherstellen, dass Speicher- und Netzwerkübertragungsfehler nichts beschädigen, daher möchte ich einen soliden Overhead für die Wiederherstellung von Daten einplanen.
Gibt es hier Empfehlungen für bewährte Vorgehensweisen und Tools? RAR mit Wiederherstellungsdaten? Lohnt es sich, die Prüfsumme jeder Datei zusammen mit dem Archiv zu speichern? Irgendwelche anderen Vorschläge?
Antwort1
Wenn Sie zusätzliche Wiederherstellungsdaten in Ihre Backups aufnehmen möchten, können Sie Folgendes verwenden:Vorarchiv-artige Lösungen. Sie geben die Menge der Redundanz-/Wiederherstellungsdaten an, die Sie generieren möchten, und wie (wenn überhaupt) diese aufgeteilt werden sollen. Der Vorteil dieser Methode besteht darin, dass sie unabhängig von den tatsächlich gewählten Sicherungs- und Speichermethoden ist. Sie können Zip oder Tar oder Windows Backup oder alles andere verwenden, das Dateien generiert, und diese durch Parchive-Tools leiten, um zusätzliche Wiederherstellungsdateien zu generieren.
Bedenken Sie, dass sowohl Amazon Glacier- als auch S3-Dienste Dateiprüfsummen generieren können. Wenn Sie also eine Datei hochladen, können Sie lokale und Remote-Prüfsummen vergleichen, um sicherzustellen, dass die Datei ohne Fehler übertragen wurde.
Darüber hinaus sagt Amazon zu diesem Thema:
Dauerhaft– Amazon Glacier ist so konzipiert, dass es eine durchschnittliche jährliche Haltbarkeit von 99,999999999 % für ein Archiv bietet. Der Service speichert Daten redundant in mehreren Einrichtungen und auf mehreren Geräten innerhalb jeder Einrichtung. Um die Haltbarkeit zu erhöhen, speichert Amazon Glacier Ihre Daten synchron in mehreren Einrichtungen, bevor es beim Hochladen von Archiven „SUCCESS“ zurückgibt. Im Gegensatz zu herkömmlichen Systemen, die eine mühsame Datenüberprüfung und manuelle Reparatur erfordern können, führt Glacier regelmäßige, systematische Datenintegritätsprüfungen durch und ist so konzipiert, dass es automatisch selbstheilend ist.
Das bedeutet, dass die Wahrscheinlichkeit, dass eine Ihrer Dateienpuhim Laufe eines einzigen Jahres. Anders ausgedrückt: Wenn Sie 100 Milliarden Dateien ein Jahr lang in Glacier speichern, können Sie damit rechnen, eine davon zu verlieren.
Wenn Sie zusätzliche Sicherheit wünschen, sollten Sie Ihre Daten in mehrere Glacier-Regionen oder zu einem völlig anderen Dienstanbieter in einer anderen geografischen Region hochladen.
Antwort2
Wenn Sie der Zuverlässigkeit Ihres Speichermediums nicht völlig vertrauen, möchten Sie im Allgemeinen eine eigene reparaturfähige Redundanz einführen.
Eine brachiale und schnelle Methode hierfür besteht darin, einfach alles zweimal hochzuladen. Das möchten Sie wahrscheinlich nicht.
Es ist kompliziert, aber wenn Sie Ihre Dateien in kleine Blöcke aufteilen und "par2"-Dateien mit einem Tool wieQuickPar. (Hier ist ein Tutorial), dann glaube ich, dass eine fehlende Datei wiederhergestellt werden kann. Dies wird normalerweise verwendet, um die Zuverlässigkeit von Binärdateien zu erhöhen, die über Usenet übertragen und „abgerufen“ werden (was eigentlich nie dafür gedacht war), aber es könnte überall verwendet werden, wo Sie dieses Maß an Redundanz haben möchten.
Antwort3
Es gibt Alternativen zum alten PAR-Format:DVD-Katastrophe, DAR undpyFileFixity(das ich entwickelt habe). Aber Cloud-Dienste sollten natürlich über ein eigenes System zur Datensicherung verfügen, denn bei dem Speicherplatz, den sie bieten, steigt die Rate der Datenbeschädigung erschreckend hoch, Sie sollten also in jedem Fall auf der sicheren Seite sein.