Sichern von 200 TB Daten von einer Netzwerkfreigabe auf mehrere externe 8-TB-Festplatten (Linux)

Sichern von 200 TB Daten von einer Netzwerkfreigabe auf mehrere externe 8-TB-Festplatten (Linux)

Ich arbeite für ein Unternehmen, das bei Testfahrten Unmengen an Sensordaten sammelt. Derzeit haben wir etwa 200 TB (1.638.400 Gbit) an Daten, die gesichert werden müssen.

Wir planen, Ende des Jahres eine Bandbibliothek einzurichten, aber vorerst müssen wir die Daten auf mehrere mit ext4 formatierte Festplatten kopieren.

Für die Datensicherung steht ein Server mit 10Gbit/s Anbindung an die Sensordaten zur Verfügung. Dieser Server verfügt über zwei UBS 3.0 Ports. Auf dem Server ist derzeit Debian installiert, wir könnten aber auch jedes andere Linux für diesen Zweck installieren.

Unsere externen Festplatten sind Western Digital MyBooks 3.0 mit 8 TB Speicher und einer Schreibgeschwindigkeit von 180 MB/s (1.440 Mbit/s).

Mit zwei USB 3.0-Anschlüssen können wir also theoretisch 2,8 Gbit/s schreiben, was zu einer Gesamtschreibzeit von ungefähr 162 Stunden (6,8 Tage) führt. Da dies der optimale Fall ist und die Zeit zum Austauschen der Laufwerke nicht berücksichtigt wird, gehen wir davon aus, dass es mindestens zwei Wochen mit jeweils fünf Arbeitstagen dauern wird. Bitte korrigieren Sie mich, wenn ich falsch liege.

Während diese Situation nach einer BANDBIBLIOTHEK schreit, müssen wir vorerst den Weg über UBS 3.0 gehen.

Ich würde gerne Ihre Vorschläge hören, wie sich dieses Problem am schnellsten und einfachsten lösen lässt.

Für jede Hilfe bin ich sehr dankbar! Vielen Dank!

verwandte Informationen