Lösung für Dateidatensicherung, Versionierung und Replikation

Question

Wir verfügen über eine wachsende Anzahl von Datendateien (WAV-Dateien, Bilddateien usw.), die Daten sind, also nicht Teil des Anwendungscodes sind und von Benutzern hochgeladen und geändert werden. Die Anzahl der Dateien liegt im Tausenderbereich und die Gesamtgröße erreicht mehrere GB.

Wir haben mehrere Servercluster an verschiedenen Standorten auf der ganzen Welt (USA, EU, ME). In jedem Cluster ist es wichtig, dass die Daten lokal und nicht von S3 bereitgestellt werden (die Datendateien werden nicht direkt an Clients bereitgestellt, sondern von den Servern verarbeitet). Wir möchten an jedem Standort einen Dateiserver festlegen, der die Dateien über NFS an die anderen Knoten im selben Cluster bereitstellt.

Das Fazit lautet also:

• Über die Anwendung hochgeladene Dateien sollten auf landen S3.
• Jeder Dateiserverknoten sollte diese Dateien replizieren.

Wir sehen mehrere Optionen:

• Verwenden Sie einen originDateiserver, der S3zur Sicherung/Versionierung und über rsync(oder ähnliches) zu den Knoten repliziert.
• Wie oben, aber Slaves werden S3mithilfe eines S3-Tools oder Ähnlichem repliziert.
• Wenn kein originApp-Code verwendet wird, wird er direkt hochgeladen S3und die Slaves replizierten wie oben beschrieben.

Wir haben uns gefragt, welche Lösung empfohlen wird und welche Tools für den Replikationsteil verfügbar sind (d. h. in der Kategorie Dateisystem-zu-Dateisystem und in der Kategorie Dateisystem/S3).