Automatische Einwegsynchronisierung einer Windows-Dateifreigabe mit einem S3-Bucket

Question

Unsere Kunden verfügen über Windows-Dateifreigaben, in denen sie viele verschiedene Dokumente speichern.

Wir möchten Dateien, die Platzhaltermustern entsprechen (z. B. *.pdf, *.xlsx, usw.), aus diesen Dateifreigaben in S3-Buckets aufnehmen, um einen Datensee aufzubauen.

Wir ziehen eine Reihe von Alternativen in Betracht, sind aber der Meinung, dass manche Leute bessere Ideen haben könnten, wie man das machen könnte:

1. Führen Sie Agentensoftware auf den Windows-Dateiservern der Clients aus.

   1.a. Schreiben Sie ein PowerShell-Skript, das rcloneneue/geänderte/gelöschte Dateien nach S3 kopiert und eine HTTP-API zur Berichterstellung aufruft, um uns mitzuteilen, ob der Vorgang erfolgreich war oder fehlgeschlagen ist. Planen Sie die regelmäßige Ausführung des Skripts mithilfe des Aufgabenplaners.

   1.b. Machen Sie dasselbe, aber verwenden Sie aws s3 syncvon aws-cli.

   1.c. Homeroll, unser eigener Uploader basierend auf Facebook Watchman oder einer ähnlichen Dateiüberwachungslösung.

2. Richten Sie einen SFTP- oder WebDAV-Server auf dem Client-Dateiserver ein und führen Sie ihn rclonevon einer von uns verwalteten EC2-Instanz aus.

Wir möchten wissen, ob es keine einfachere Technologie gibt, die wir verwenden könnten. Könnte Amazon FSx irgendwie helfen? Zum Beispiel eine Art automatischer Replikationsmechanismus zum Spiegeln unserer Client-Dateifreigaben auf Amazon FSx Windows-Dateisystemen?

Oder gibt es vielleicht eine andere Art von „Erstellen Sie Ihre eigene Dropbox mit einem Amazon S3-Backend“-Lösung?

Answer 1

Sie könnten Cloudberry Backup verwenden, eine App für die Synchronisierung in eine Richtung. Installieren Sie sie auf dem Windows-Server, fügen Sie das S3-Konto hinzu, konfigurieren Sie den lokalen Dateipfad mit Dateiformatfilter und Ziel für Ihren S3-Bucket. Diese App enthält einen eigenständigen Scheduler und kann automatisch ausgeführt werden. Bisher verwende ich diese Lösung. Die AWS CLI oder andere Open-Source-Apps wie FreeFileSync können meine Anforderungen nicht erfüllen, da diese Apps vor der Synchronisierung beide Seiten prüfen müssen, was bei den großen Dateien zu Problemen führt. Aber die Synchronisierung in eine Richtung löst dieses Problem, indem ich einfach die neuesten Dateien auf dem Windows-Server behalte.