Nehmen wir an, ich hoste Server, auf denen Benutzer Dateien ablegen und am Ende des Tages werden alle diese Dateien auf einen Speicherserver abgerufen.
Das Problem besteht darin, dass viele dieser Dateien doppelt vorhanden sind und ich vermeiden möchte, dieselben Dateien zehnmal kopieren zu müssen.
Ich habe darüber nachgedacht, für jede übertragene Datei einen Hash zu erhalten, um sicherzustellen, dass jede eindeutig ist, aber vielleicht gibt es bessere Lösungen.
Antwort1
Eine Möglichkeit besteht darin, dies in zwei Aufgaben aufzuteilen.
Suchen Sie zunächst die doppelten Dateien auf dem Quellcomputer und erstellen Sie symbolische Links, Verknüpfungen oder ähnliches, damit die Duplikate dargestellt werden, aber keinen Speicherplatz verbrauchen. Eine Option, die meiner Erfahrung nach sehr gut zum Auffinden von Duplikaten funktioniert, istein gut abgestimmtes Python-Skriptauf SO. Es muss möglicherweise für Ihren Anwendungsfall geändert werden.
Der zweite Schritt besteht natürlich darin, die Dateien so auf die andere Maschine zu kopieren, dass die symbolischen Links bzw. Verknüpfungen erhalten bleiben.