Stimmt es, dass die standardmäßige rsync-Implementierung von Synology DSM 4.3 nicht in der Lage ist, „riesige“ Datenmengen zu verarbeiten und die Versionierung/Deduplizierung durcheinander bringen könnte? Könnte es sein, dass eine der Variablen (siehedetaillierte Informationenunten) könnte dies so viel schwieriger machen?
Edit: Ich suche lediglich nach einer Antwort, ob die obigen Behauptungen Unsinn sind oder wahr sein könnten.
Detaillierte Informationen:
Bei der Arbeit haben wir ein Synology NAS im Büro laufen. Dieses NAS wird von einigen Designern verwendet, von denen aus sie direkt arbeiten. Sie haben Projekte laufen, die aus hochauflösenden Stockfotos, großen PSDs, PDFs und vielem mehr bestehen. Wir haben einen Ordner mit einer Größe von ca. 430 GB, der nur die aktuell laufenden Projekte enthält. Dieser Ordner soll wöchentlich über unsere Internetverbindung in einem Rechenzentrum gesichert werden.
Unsere gesamte IT wird von einem Drittanbieter verwaltet, der behauptet, dass unser Backup eine bestimmte Größe („100 GB+“) erreicht, wobei die Standardimplementierung von DSM (4.3) rsync nicht in der Lage ist, die enorme Datenmenge für das Online-Backup (auf einer ihrer Maschinen in ihrem Rechenzentrum) zu verarbeiten. Sie sagen, dass das Backup etwa 10 TB Daten umfasst, weil rsync Probleme mit „Versionierung / Deduplizierung“ (Aufbewahrung: 30 Tage) hat und durcheinander gerät.
Aus diesem Grund empfehlen sie die Verwendung eines „professionellen Online-Backup-Dienstes“, was unsere Kosten pro GB für das Online-Backup erheblich in die Höhe treibt.
Antwort1
Rsync an und für sichgerät nicht ins Stocken, wenn große Dateien vorhanden sindoder „zu viele“ Dateien. Abhängig von Ihrer Situation kann es sein (ist aber unwahrscheinlich), dass der wöchentliche Rsync-Job länger als eine Woche dauert, was dazu führt, dass ein neuer Rsync-Job beginnt, bevor der vorherige Rsync-Job abgeschlossen ist.
Es ist allgemein bekannt, dass die Übertragung von vielen kleinen Dateien viel mehr Zeit in Anspruch nimmt als die Übertragung von ein paar sehr großen Dateien, wenn sonst alles gleich ist (gleiche Internetgeschwindigkeit, gleicheMengevon Daten usw.... Schauen Sie sich das an ("Übertragung von Millionen von Bildern") als Beispieldiskussion auf Stack Overflow, sowie dies ("Was ist schneller und warum: die Übertragung mehrerer kleiner Dateien oder weniger großer Dateien?") als Beispieldiskussion hier auf Serverfault.
Das Problem könnte also sein, dass Sie die Dateien/Ordner komprimieren sollten, bevor Sie rsync ausführen, und dann die komprimierte Datei in Ihr externes Rechenzentrum kopieren sollten. Dadurch würden Sie ohnehin Kosten für die externe Datenspeicherung sparen, obwohl dies ein weiteres Problem darstellt.
Ihr erster Schritt wäre natürlich, herauszufinden, wie lange die Ausführung des rsync-Jobs dauert. Stellen Sie dann fest, ob Sie Ihre Sicherungsmethode ändern müssen, indem Sie die Daten entweder vorher komprimieren oder auf eine alternative Sicherungslösung umsteigen.
Übrigens ist Synology DSM 5.1 zum Zeitpunkt dieses Beitrags die neueste Version und 5.2 befindet sich in der Betaphase. Sie sollten auf DSM 5.1 aktualisieren, falls Sie dies noch nicht getan haben. Dies würde Ihrer Situation sicherlich nicht schaden.