
Synology DSM 4.3 的預設 rsync 實作是否確實無法處理「大量」資料並且可能會擾亂版本控制/重複資料刪除?是否有任何變數(參見詳細資訊下面)會讓這變得更加困難嗎?
編輯:如果上述說法是無意義的或可能是真的,我只是在尋找答案。
詳細資訊:
在工作中,我們在辦公室運行 Synology NAS。該 NAS 被一些直接工作的設計師使用。他們正在運行的項目包括高解析度庫存照片、大型 PSD、PDF 等。我們有一個大約大小的資料夾。大小為 430GB,僅包含目前正在運行的項目。該資料夾應該每週透過我們的網路連線備份在資料中心中。
我們所有的 IT 都由第三方處理,該第三方聲稱我們的備份已開始形成一定大小(“100GB+”),其中 DSM (4.3) rsync 的默認實現無法處理大量數據在線備份(在其數據中心的一台機器上)。他們說備份包含大約 10TB 的數據,因為 rsync 在「版本控制/重複資料刪除」(保留:30 天)方面存在問題並且出現混亂。
因此,他們建議使用“專業線上備份服務”,這會顯著增加我們每GB的線上備份成本。
答案1
Rsync 本身不會因大文件而阻塞或“太多”文件。根據您的情況,每週的 rsync 作業可能(但不太可能)需要超過 1 週才能完成,導致新的 rsync 作業在上一個 rsync 作業完成之前開始。
IT 人員都知道,在其他條件相同的情況下(相同的網速、相同的速度),傳輸大量小檔案比傳輸幾個非常大的檔案要花費更多的時間。數量數據等等......看看這個(“傳輸數百萬張影像”)作為 Stack Overflow 上的示例討論,以及這個(“哪個比較快,為什麼:傳輸幾個小檔案還是幾個大檔案?」)作為此處關於 Serverfault 的範例討論。
因此,問題可能是您應該在運行 rsync 之前壓縮檔案/資料夾,然後將壓縮檔案複製到異地資料中心。無論如何,這會節省您的異地資料儲存成本,儘管它確實會帶來另一堆蠕蟲。
當然,您的第一步是弄清楚 rsync 作業運行需要多長時間。然後確定是否需要透過提前壓縮資料或轉向替代備份解決方案來變更備份方法。
順便說一下,截至本文發佈時,Synology DSM 5.1 是最新版本,5.2 處於測試階段。如果您尚未更新至 DSM 5.1,則應更新至 DSM 5.1。這肯定不會損害您的處境。