檔案資料備份、版本控制和複製解決方案

檔案資料備份、版本控制和複製解決方案

我們有越來越多的數據檔案(.wav 檔案、圖像檔案等),它們是數據,即不是應用程式程式碼的一部分 - 由用戶上傳和修改。檔案數量在1000多個,總大小達到GB。

我們在世界各地的不同地點(美國、歐盟、中東)擁有多個伺服器叢集。在每個叢集中,重要的是資料在本地提供,而不是從 S3 提供(資料檔案不直接提供給客戶端,而是由伺服器處理)。我們希望在每個位置指定一個檔案伺服器,它將透過 NFS 向同一叢集中的其他節點提供檔案服務。

所以底線是:

  • 透過應用程式上傳的檔案最終應位於S3.
  • 每個檔案伺服器節點都應該複製這些檔案。

我們看到幾個選項:

  • 使用origin檔案伺服器複製到備份/版本控制並透過(或類似)S3複製到節點。rsync
  • 與上面相同,但從站S3使用 S3 工具或類似工具進行複製。
  • 不使用origin- 應用程式程式碼直接上傳到S3,並且從屬複製如上所述。

我們想知道哪個是建議的解決方案,以及哪些工具可用於複製部分(即檔案系統到檔案系統類別和檔案系統/S3 類別)。

相關內容