我們有越來越多的數據檔案(.wav 檔案、圖像檔案等),它們是數據,即不是應用程式程式碼的一部分 - 由用戶上傳和修改。檔案數量在1000多個,總大小達到GB。
我們在世界各地的不同地點(美國、歐盟、中東)擁有多個伺服器叢集。在每個叢集中,重要的是資料在本地提供,而不是從 S3 提供(資料檔案不直接提供給客戶端,而是由伺服器處理)。我們希望在每個位置指定一個檔案伺服器,它將透過 NFS 向同一叢集中的其他節點提供檔案服務。
所以底線是:
- 透過應用程式上傳的檔案最終應位於
S3
. - 每個檔案伺服器節點都應該複製這些檔案。
我們看到幾個選項:
- 使用
origin
檔案伺服器複製到備份/版本控制並透過(或類似)S3
複製到節點。rsync
- 與上面相同,但從站
S3
使用 S3 工具或類似工具進行複製。 - 不使用
origin
- 應用程式程式碼直接上傳到S3
,並且從屬複製如上所述。
我們想知道哪個是建議的解決方案,以及哪些工具可用於複製部分(即檔案系統到檔案系統類別和檔案系統/S3 類別)。