我必須執行一個同步（不僅僅是複製或移動）從我所有的儲存桶從 s3 到谷歌雲端。我需要為 google 建立相同的 s3 基礎架構。我在 s3 中有大約 2Tera，並且我整天都會收到新文件。
我今天的解決方案是
gsutil rsync -r -m s3://bucket gs://bucket
但這種解決方案速度較慢。
您有更快的想法嗎？
謝謝。
答案1
如果您要在雲端之間同步大量數據，您可以考慮設定 Google Compute Engine 帳戶並在其中執行 gsutil。由於跨提供者 gsutil 資料傳輸流經執行 gsutil 的計算機，因此這樣做可以使傳輸運行速度明顯快於在本機工作站上執行 gsutil。
參考：https://cloud.google.com/storage/docs/gsutil/commands/rsync
答案2
這個問題的最新答案是使用谷歌傳輸服務：
什麼是儲存傳輸服務？
儲存傳輸服務將資料從線上資料來源傳輸到資料接收器。您的資料來源可以是 Amazon Simple Storage Service (Amazon S3) 儲存桶、HTTP/HTTPS 位置或 Cloud Storage 儲存桶。您的資料接收器（目標）始終是 Cloud Storage 儲存桶。