私は実行しなければなりませんrsync(コピーや移動だけでなく) すべてのバケットを s3 から Google クラウドにコピーします。 s3 から Google に同じインフラストラクチャを作成する必要があります。 s3 には 2Tera ほどあり、毎日新しいファイルを受信します。
今日の私の解決策は
gsutil rsync -r -m s3://バケット gs://バケット
しかし、この解決策は遅くなります。
もっと早くするアイデアはありますか?
ありがとう。
答え1
クラウド間で大量のデータを同期する場合は、Google Compute Engine アカウントを設定し、そこで gsutil を実行することを検討してください。プロバイダー間の gsutil データ転送は、gsutil が実行されているマシンを通過するため、これを行うと、ローカル ワークステーションで gsutil を実行する場合よりも転送が大幅に高速化されます。
参照：https://cloud.google.com/storage/docs/gsutil/commands/rsync
答え2
この質問に対する最新の答えは、Google 転送サービス:
ストレージ転送サービスとは何ですか?
Storage Transfer Service は、オンライン データ ソースからデータ シンクにデータを転送します。データ ソースは、Amazon Simple Storage Service (Amazon S3) バケット、HTTP/HTTPS ロケーション、または Cloud Storage バケットにすることができます。データ シンク (転送先) は常に Cloud Storage バケットです。