Ich muss einersync(nicht nur kopieren oder verschieben) von all meinen Buckets von S3 in die Google Cloud. Ich muss dieselbe Infrastruktur von S3 zu Google erstellen. Ich habe etwa 2 Tera in S3 und erhalte jeden Tag neue Dateien.
Meine Lösung heute ist
gsutil rsync -r -m s3://Bucket gs://Bucket
Diese Lösung ist jedoch langsamer.
Hast du eine Idee, wie es schneller gehen könnte?
Danke.
Antwort1
Wenn Sie große Datenmengen zwischen Clouds synchronisieren, sollten Sie ein Google Compute Engine-Konto einrichten und dort gsutil ausführen. Da anbieterübergreifende gsutil-Datenübertragungen über die Maschine laufen, auf der gsutil ausgeführt wird, kann die Übertragung dadurch erheblich schneller ablaufen, als wenn Sie gsutil auf Ihrer lokalen Workstation ausführen.
Referenz:https://cloud.google.com/storage/docs/gsutil/commands/rsync
Antwort2
Die aktuelle Antwort auf diese Frage ist die Verwendung vonGoogle-Übertragungsdienst:
Was ist der Storage Transfer Service?
Storage Transfer Service überträgt Daten von einer Online-Datenquelle zu einer Datensenke. Ihre Datenquelle kann ein Amazon Simple Storage Service (Amazon S3)-Bucket, ein HTTP/HTTPS-Speicherort oder ein Cloud Storage-Bucket sein. Ihre Datensenke (das Ziel) ist immer ein Cloud Storage-Bucket.