Я должен выполнитьrsync(не только копировать или перемещать) из всех моих бакетов из s3 в облако google. Мне нужно создать ту же инфраструктуру s3 для google. У меня есть около 2Tera в s3, и каждый день я получаю новые файлы..
Мое решение сегодня:
gsutil rsync -r -m s3://bucket gs://bucket
Но это решение медленнее.
Есть ли у вас идея, как сделать быстрее?
Спасибо.
решение1
Если вы синхронизируете большой объем данных между облаками, вы можете рассмотреть возможность настройки учетной записи Google Compute Engine и запуска gsutil там. Поскольку кросс-провайдерские передачи данных gsutil проходят через машину, на которой запущен gsutil, это может значительно ускорить передачу, чем запуск gsutil на локальной рабочей станции.
Ссылка:https://cloud.google.com/storage/docs/gsutil/commands/rsync
решение2
Современный ответ на этот вопрос — использоватьСлужба передачи Google:
Что такое услуга передачи данных?
Storage Transfer Service переносит данные из онлайн-источника данных в приемник данных. Вашим источником данных может быть контейнер Amazon Simple Storage Service (Amazon S3), местоположение HTTP/HTTPS или контейнер Cloud Storage. Вашим приемником данных (местом назначения) всегда является контейнер Cloud Storage.