Devo executar umsincronizar novamente(não apenas copiar ou mover) de todos os meus buckets do s3 para o Google Cloud. Preciso criar a mesma infraestrutura do s3 para o google. Tenho tipo 2Tera no s3, e todos os dias recebo novos arquivos.
Minha solução hoje é
gsutil rsync -r -m s3://bucket gs://bucket
Mas esta solução é mais lenta.
Você tem uma ideia para mais rápido?
Obrigado.
Responder1
Se você estiver sincronizando uma grande quantidade de dados entre nuvens, considere configurar uma conta do Google Compute Engine e executar o gsutil nela. Como as transferências de dados da gsutil entre provedores fluem pela máquina em que a gsutil está sendo executada, isso pode tornar a transferência significativamente mais rápida do que executar a gsutil na estação de trabalho local.
Referência:https://cloud.google.com/storage/docs/gsutil/commands/rsync
Responder2
A resposta atualizada para esta pergunta é usarServiço de transferência do Google:
O que é serviço de transferência de armazenamento?
O Serviço de transferência de armazenamento transfere dados de uma fonte de dados online para um coletor de dados. Sua fonte de dados pode ser um bucket do Amazon Simple Storage Service (Amazon S3), um local HTTP/HTTPS ou um bucket do Cloud Storage. Seu coletor de dados (o destino) é sempre um bucket do Cloud Storage.