debo ejecutar unsincronización(no solo copiar o mover) de todos mis depósitos desde s3 a Google Cloud. Necesito crear la misma infraestructura de s3 para google. Tengo como 2Tera en s3, y todos los días recibo archivos nuevos.
Mi solución hoy es
gsutil rsync -r -m s3://bucket gs://bucket
Pero esta solución es más lenta.
¿Tienes una idea para hacerlo más rápido?
Gracias.
Respuesta1
Si está sincronizando una gran cantidad de datos entre nubes, podría considerar configurar una cuenta de Google Compute Engine y ejecutar gsutil allí. Dado que las transferencias de datos de gsutil entre proveedores fluyen a través de la máquina donde se ejecuta gsutil, hacer esto puede hacer que su transferencia se ejecute significativamente más rápido que ejecutar gsutil en su estación de trabajo local.
Referencia:https://cloud.google.com/storage/docs/gsutil/commands/rsync
Respuesta2
La respuesta actualizada a esta pregunta es utilizarServicio de transferencia de Google:
¿Qué es el servicio de transferencia de almacenamiento?
El servicio de transferencia de almacenamiento transfiere datos desde una fuente de datos en línea a un receptor de datos. Su fuente de datos puede ser un depósito de Amazon Simple Storage Service (Amazon S3), una ubicación HTTP/HTTPS o un depósito de Cloud Storage. Su receptor de datos (el destino) es siempre un depósito de Cloud Storage.