Como posso sincronizar dois buckets compatíveis com S3 que possuem credenciais diferentes?

Question

Eu tenho um bucket MinIO (que usa a API S3 para acesso) e quero copiar todos os seus dados em um bucket AWS S3. Ambos usam a mesma API, mas não consigo encontrar uma ferramenta que me permita copiar diretamente de um bucket para outro usando dois conjuntos de credenciais.

A única maneira que consigo pensar é baixar s3cmdos arquivos, um de cada vez, usando as credenciais do MinIO e, em seguida, usar a CLI do AWD para carregá-los no S3.

Alguém sabe de uma maneira melhor?

Answer 1

Você pode usar ocliente miniopara copiar conteúdo de um bucket para outro. Se eu configurar dois aliases no minio:

mc alias set source https://minio-server... minio_access_key minio_secret_key
mc alias set destination https://s3.amazonaws.com/ aws_access_key aws_secret_key

Então posso copiar de sourcepara destinationassim:

mc cp source/bucket/path/to/file destination/bucket/path/to/file

Eu diria que, em geral, o cliente minio é provavelmente o melhor S3 CLI disponível. Não faz sentido usar o s3cmd para uma operação, o aws cli para outra, mcetc.