Estou pesquisando o uso do AWS CLI para verificações de integridade de dados para verificar se um backup foi transferido corretamente de um servidor de arquivos Linux para o AWS s3. Da mesma forma, gostaria de verificar ao restaurar um arquivo do backup para o servidor de arquivos Linux, ele também foi transferido corretamente.
Examinei o etag armazenado com o objeto no S3, porque parece ser um md5sum. Porém, se o arquivo for transferido como multipart no caso de arquivos grandes, o etag não será mais válido.
Mas antes de prosseguir na tentativa de fazer um MD5sum para o que acabou de ser sincronizado com o S3 a cada vez, isso é realmente necessário para fazer isso? Ao usar o rsync entre sistemas de arquivos Linux pela Internet, não é prática comum fazer um md5sum nos arquivos transferidos para verificá-los. Porque suponho que o rsync já cuidou disso?
Então, estou me perguntando se o AWS CLI Sync já cuida da verificação de integridade dos dados para nós?
Responder1
A resposta curta é sim, aws s3 synccalcule aws s3 cpuma soma de verificação MD5 e, se ela não corresponder quando o upload for concluído, tentará novamente até cinco vezes.
A resposta mais longa:
A AWS CLI calculará e preencherá automaticamente o cabeçalho Content-MD5 para uploads padrão e multiparte. Se a soma de verificação calculada pelo S3 não corresponder ao Content-MD5 fornecido, o S3 não armazenará o objeto e, em vez disso, retornará uma mensagem de erro de volta à AWS CLI. A AWS CLI tentará novamente esse erro até 5 vezes antes de desistir.
Se a solicitação for assinada com um Signature Version 4, a soma de verificação MD5 não será calculada.
Observe que a AWS CLI adicionará um cabeçalho Content-MD5 para os comandos aws s3 de alto nível que executam uploads (aws s3 cp, aws s3 sync), bem como para os comandos s3api de baixo nível, incluindo aws s3api put-object e aws s3api upload -papel.
Referência