gerenciamento de memória de tamanho de bloco multipart s3cmd

gerenciamento de memória de tamanho de bloco multipart s3cmd

Eu queria saber como prever quanta memória o s3cmd usará para fazer upload de um determinado arquivo. Estou preocupado que, para arquivos grandes, possa usar muita memória do sistema. E se eu aumentar o tamanho do pedaço, ele usará mais memória por pedaço/multiparte?

Eu verifiquei a documentação

https://s3tools.org/s3cmd

mas não consegui encontrar nada relacionado ao gerenciamento de memória.

Eu experimentei e tentei fazer upload de um arquivo de 200 GB com algo como

/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250

e o que eu mesmo vi é que o uso de memória para o processo criado era constante e escolhido proporcionalmente à memória disponível no servidor (quanto mais disponível no servidor mais ela é alocada para o processo s3cmd).

Alguém sabe aproximadamente como funciona o gerenciamento de memória e se ele sempre será constante como no experimento que tentei (sem picos)?

informação relacionada