Me preguntaba cómo predecir cuánta memoria utilizará s3cmd para cargar un archivo determinado. Me preocupa que para archivos grandes se pueda utilizar demasiada memoria del sistema. Y si aumento el tamaño del fragmento, ¿utilizará más memoria por fragmento/multiparte?
revisé la documentación
pero no pude encontrar nada relacionado con la gestión de la memoria.
Experimenté e intenté cargar un archivo de 200 GB con algo como
/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250
y lo que he visto yo mismo es que el uso de memoria para el proceso creado fue constante y elegido proporcionalmente a la memoria disponible en el servidor (cuanto más disponible en el servidor, más se asigna para el proceso s3cmd).
¿Alguien sabe aproximadamente cómo funciona la gestión de la memoria y si siempre será constante como en el experimento que probé (sin picos)?