s3cmd 멀티파트 청크 크기 메모리 관리

s3cmd 멀티파트 청크 크기 메모리 관리

s3cmd가 주어진 파일을 업로드하는 데 사용할 메모리 양을 예측하는 방법이 궁금합니다. 대용량 파일의 경우 너무 많은 시스템 메모리를 사용할 수 있다는 점이 걱정됩니다. 그리고 청크 크기를 늘리면 청크/멀티파트당 더 많은 메모리를 사용하게 됩니까?

서류를 확인해보니

https://s3tools.org/s3cmd

하지만 메모리 관리와 관련된 내용을 찾을 수 없습니다.

나는 다음과 같은 것을 실험하고 200GB 파일을 업로드하려고 시도했습니다.

/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250

그리고 제가 직접 본 것은 생성된 프로세스의 메모리 사용량이 일정했고 서버에서 사용 가능한 메모리에 비례하여 선택되었다는 것입니다(서버에서 사용 가능한 메모리가 많을수록 s3cmd 프로세스에 더 많이 할당됩니다).

메모리 관리가 어떻게 작동하는지, 그리고 제가 시도한 실험에서처럼 항상 일정한지(스파이크 없이) 대략적으로 아는 사람이 있나요?

관련 정보