s3cmd 多部分區塊大小記憶體管理

s3cmd 多部分區塊大小記憶體管理

我想知道如何預測 s3cmd 將使用多少記憶體上傳給定檔案。我擔心對於大文件它可能會使用太多的系統記憶體。如果我增加區塊大小,每個區塊/多部分會使用更多記憶體嗎?

我檢查了文檔

https://s3tools.org/s3cmd

但找不到任何與記憶體管理相關的內容。

我已經嘗試過上傳一個 200GB 的文件,例如

/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250

我自己看到的是,創建的進程的記憶體使用量是恆定的,並且根據伺服器上的可用記憶體按比例選擇(伺服器上可用的記憶體越多,為 s3cmd 進程分配的記憶體就越多)。

有人碰巧知道記憶體管理是如何運作的,以及它是否總是像我嘗試過的實驗一樣保持恆定(沒有尖峰)?

相關內容