Ich habe mich gefragt, wie man vorhersagen kann, wie viel Speicher s3cmd zum Hochladen einer bestimmten Datei verwenden wird. Ich befürchte, dass es bei großen Dateien zu viel Systemspeicher verbrauchen könnte. Und wenn ich die Blockgröße erhöhe, wird dann mehr Speicher pro Block/Multipart verwendet?
Ich habe die Dokumentation überprüft
konnte aber nichts zum Thema Speicherverwaltung finden.
Ich habe experimentiert und versucht, eine 200 GB große Datei mit etwas wie
/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250
und was ich selbst gesehen habe, ist, dass die Speichernutzung für den erstellten Prozess konstant war und proportional zum verfügbaren Speicher auf dem Server gewählt wurde (je mehr auf dem Server verfügbar ist, desto mehr wird dem s3cmd-Prozess zugewiesen).
Weiß jemand zufällig, wie die Speicherverwaltung ungefähr funktioniert und ob sie immer konstant sein wird, wie in dem Experiment, das ich versucht habe (also ohne Spitzen)?