Ich verschiebe häufig große Dateien von Server zu Server.
UNIX verfügt standardmäßig über die Kompressoren gzip und bzip2. Welche offenen Optionen gibt es jedoch darüber hinaus, insbesondere solche, die mehrere Kerne nutzen? Ich kenne pzip2 und verwende es derzeit.
Gibt es aktuelle Benchmarks und Diagramme zur Geschwindigkeit/Effektivität von Kompressoren, um zu sehen, wo der Kompromiss zwischen Zeit und Dateigröße liegt?
Eine Open-Source-Alternative, die als Distribution vorliegt und unter Linux/OSX unterstützt wird, wird bevorzugt. Windows-Unterstützung ist nicht erforderlich.
Antwort1
Sie sagen nicht viel über Ihre Prioritäten, aber es klingt, als ob die Komprimierungszeit für große Dateien Ihre Hauptpriorität ist?
Dies scheint für diesen Fall geeignet zu sein (siehe das Flag -l):
http://manpages.ubuntu.com/manpages/lucid/man1/lrzip.1.html
Auf der anderen Seite des Kompromisses (hohe Komprimierungsrate, lange Komprimierungszeit) haben einige namhafte Software-Distributionen vor kurzem damit begonnen, dies zu verwenden:
https://en.wikipedia.org/wiki/Xz
Zum Thema Benchmarking: Warum führen Sie nicht selbst ein paar schnelle Tests durch? Benchmarks sind oft irreführend, da die Ergebnisse je nach genauer Arbeitslast und Testbedingungen stark variieren können. Hier ist dennoch ein Bericht auf Deutsch (versuchen Sie es mit Google Translate) über das Benchmarking von jemand anderem:
Antwort2
Sehenswert sind auchSchweinchenfür Parallelität und7zipwenn die Windows-Unterstützung tatsächlich zum Vorschein kommt.