Schätzen Sie die Komprimierbarkeit einer großen Datei

Question

Ich habe eine große Datei (~20 GB) und möchte schnell (ungefähr) abschätzen, wie gut sie sich komprimieren lässt. Ich suche nach einem Programm, das die Größe der komprimierten Datei sofort schätzen kann und dessen Genauigkeit möglicherweise zunimmt, je länger die Datenanalyse dauert.

Answer 1

Mit dieser -vOption gzipwird das Komprimierungsverhältnis gedruckt. Als schnelle Schätzung können Sie beispielsweise Folgendes tun:

$ dd if=myfile bs=1M count=100 2>/dev/null | gzip -v >/dev/null
 80.5%
$

Natürlich ist es zwar schnell und unkompliziert, aber wenn man nur die Komprimierungsrate der ersten x Bytes (in diesem Beispiel 100 MB) überprüft, kann das sehr irreführend sein, wenn der Dateiinhalt nicht einheitlich ist.
Für ein Dateisystem-Image wäre das beispielsweise wahrscheinlich nicht so gut.

Answer 2

Ohne alle Daten zu sichten, gibt es keine Möglichkeit zu wissen, wie komprimierbar sie sind. Schauen Sie sich gerne anDasSeite für Listen mit Komprimierungstools und -geschwindigkeiten, aber was Sie verlangen, ist im Grunde unmöglich.