Adivinhe a compressibilidade de um arquivo grande

Question

Eu tenho um arquivo grande (~20 GB) e quero fazer rapidamente uma estimativa (aproximada) de quão bem ele pode ser compactado. Procurando por um programa que possa fornecer uma estimativa imediata do tamanho do arquivo compactado e, possivelmente, aumentar a precisão da estimativa quanto mais tempo resta para analisar os dados.

Answer 1

Com a -vopção gzipimprime a taxa de compressão, então, apenas como uma estimativa rápida e suja, você poderia fazer algo assim:

$ dd if=myfile bs=1M count=100 2>/dev/null | gzip -v >/dev/null
 80.5%
$

É claro que, embora seja rápido e direto, apenas verificar a taxa de compactação dos primeiros x bytes (100 Mbytes neste exemplo) pode ser muito enganoso se o conteúdo do arquivo não for uniforme.
Por exemplo, provavelmente não seria ótimo para uma imagem de sistema de arquivos.

Answer 2

Sem examinar todos os dados, não há como saber o quão compressíveis eles são. Sinta-se à vontade para olharessepágina para listas de ferramentas e velocidades de compactação, mas o que você está pedindo é basicamente impossível.