Tenho uma imagem de backup de partição grande de 77 GB em um único arquivo e gostaria de compactá-la rapidamente. Ele deve compactar muito bem mesmo nas piores configurações, mas escolher GZIP com a configuração "Mais rápido" leva cerca de 1 hora. Como posso acelerar o processo?
Mais detalhes: O arquivo de imagem é uma cópia binária bruta das partições (saída da ferramenta Linux ddrescue). Eu armazeno o arquivo no disco rígido WD conectado com USB 3.
Responder1
No que diz respeito a melhorar a velocidade de compressão:
- Paralelize isso.http://blog.codinghorror.com/file-compression-in-the-multi-core-era/.
- Diferentes algoritmos de compressão (como lzop) são muito rápidos.
- Obtenha implementações zlib otimizadas. Google intel zlib, por exemplo.
No que diz respeito a melhorar a velocidade de leitura:
- Você só chegará perto da taxa de transferência nominal do disco se estiver usando um SSD ou se estiver lendo o disco no modo "bloqueio". Isso tem a ver com as buscas de arquivos associadas à leitura de arquivos pequenos.
- No Linux você usaria algo como
dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop