Eu tenho alguns backups completos e antigos de coisas como despejos de bancos de dados binários. Obviamente, eles não diferem muito, então fazer backups completos não é a ideia mais inteligente aqui. Por enquanto, procuro um programa de compressão capaz de tirar vantagem do fato de a maioria dos arquivos possuir conteúdo semelhante.
Responder1
Se você primeiro tar os arquivos (usando tar cvf my_backup.tar <file list...>), qualquer ferramenta de compactação fará um bom trabalho, pois verá os dados como um grande arquivo.
Portanto, basta tar os arquivos e colocá-los em um zip, 7-zip, bzip2, etc. No arquivo tar, você pode tentar os diferentes algoritmos de compactação e ver qual deles tem melhor desempenho.
Responder2
Tive muita sorte com o 7-Zip. Se você tiver potência, ele será capaz de operar com uma janela muito grande. Certifique-se de que seus arquivos originais estejam o mais descompactados possível para que possam encontrar semelhanças. (Para arquivos Excel em um ambiente heterogêneo, por exemplo, isso significa descompactar seu conteúdo primeiro, já que os arquivos xlsx são levemente compactados quando são armazenados. Certa vez, consegui compactar 600 MiB + de arquivos quase redundantes da versão Excel até alguns cem KiB.)