Tenho muitos arquivos, principalmente png e pdf, alguns svg, outros vários, que precisam ser transferidos. Vários TB no valor, arquivos armazenados individualmente em qualquer lugar, de alguns kb a alguns mb. O problema é que tenho que transferi-los remotamente de um site com upload ruim (200kb 0 700kb/seg).
É importante fazer backup desses arquivos o mais rápido possível, mas atualmente a conexão é a única maneira. Isso vai levar semanas, o que é muito tempo. Infelizmente, não tenho ninguém local em quem possa confiar para transferir manualmente e me enviar o disco rígido. Então, resta compactar o máximo possível em arquivos pequenos.
Usei 7-Zip em compactação Ultra (LZMA2) para arquivar os arquivos e dividi-los em pedaços de 10 MB (em grupos diferentes para diferentes categorias de arquivos). Isso funcionou muito bem.
Se eu fizer a mesma coisa com todos juntos, compactar todos os grupos (separados por pastas) em um único arquivo dividido 7-Zip Ultra LZMA2 de 10 MB, isso ajudará em alguma coisa ou será uma perda de tempo? Será capaz de mesclar dados para compactar em um grau mais alto e resultar em menos arquivos gerais de 10 MB?
NOTA: A razão pela qual o dividi em pedaços é porque levará muito tempo para transferir, não importa o que aconteça, então pequenos pedaços evitarão uma falha de rede, reinicialização do computador ou qualquer outro problema que estrague tudo.
Responder1
Desculpe, mas isso será em grande parte uma perda de tempo.
A forma como a compactação de dados funciona é identificar padrões/suposições e representá-los de uma forma mais eficiente. No entanto, o resultado final não tende a criar padrões compressíveis.
É possível pegar alguns dados que foram mal compactados e compactá-los de forma mais agressiva e obter algum ganho. Normalmente o ganho é inferior a 3%, com 10% em casos bastante raros. No entanto, há um pouco de sobrecarga. Portanto, outros resultados, que são bastante comuns, são de aproximadamente 0% de economia, com algum custo, então você pode realmente aumentar o tamanho do arquivo.
Sinta-se à vontade para tentar, se quiser, mas os resultados comuns de tais esforços são melhorias insignificantes ou inexistentes, ou até mesmo piorar as coisas.
O fato é que nem todos os dados podem ser compactados. O argumento da “contagem”, também conhecido como princípio do “pombo”, explica o porquê. (Ver:Seção 8 de perguntas frequentes sobre compactação.) Basicamente, se os dados compactados forem iguais ou menores (usando menos bits), há menos arquivos compactados possíveis do que arquivos descompactados, o que prova que nem todo arquivo descompactado único possível pode ser representado com menos bits.
Na verdade, a maioria dos dados não pode ser compactada. Felizmente para nós, os dados mais interessantes são compactáveis. Por exemplo, a maioria das imagens não se parece com imagens aleatórias em preto e branco (por exemplo, “neve” em aparelhos de TV antigos que exibiam pixels monocromáticos aleatórios de intensidade aleatória). A maioria das planilhas não tem números completamente aleatórios (incluindo números na casa dos trilhões negativos e frações de um com quarenta e três casas decimais e sinais de mais logo antes dos sinais de divisão).
Até mesmo o texto tem padrões, como o uso intenso de vogais e o uso ocasional de sinais de pontuação seguidos de espaços e depois de letras maiúsculas.
No entanto, os dados compactados tendem a pegar os padrões úteis e representá-los de maneira eficiente. Portanto, o processo de compactação de dados elimina ineficiências. O resultado é que normalmente há pouca ineficiência que podemos identificar e armazenar com mais eficiência.