O rsync economizaria uma quantidade significativa de transferência de dados para arquivos compactados/criptografados?

Question 1

O problema com arquivos criptografados ou compactados é que mesmo que apenas um byte seja modificado nos dados, todo o conteúdo restante do arquivo será diferente, não apenas o byte de dados alterado.

Isso anula uma estratégia usada pelo rsync para reduzir a transferência de dados - ou seja, transferir apenas as seções alteradas de um arquivo e não o arquivo inteiro.

Portanto, não compacte dados, a menos que precise de espaço no disco (nesse caso, use a compactação baseada em disco, pois isso é transparente para aplicativos como o rsync).

Não criptografe dados, a menos que precise proteger a privacidade dos dados caso o computador (ou disco) seja roubado ou perdido. (Mantenha backups de seus dados e especialmente de suas chaves de criptografia ou chaves de recuperação). Novamente, a criptografia de todo o disco provavelmente será menos prejudicial ao desempenho do rsync (mas provavelmente levará a uma perda catastrófica de dados quando um disco rígido falhar e os backups de dados não estiverem disponíveis, ou quando você reinstalar o sistema operacional sem fazer backup de um chave de recuperação para outros discos/partições de dados)

O acima exposto pressupõe que (um número significativo de) arquivos relevantes descompactados/não criptografados provavelmente sofrerão alterações parciais de tempos em tempos - por edição ou anexação de algum tipo - enquanto a maior parte dos dados no arquivo permanece inalterada.

Answer

O problema com arquivos criptografados ou compactados é que mesmo que apenas um byte seja modificado nos dados, todo o conteúdo restante do arquivo será diferente, não apenas o byte de dados alterado.

Isso anula uma estratégia usada pelo rsync para reduzir a transferência de dados - ou seja, transferir apenas as seções alteradas de um arquivo e não o arquivo inteiro.

Portanto, não compacte dados, a menos que precise de espaço no disco (nesse caso, use a compactação baseada em disco, pois isso é transparente para aplicativos como o rsync).

Não criptografe dados, a menos que precise proteger a privacidade dos dados caso o computador (ou disco) seja roubado ou perdido. (Mantenha backups de seus dados e especialmente de suas chaves de criptografia ou chaves de recuperação). Novamente, a criptografia de todo o disco provavelmente será menos prejudicial ao desempenho do rsync (mas provavelmente levará a uma perda catastrófica de dados quando um disco rígido falhar e os backups de dados não estiverem disponíveis, ou quando você reinstalar o sistema operacional sem fazer backup de um chave de recuperação para outros discos/partições de dados)

O acima exposto pressupõe que (um número significativo de) arquivos relevantes descompactados/não criptografados provavelmente sofrerão alterações parciais de tempos em tempos - por edição ou anexação de algum tipo - enquanto a maior parte dos dados no arquivo permanece inalterada.

Question 2

No caso em que você está sincronizando novamente apenas um arquivo e esse arquivo está criptografado ou compactado, a única largura de banda que você provavelmente economizaria é a de não precisar transferi-lo se inalterado.

No entanto, se você tiver um diretório cheio de arquivos ZIP, JPEG ou GPG, o rsync ainda transferirá apenas os arquivos que foram alterados e é uma ótima maneira de transferir facilmente apenas arquivos novos.

Nota: Acho útil sincronizar novamente os dados descompactados sempre que possível e, em seguida, compactá-los para armazenamento em ambos os lados do link, se necessário. Dessa forma, você pode economizar largura de banda de transferência. ou seja:

mkdir /tmp/torsync
cd /tmp/torsync
unzip /home/me/somefile.zip
rsync -avz . remote:/tmp/somefile
ssh remote 'zip -r somefile.zip /tmp/somefile'

YMMV, claro.

OT: com suas opções de backup, acho o rsync útil mesmo quando não economiza largura de banda, pois cria cópias de backup dos arquivos substituídos, permitindo-me recuperar facilmente cópias históricas.

Acompanhamento: isso se aplica a todos os formatos onde a compactação ou criptografia está envolvida, mas não estou familiarizado com os usuários do Mathematica.

Answer