Sincronizar árvore de diretórios com desduplicação?

Sincronizar árvore de diretórios com desduplicação?

Tenho dois servidores Linux que possuem uma grande quantidade de dados (1 TB+) que precisam ser sincronizados em uma conexão lenta (100 KB/s).

Muitos dados se sobrepõem, mas estão em locais diferentes.

Eu gostaria de algum tipo de ferramenta rsync/unison onde eu pudesse espelhar os servidores.

Precisaria ser mais inteligente e identificar se o arquivo existe no destino (possivelmente em outro local com o mesmo checksum). Se isso acontecer, ele moverá o arquivo localmente no servidor de destino, em vez de copiar o arquivo do zero do servidor de origem.

Responder1

Pode não ser a resposta que você procura, mas a melhor que consigo encontrar de memória.

-y, --fuzzy find similar file for basis if no dest file

(desculpe, deveria ter mencionado, isso é um comando/sinalizador rsync)

(além disso, NÃO TENHO IDEIA de como, especificamente, funciona)

informação relacionada