¿Sincronizar el árbol de directorios con la deduplicación?

¿Sincronizar el árbol de directorios con la deduplicación?

Tengo dos servidores Linux que tienen una gran cantidad de datos (1TB+) que deben sincronizarse a través de una conexión lenta (100 KB/s).

Muchos de los datos se superponen, pero se encuentran en diferentes ubicaciones.

Me gustaría algún tipo de herramienta rsync/unison donde pueda reflejar los servidores.

Tendría que ser más inteligente e identificar si el archivo existe en el destino (posiblemente en otra ubicación con la misma suma de comprobación). Si es así, mueve el archivo localmente en el servidor de destino en lugar de copiar el archivo desde cero desde el servidor de origen.

Respuesta1

Puede que no sea la respuesta que estás buscando, pero es la mejor que puedo encontrar de memoria.

-y, --fuzzy find similar file for basis if no dest file

(lo siento, debería haber mencionado que es un comando/bandera rsync)

(Además, NO TENGO IDEA de cómo funciona específicamente)

información relacionada