Синхронизировать дерево каталогов с дедупликацией?

Синхронизировать дерево каталогов с дедупликацией?

У меня есть два Linux-сервера с большим объемом данных (более 1 ТБ), которые необходимо синхронизировать по медленному соединению (100 КБ/с).

Многие данные пересекаются, но находятся в разных местах.

Мне бы хотелось иметь какой-нибудь инструмент rsync / unison, с помощью которого я мог бы зеркалировать серверы.

Ему нужно быть более интеллектуальным и определять, существует ли файл в месте назначения (возможно, в другом месте с той же контрольной суммой). Если это так, то он перемещает файл локально на сервер назначения, а не копирует его с нуля с исходного сервера.

решение1

Возможно, это не тот ответ, который вы ищете, но это лучшее, что я смог вспомнить.

-y, --fuzzy find similar file for basis if no dest file

(извините, должен был упомянуть, что это команда/флаг rsync)

(кроме того, я ПОНЯТИЯ НЕ ИМЕЮ, как конкретно это работает)

Связанный контент