Правда ли, что реализация rsync по умолчанию в Synology DSM 4.3 не способна обрабатывать «огромные» объемы данных и может испортить управление версиями/дедупликацию? Может ли быть, что какая-либо из переменных (см.подробная информацияниже) может значительно усложнить ситуацию?
Редактировать: Я ищу только ответ на вопрос, являются ли приведенные выше утверждения чепухой или могут быть правдой.
Подробная информация:
На работе у нас в офисе работает Synology NAS. Этот NAS используется несколькими дизайнерами, где они работают напрямую. У них есть запущенные проекты, которые состоят из стоковых фотографий высокого разрешения, больших PSD, PDF и т. д. У нас есть папка размером около 430 ГБ, которая состоит только из текущих запущенных проектов. Предполагается, что эта папка будет еженедельно резервироваться в центре обработки данных через наше интернет-соединение.
Все наши ИТ-ресурсы обрабатываются третьей стороной, которая утверждает, что наша резервная копия начинает достигать определенного размера («100 ГБ+»), когда реализация DSM (4.3) rsync по умолчанию не в состоянии обработать огромный объем данных для онлайн-резервной копии (на одной из их машин в их центре обработки данных). Они говорят, что резервная копия содержит около 10 ТБ данных, потому что rsync имеет проблемы с «управлением версиями/дедупликацией» (сохранение: 30 дней) и выходит из строя.
По этой причине они предлагают использовать «профессиональный сервис онлайн-резервного копирования», что значительно увеличивает наши затраты на ГБ при онлайн-резервном копировании.
решение1
Rsync сам по себене подавляется большими размерами файловили "слишком много" файлов. В зависимости от вашей ситуации может быть (но маловероятно), что еженедельное задание rsync выполняется более 1 недели, из-за чего новое задание rsync начинается до завершения предыдущего.
Среди ИТ-специалистов общеизвестно, что передача большого количества маленьких файлов занимает гораздо больше времени, чем передача нескольких очень больших файлов при прочих равных условиях (та же скорость интернета, те жеколичестводанных и т. д. Взгляните на это ("Передача миллионов изображений") в качестве примера обсуждения на Stack Overflow, а также это ("Что быстрее и почему: передача нескольких небольших файлов или нескольких больших файлов?") в качестве примера обсуждения здесь, на Serverfault.
Так что проблема может быть в том, что вам следует сжать файлы/папки перед запуском rsync, а затем скопировать сжатый файл в ваш внешний центр обработки данных. Это в любом случае сэкономит вам расходы на внешнее хранение данных, хотя и открывает еще одну банку червей.
Первым шагом, конечно, будет выяснить, сколько времени занимает выполнение задания rsync. Затем выясните, нужно ли вам изменить методологию резервного копирования, предварительно сжав данные или перейдя на альтернативное решение для резервного копирования.
Кстати, на момент публикации Synology DSM 5.1 является последней версией, а 5.2 находится в стадии бета-тестирования. Вам следует обновиться до DSM 5.1, если вы еще этого не сделали. Это, безусловно, не повредит вашей ситуации.