Как администратор, я должен синхронизировать почти 1 ТБ мультимедийных данных (изображения jpg, tif, bmp или документы pdf) с тремя партнерами через Интернет, и я спрашиваю, как это сделать. Это почти 500 000 отдельных файлов в 50 000 папок, я полагаю. У меня также есть 2 ТБ NAS в центре обработки данных для данных. Я пробовал разные инструменты (обычно бесплатные), чтобы добиться этого, но ни один из них не сработал.
Я предпочитаю протокол ftp, но nfs тоже возможен. Я пробовал FTPbox, но он зависает из-за огромного количества данных.
Большинство протестированных мной инструментов (FreeFileSync, FTPbox, PureSync) дают сбой или работают очень медленно из-за большого количества сравниваемых файлов.
Было бы неплохо иметь клиент типа Dropbox (поэтому я и тестировал FTPbox), который мог бы самостоятельно определять измененные файлы и обновлять их, но, полагаю, даже у клиента Dropbox есть проблемы с объемом файлов.
Кто-нибудь знает инструмент для синхронизации такого огромного объема данных?
решение1
ИзвестныйrsyncИнструмент предназначен для решения такого рода проблем. Вам понадобится доступ к ssh-логину (или, по крайней мере, демон rsync), чтобы это сработало.