Я просмотрел все предыдущие похожие вопросы, но ответы, похоже, были повсюду, и никто не двигался с места.многоданных (100 ГБ отличается от 10 ТБ).
У меня есть около 10 ТБ, которые мне нужно переместить с одного RAID-массива на другой, гигабитный Ethernet, свободная энциклопедия,XFSФайловые системы. Больше всего меня беспокоит, что переходная матрица находится на полпути и не может легко возобновиться. Скорость была бы хороша, но обеспечение передачи гораздо важнее.
Обычно я бы просто использовал tar и netcat, но RAID-массив, с которого я перемещаюсь, в последнее время стал очень нестабильным, и мне нужно иметь возможность восстановиться и возобновить работу, если он упадет в процессе. Стоит ли мне смотреть наrsync?
Если рассмотреть это подробнее, то я думаю, что rsync может быть слишком медленным, и я бы хотел избежать того, чтобы это заняло 30днейили больше. Так что теперь я ищу предложения о том, как контролировать / возобновлять передачу снеткат.
решение1
да, rsync
Помимо необычности, недавно появились асинхронные функции DRBD.
решение2
Никогда не недооценивайте пропускную способность универсала, полного кассет. 10 ТБ было бы осуществимо с относительно дешевым потребительским оборудованием NAS, если вы можете разделить его на (скажем, 2 ТБ) куски. Если это одноразовый, то полуручной процесс может быть работоспособным, а 2 ТБ NAS стоит всего несколько сотен долларов.
Если вам нужен непрерывный процесс, вы можете настроить RSYNC после того, как вы выполнили первоначальную передачу.
решение3
Мне пришлось выполнить такую задачу несколько месяцев назад. Я использовал параллельный rsync для ускорения процесса. Он разделил файлы для передачи/синхронизации на части, и его можно было возобновить в любое время. Смотрите ссылку ниже для параллельного скрипта rsync.
решение4
Вы можете попробовать настроить FTP-сервер на сервере с данными, которые нужно скопировать, и использовать FTP-клиент с "возобновлением" на принимающей стороне. Я использую сервер и клиент Filezilla, и я довольно часто использую функцию "возобновления" клиента, и она всегда работала без сбоев.