Резервное копирование 200 ТБ данных из networkshare на несколько внешних жестких дисков по 8 ТБ (Linux)

Резервное копирование 200 ТБ данных из networkshare на несколько внешних жестких дисков по 8 ТБ (Linux)

Я работаю в компании, которая собирает тонны данных датчиков с тест-драйвов. В настоящее время у нас есть около 200 ТБ (1 638 400 Гбит) данных, которые необходимо скопировать.

Мы планируем создать ленточную библиотеку в конце года, но сейчас нам нужно скопировать данные на несколько жестких дисков, отформатированных в ext4.

Для резервного копирования доступен сервер с подключением к данным датчика на скорости 10 Гбит/с. Этот сервер имеет два порта UBS 3.0. На сервере в настоящее время установлен Debian, но для этой задачи мы можем установить любой Linux.

Наши внешние жесткие диски — это Western Digital MyBooks 3.0 с объемом памяти 8 ТБ и скоростью записи 180 МБ/с (1440 Мбит/с).

Итак, с двумя портами USB 3.0 мы теоретически можем записывать 2,8 Гбит/с, что приводит к общему времени записи около 162 часов (6,8 дней). Если это оптимальный случай и не учитывает время на замену дисков, мы ожидаем, что это займет не менее двух недель по пять рабочих дней на каждый. Пожалуйста, поправьте меня, если я ошибаюсь.

В то время как эта ситуация кричит: ЛЕНТОЧНАЯ БИБЛИОТЕКА! Нам придется пойти по пути UBS 3.0 на данный момент.

Я бы с удовольствием выслушал ваши предложения о том, как решить эту проблему наиболее быстрым и простым способом.

Любая помощь будет оценена по достоинству! Спасибо!

Связанный контент