Я работаю в компании, которая собирает тонны данных датчиков с тест-драйвов. В настоящее время у нас есть около 200 ТБ (1 638 400 Гбит) данных, которые необходимо скопировать.
Мы планируем создать ленточную библиотеку в конце года, но сейчас нам нужно скопировать данные на несколько жестких дисков, отформатированных в ext4.
Для резервного копирования доступен сервер с подключением к данным датчика на скорости 10 Гбит/с. Этот сервер имеет два порта UBS 3.0. На сервере в настоящее время установлен Debian, но для этой задачи мы можем установить любой Linux.
Наши внешние жесткие диски — это Western Digital MyBooks 3.0 с объемом памяти 8 ТБ и скоростью записи 180 МБ/с (1440 Мбит/с).
Итак, с двумя портами USB 3.0 мы теоретически можем записывать 2,8 Гбит/с, что приводит к общему времени записи около 162 часов (6,8 дней). Если это оптимальный случай и не учитывает время на замену дисков, мы ожидаем, что это займет не менее двух недель по пять рабочих дней на каждый. Пожалуйста, поправьте меня, если я ошибаюсь.
В то время как эта ситуация кричит: ЛЕНТОЧНАЯ БИБЛИОТЕКА! Нам придется пойти по пути UBS 3.0 на данный момент.
Я бы с удовольствием выслушал ваши предложения о том, как решить эту проблему наиболее быстрым и простым способом.
Любая помощь будет оценена по достоинству! Спасибо!