Backup de 200 TB de dados do compartilhamento de rede para vários HDDs externos de 8 TB (Linux)

Backup de 200 TB de dados do compartilhamento de rede para vários HDDs externos de 8 TB (Linux)

Estou trabalhando para uma empresa que coleta toneladas de dados de sensores em test drives. Atualmente temos cerca de 200 TB (1.638.400 Gbit) de dados que precisam de backup.

Estamos planejando montar uma biblioteca de fitas no final do ano, mas por enquanto devemos copiar os dados em vários HDDs formatados com ext4.

Um servidor com conexão de 10 Gbit/s aos dados do sensor está disponível para backup. Este servidor possui duas portas UBS 3.0. O servidor atualmente possui o Debian instalado, mas poderíamos instalar qualquer Linux para esta tarefa.

Nossos HDDs externos são Western Digital MyBooks 3.0 com 8 TB de armazenamento e velocidade de gravação de 180 MB/s (1.440 Mbit/s).

Portanto, com duas portas USB 3.0 somos teoricamente capazes de gravar 2,8 Gbit/s, o que leva a um tempo total de gravação de aproximadamente 162 horas (6,8 dias). Sendo este o caso ideal e sem levar em conta o tempo de troca dos drives, esperamos que demore pelo menos duas semanas com cinco dias úteis cada. Por favor me corrija se eu estiver errado.

Enquanto esta situação grita TAPE LIBRARY! Temos que seguir o caminho do UBS 3.0 por enquanto.

Eu adoraria ouvir suas sugestões sobre como resolver esse problema da maneira mais rápida e fácil.

Qualquer ajuda é muito apreciada! Obrigado!

informação relacionada