Copia de seguridad de 200 TB de datos desde networkshare a múltiples discos duros externos de 8 TB (Linux)

Copia de seguridad de 200 TB de datos desde networkshare a múltiples discos duros externos de 8 TB (Linux)

Estoy trabajando para una empresa que recopila toneladas de datos de sensores de pruebas de manejo. Actualmente tenemos alrededor de 200 TB (1.638.400 Gbit) de datos de los que es necesario realizar una copia de seguridad.

Estamos planeando configurar una biblioteca de cintas a finales de año, pero por ahora debemos copiar los datos en varios HDD formateados con ext4.

Para la copia de seguridad está disponible un servidor con una conexión de 10 Gbit/s a los datos del sensor. Este Servidor tiene dos puertos UBS 3.0. Actualmente el servidor tiene instalado Debian, pero podríamos instalar cualquier Linux para esta tarea.

Nuestros discos duros externos son Western Digital MyBooks 3.0 con 8 TB de almacenamiento y tienen una velocidad de escritura de 180 MB/s (1440 Mbit/s).

Entonces, con dos puertos USB 3.0, en teoría podemos escribir 2,8 Gbit/s, lo que lleva a un tiempo total de escritura de aproximadamente 162 horas (6,8 días). Dado que este es el caso óptimo y no tiene en cuenta el tiempo para cambiar las unidades, esperamos que demore al menos dos semanas con cinco días hábiles cada una. Por favor corrígeme si estoy equivocado.

Mientras esta situación grita ¡BIBLIOTECA DE CINTAS! Por ahora tenemos que seguir el camino de la USB 3.0.

Me encantaría escuchar tus sugerencias sobre cómo solucionar este problema de la forma más rápida y sencilla.

¡Cualquier ayuda es muy apreciada! ¡Gracias!

información relacionada