Linux a Linux, ¿transferencia de 10 TB?

Linux a Linux, ¿transferencia de 10 TB?

He mirado todas las preguntas similares anteriores, pero las respuestas parecían estar por todas partes y nadie se movía.lotede datos (100 GB es diferente de 10 TB).

Tengo alrededor de 10 TB que necesito mover de una matriz RAID a otra, gigabit Ethernet, la enciclopedia libre,XFSsistemas de archivos. Mi mayor preocupación es que la transferencia muera a mitad de camino y no poder reanudarla fácilmente. La velocidad sería buena, pero asegurar la transferencia es mucho más importante.

Normalmente, solo usaría tar & netcat, pero la matriz RAID desde la que me estoy mudando ha estado muy inestable últimamente y necesito poder recuperarme y reanudarla si falla a mitad del proceso. ¿Debería estar mirando?sincronización?

Analizando esto un poco más, creo que rsync podría ser demasiado lento y me gustaría evitar que esto tarde 30díaso más. Ahora estoy buscando sugerencias sobre cómo monitorear/reanudar la transferencia connetcat.

Respuesta1

sí, rsync

Fuera del bicho raro, las funciones asíncronas que DRBD presentó recientemente.

Respuesta2

Nunca subestimes el ancho de banda de una camioneta llena de cintas. 10 TB serían factibles con equipos NAS de consumo relativamente baratos si se pueden dividir en partes (digamos 2 TB). Si se trata de algo puntual, entonces un proceso semimanual podría ser viable, y un NAS de 2 TB cuesta sólo unos pocos cientos de dólares.

Si necesita un proceso continuo, puede configurar RSYNC después de haber realizado la transferencia inicial.

Respuesta3

Tuve que hacer este tipo de tarea hace algunos meses. Utilicé rsync paralelo para acelerar el proceso. Divide los archivos que se transferirán/sincronizarán en trozos y se pueden reanudar en cualquier momento. Consulte el enlace a continuación para ver el script rsync paralelo.

https://gist.github.com/rcoup/5358786

Respuesta4

Puede intentar configurar un servidor FTP en el servidor con los datos que se van a copiar y utilizar un cliente FTP con "reanudar" en el extremo receptor. Utilizo el servidor y el cliente Filezilla y uso la función "reanudar" del cliente con bastante frecuencia y siempre ha funcionado sin problemas.

información relacionada