Tengo algunos archivos grandes que necesito copiar desde una máquina Linux a otras 20 máquinas Linux, todas en la misma LAN lo más rápido posible. Qué herramientas/métodos serían mejores para copiar estos archivos, teniendo en cuenta que no será una copia única. Estas máquinas nunca estarán conectadas a Internet y la seguridad no es un problema.
Actualizar:
La razón por la que pregunto esto es porque (según tengo entendido) actualmente estamos usando scpen serie para copiar los archivos a cada una de las máquinas y me han informado que esto es "demasiado lento" y se está buscando una alternativa más rápida. Según me han dicho, intentar paralelizar las scpllamadas simplemente las ralentiza aún más debido a las búsquedas en el disco duro.
Respuesta1
BitTorrent. Así es como Twitter implementa algunas cosas internamente.
http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html(enlace al archivo web)
Respuesta2
Qué tal siUFTP, utiliza multidifusión para entregar archivos a través de UDP a varios clientes a la vez. No es para todos y no soy un experto en ello, pero parece que hace lo que quieres.
Respuesta3
¿Has intentado copiar estos datos con rsync? Si tiene una LAN de 1 Gbit o más rápida, copiar más de 4*20 GB no debería ser un problema.
¿Con qué frecuencia ocurrirá esta copia? ¿Importa si tarda un par de minutos en terminar?
Respuesta4
Configurar un recurso compartido NFS y hacer que cada máquina extraiga archivos grandes de este repositorio compartido probablemente sea el método más rápido (NFS es muy rápido y tiene poca sobrecarga).
Puede agregar una o dos NIC adicionales al servidor de origen y vincularlas para brindarle un mejor rendimiento.
La implementación podría ser un trabajo cron simple en cada servidor de destino que recupera ciegamente el recurso compartido cada hora/día/lo que sea. También puede configurar un demonio para buscar archivos nuevos; También puede simplemente programar una sesión de control en SSH (con pares de claves) en cada cuadro de destino e indicarles que busquen el archivo cuando ejecute el script.