Tenho alguns arquivos grandes que preciso copiar de uma máquina Linux para cerca de 20 outras máquinas Linux, todos na mesma LAN o mais rápido possível. Quais ferramentas/métodos seriam melhores para copiar esses arquivos, observando que esta não será uma cópia única. Estas máquinas nunca estarão ligadas à Internet e a segurança não é um problema.
Atualizar:
A razão pela qual perguntei isso é porque (pelo que entendi) estamos atualmente usando scpem série para copiar os arquivos para cada uma das máquinas e fui informado que isso é "muito lento" e uma alternativa mais rápida está sendo procurada. De acordo com o que me disseram, tentar paralelizar as scpchamadas simplesmente retarda ainda mais devido às buscas no disco rígido.
Responder1
BitTorrent. É como o Twitter implanta algumas coisas internamente.
http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html(link do arquivo da web)
Responder2
Que talUFTP, ele usa multicast para entregar arquivos via UDP para vários clientes ao mesmo tempo. Não é para todos e não sou especialista nisso, mas parece que faz o que você deseja.
Responder3
Você já tentou copiar esses dados com rsync? Se você tiver uma LAN de 1 Gbit ou mais rápida, copiar mais de 4*20 GB não deverá ser um problema.
Com que frequência essa cópia ocorrerá? Faz diferença se leva alguns minutos para terminar?
Responder4
Configurar um compartilhamento NFS e fazer com que cada máquina extraia arquivos grandes desse repositório compartilhado provavelmente seria o método mais rápido (o NFS é muito rápido e tem pouca sobrecarga).
Você pode adicionar uma ou duas NIC adicionais ao servidor de origem e uni-las para obter melhor rendimento.
A implementação poderia ser um simples cron job em cada servidor de destino que busca cegamente o compartilhamento a cada hora/dia/o que for. Você também pode configurar um daemon para pesquisar novos arquivos; você também pode simplesmente criar um script de uma sessão de controle para SSH (com pares de chaves) em cada caixa de destino e instruí-los a buscar o arquivo quando você executar seu script.