agora tenho 10 servidores para HPC, orientados para computação avançada. Meus usuários precisam iniciar vários processos usando qmake. Os usuários estão acostumados a trabalhar com o Ubuntu 9.10, e o software dos repositórios pode ser trocado por eles.
Eu implantei o Ubuntu 9.10 em todos os 10 servidores (pxe rocks).
Até agora trabalhamos com ssh paralelo e cluster-ssh, o que permite lançar o mesmo processo para todos os servidores. Com estas ferramentas os servidores permanecem independentes mas com o mesmo software e o mesmo comando iniciado.
Agora gostaríamos de passar para o próximo passo e ver todos os servidores como um único com todos os recursos dos outros 9 como se fossem seus recursos.
A diferença seria substancial no tempo de processamento e também no tempo de concepção do comando de lançamento.
Algum conselho sobre qual software usar será muito útil?
Obrigado
Responder1
O que você está falando se chamaImagem de sistema único (SSI). A variante mais comum deste esquema para Linux é implementada porMOSIX. Embora forneça algumas vantagens em termos de gerenciamento do sistema, em geral os processos não podem abranger vários nós sem usar alguma forma deMPI. Basicamente, independentemente de você usar ou não um cluster "padrão" em execução no gridengine ou formar seus sistemas em uma única imagem, ainda será necessário modificar todo o software para poder abranger vários nós.
Responder2
Um cluster não é uma única máquina em termos de desempenho; a localidade fs/memory é importante para o desempenho.
Fazer as coisas no nível do aplicativo, embora menos geral, é mais eficiente em termos de recursos. Seu exemplo do qmake pode ser significativamente acelerado configurando o distcc.
Responder3
no final usei o Sun Grid Engine.
Documentei em um wiki privado e recortei e colei em meu blog. Acho que pode ser útil mesmo sem tradução. ;)
Entrada do blog:http://supportrecerca.barcelonamedia.org/blog/?p=240
Se alguém quiser o código wiki, basta perguntar aqui.
Obrigado.
Responder4
Eu nunca implementei um antes, mas parece umaglomerado beowulffuncionaria para o que você está tentando fazer. Já li muito sobre isso no passado e, para alguns processos mais simples, pode ser necessária pouca recodificação, dependendo do que você está tentando alcançar.