A estas alturas tengo 10 servidores para hpc, orientados a la informática de potencia. Mis usuarios necesitan iniciar varios procesos usando qmake. Los usuarios están acostumbrados a trabajar con ubuntu 9.10 y el software de los repositorios es adaptable para ellos.
Implementé ubuntu 9.10 en los 10 servidores (pxe rocks).
Por ahora trabajamos con paralelo-ssh y cluster-ssh, lo que permite lanzar el mismo proceso en todos los servidores. Con estas herramientas los servidores siguen siendo independientes pero con el mismo software y el mismo comando lanzado.
Ahora nos gustaría pasar al siguiente paso y ver todos los servidores como uno solo con todos los recursos de los otros 9 como si fueran sus recursos.
La diferencia sería sustancial en el tiempo de procesamiento y también en el tiempo de diseño del comando a lanzar.
¿Algún consejo sobre qué software utilizar será muy útil?
Gracias
Respuesta1
De lo que hablas se llamaImagen de sistema único (SSI). La variante más común de este esquema para Linux es implementada porMOSIX. Si bien proporciona algunas ventajas en términos de gestión del sistema, en general los procesos no pueden abarcar varios nodos sin utilizar alguna forma deIPM. Básicamente, ya sea que use o no un clúster "estándar" que se ejecuta en gridengine o que forme sus sistemas en una sola imagen, aún necesitará modificar todo el software para poder abarcar múltiples nodos.
Respuesta2
Un clúster no es una sola máquina en cuanto al rendimiento, la localidad de fs/memoria es importante para el rendimiento.
Hacer cosas a nivel de aplicación, aunque menos general, consume más recursos. Su ejemplo de qmake se puede acelerar significativamente configurando distcc.
Respuesta3
Al final he usado Sun Grid Engine.
Lo he documentado en una wiki privada y lo he cortado y pegado en mi blog. Creo que puede resultar útil incluso sin traducción. ;)
Entrada de blog :http://suportrecerca.barcelonamedia.org/blog/?p=240
Si alguien quiere el código wiki, pídalo aquí.
Gracias.
Respuesta4
Nunca he implementado uno antes, pero suena como unacúmulo de beowulfFuncionaría para lo que estás tratando de hacer. He leído mucho sobre esto en el pasado y para algunos procesos más simples puede ser necesaria poca recodificación dependiendo de lo que esté tratando de lograr.