Actualmente soy estudiante trabajador en una universidad de tamaño mediano. trabajo para la facultad de ciencias (incluye matemáticas, estadística, ciencias de la computación, física, química y biología) y como "técnico"; que básicamente es un comodín para solucionar problemas básicos y reparar computadoras de la facultad, configurar laboratorios de computación, escribir programas personalizados y administrar servidores web y de bases de datos.
Actualmente tenemos 3 grupos de computadoras bastante nuevas configuradas para clústeres, sin embargo, no están en uso y están abandonadas. Me gustaría hacer algún tipo de proyecto de clúster, pero mi mayor obstáculo es qué hacer con los clústeres. Si supiera qué aplicaciones o proyectos podrían utilizar un clúster, podría partir de ahí. He leído sobre los clústeres que se utilizan para la renderización de videos, la generación de tablas de arcoíris/descifrado de contraseñas y servidores web de alta disponibilidad. Pero buscaba algo más académico; algo que podría presentarse a los profesores y decanos como algo de usabilidad académica real. No algo que nunca se usará.
Realmente no quiero renderizar video porque no es necesario renderizar video. Descifrar contraseñas no sería de mucha utilidad para la universidad. El clúster web de alta disponibilidad no tiene utilidad porque no hospedamos más que algunas páginas estáticas de la facultad y nuestro sitio (la red y los sitios web de la universidad son otro departamento). Las herramientas que podría presentar al departamento de matemáticas, física o química serían ideales. Sin embargo, estoy abierto a ideas o ejemplos.
Configurar/administrar Linux o cualquier sistema operativo o programa no es el problema. Es qué hacer con el clúster.
tl/dr: qué hacer con un grupo en un entorno académico.
Respuesta1
podrías instalar debian más los diversosciencia-debianpaquetes en estas máquinas. eso incluye una colección bastante grande de programas de software gratuitos para varios problemas de cálculo comunes en la ciencia, así como bibliotecas generales y kits de herramientas como openmpi.
ver tambiénhttp://blends.alioth.debian.org/science/tasks/. contiene una lista de los subproyectos o Tareas del proyecto DebianScience así como listados de los paquetes de software disponibles, con descripciones de para qué sirven y el estado de los paquetes. La página wiki principal de DS anterior tiene un enlace roto a esta página, por lo que aquí hay un enlace arreglado.
Actualmente trabajo como administrador de sistemas en la escuela de química de una universidad aquí en .au, y recientemente he estado construyendo varias máquinas para académicos con los paquetes DebianScience/Chemistry instalados además de software comercial/propietario como Gaussian03, QCHEM y WebMO (que es una interfaz web/java para Gaussian, QCHEM, MOPAC y otros programas de química computacional).
Estoy más familiarizado con los programas de Química en los paquetes de Ciencias de Debian, pero sé que también hay una gran cantidad de software para otros campos como Física, Astronomía, Biología, Matemáticas, etc. También paquetes más "generales" para adquisición de datos, composición tipográfica (TeX, etc.), bibliotecas de cálculo para Fortran, C, Python y más.
Al menos, la página wiki de Debian-science que aparece arriba le dará una buena visión general de los tipos de software que podrían interesar a los académicos científicos sobre los clusters informáticos. Dijiste que tienes tres grupos de máquinas para los clústeres, así que una vez que tengas una visión general de los tipos de software disponibles, puedes hablar con algunos de los profesores y comenzar a hacer planes para reconstruir/reutilizar las máquinas.
Respuesta2
Cuando era administrador de sistemas en un laboratorio universitario, me enfrentaba a una gran cantidad de potencia de procesamiento (alrededor de 50 iMac) que estaba en gran medida infrautilizada, por lo que quería hacer lo mismo que usted sugiere. Para ganar impulso inicial encontré a un estudiante de doctorado que tenía algún problema de paralelización: esto era Física, por lo que tenía unQCD de celosíasimulación, y se dedicó a portar su código a Mac para que se ejecutara en Xgrid. Cuando obtuvo resultados en 1/3 del tiempo que habría tomado en el clúster Sun compartido, en lo que efectivamente era tiempo de CPU "libre", el resto del departamento prestó atención.
Respuesta3
AhadoopEl clúster podría usarse para procesar cantidades masivas de datos si fuera necesario.
Respuesta4
Este artículo apareció en uno de mis feeds rss y pensé en esta pregunta. Enumera 25 aplicaciones HPC de código abierto. E incluye una serie de aplicaciones relacionadas con la ciencia de varias disciplinas.
http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/