Atualmente sou estudante em uma universidade de médio porte. eu trabalho para a faculdade de ciências (inclui matemática, estatística, ciências da computação, física, química e biologia) e como "técnico"; que basicamente é uma solução para solucionar problemas básicos e consertar computadores do corpo docente, configurar laboratórios de informática, escrever programas personalizados e administrar servidores da web e de banco de dados.
Atualmente temos 3 grupos de computadores relativamente novos configurados para clusters, porém eles não estão em uso e estão abandonados. Eu gostaria de fazer algum tipo de projeto de cluster, mas meu maior obstáculo é o que fazer nos clusters. Se eu soubesse quais aplicativos ou projetos poderiam utilizar um cluster, poderia partir daí. Eu li sobre clusters sendo usados para renderização de vídeo, geração de tabelas arco-íris/quebra de senha e servidores web de alta disponibilidade. Mas eu procurava algo mais acadêmico; algo que poderia ser apresentado aos professores e reitores como algo de real usabilidade acadêmica. Não algo que nunca será usado.
Eu realmente não quero renderizar vídeo porque não há necessidade de renderizar vídeo. A quebra de senha não teria muita utilidade para a faculdade. O cluster da web de alta disponibilidade não tem utilidade porque não hospedamos apenas algumas páginas estáticas do corpo docente e nosso site (a rede e os sites da universidade são outro departamento). Ferramentas que eu pudesse apresentar ao departamento de matemática, física ou química seriam ideais. No entanto, estou aberto a ideias ou exemplos.
Configurar/administrar o Linux ou qualquer sistema operacional ou programa não é o problema. É o que fazer com o cluster.
tl/dr: o que fazer com um cluster em um ambiente acadêmico.
Responder1
você pode instalar o debian mais os váriosciência debianpacotes nessas máquinas. que inclui uma coleção bastante grande de programas de software livres para vários problemas de computação comuns na ciência, bem como bibliotecas gerais e kits de ferramentas como o openmpi.
Veja tambémhttp://blends.alioth.debian.org/science/tasks/. ele contém uma lista dos subprojetos ou tarefas do projeto DebianScience, bem como listas dos pacotes de software disponíveis, com descrições do que eles fazem/são, e o estado dos pacotes. A página wiki principal do DS acima tem um link quebrado para esta página, então aqui está um link fixo.
Atualmente trabalho como administrador de sistemas na escola de química de uma universidade aqui em .au, e recentemente tenho construído várias máquinas para os acadêmicos com os pacotes DebianScience/Chemistry instalados, além de software comercial/proprietário, como Gaussian03, QCHEM e WebMO (que é um front-end web/java para Gaussian, QCHEM, MOPAC e outros programas de química computacional).
Estou mais familiarizado com os programas de Química dos pacotes Debian Science, mas sei que também existe uma grande quantidade de software para outras áreas, como Física, Astronomia, Biologia, Matemática e assim por diante. Também pacotes mais "gerais" para aquisição de dados, composição tipográfica (TeX, etc), bibliotecas de computação para Fortran, C, python e muito mais.
no mínimo, a página wiki do debian-science acima lhe dará uma boa visão geral dos tipos de software nos quais os acadêmicos de ciências podem estar interessados em clusters de computação. Você disse que tem três grupos de máquinas para clusters, então, depois de ter uma visão geral dos tipos de software disponíveis, você pode conversar com alguns dos professores e começar a fazer planos para reconstruir/redefinir as máquinas.
Responder2
Quando eu era administrador de sistemas de um laboratório universitário, me deparei com uma grande quantidade de poder de processamento (cerca de 50 iMacs) que era amplamente subutilizado, então queria fazer a mesma coisa que você está sugerindo. Para ganhar força inicial, encontrei um estudante de doutorado que tinha algum problema paralelizável - era Física, então ele tinha umQCD de redesimulação - e começou a portar seu código para o Mac para que fosse executado no Xgrid. Quando ele obteve resultados em 1/3 do tempo que levaria no cluster Sun compartilhado, no que era efetivamente tempo de CPU "livre", o resto do departamento prestou atenção.
Responder3
Ahadoopcluster pode ser usado para processar grandes quantidades de dados, se necessário.
Responder4
Este artigo acabou de encontrar um dos meus feeds rss e pensei sobre esta questão. Ele lista 25 aplicativos HPC de código aberto. E inclui uma série de aplicações relacionadas à ciência de diversas disciplinas.
http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/