저는 현재 중규모 대학에 재학중인 학생입니다. 나는 과학 대학(수학, 통계, 과학 과학, 물리학, 화학, 생물학 포함)에서 "기술자"로 일하고 있습니다. 이는 기본적으로 기본적인 문제 해결 및 교직원 컴퓨터 수리, 컴퓨터 실습실 설정, 사용자 정의 프로그램 작성, 웹 및 데이터베이스 서버 관리에 대한 모든 것을 다룹니다.
현재 클러스터용으로 상당히 새로운 컴퓨터 그룹 3개가 설정되어 있지만 사용되지 않고 버려지고 있습니다. 일종의 클러스터 프로젝트를 하고 싶지만 가장 큰 장애물은 클러스터에서 무엇을 해야 하는가입니다. 어떤 애플리케이션이나 프로젝트가 클러스터를 활용할 수 있는지 안다면 거기서부터 갈 수 있습니다. 비디오 렌더링, 레인보우 테이블 생성/비밀번호 크래킹 및 고가용성 웹 서버에 사용되는 클러스터에 대해 읽었습니다. 하지만 저는 좀 더 학문적인 것을 찾고 있었습니다. 실제로 학문적으로 유용한 것으로 교수와 학장에게 제시될 수 있는 것입니다. 결코 사용되지 않을 것이 아닙니다.
비디오를 렌더링할 필요가 없기 때문에 비디오 렌더링을 별로 하고 싶지 않습니다. 비밀번호 크래킹은 대학에서는 그다지 쓸모가 없습니다. 고가용성 웹 클러스터는 우리가 몇 개의 정적 교직원 페이지와 사이트(네트워크 및 대학 웹사이트는 또 다른 부서임)만 호스팅하지 않기 때문에 아무 소용이 없습니다. 수학, 물리학 또는 화학 부서에 제시할 수 있는 도구가 이상적일 것입니다. 그러나 나는 아이디어나 예에 대해 열려있습니다.
Linux 또는 기타 OS나 프로그램을 설정/관리하는 것은 문제가 되지 않습니다. 클러스터로 수행할 작업입니다.
tl/dr: 학문적 환경에서 클러스터를 어떻게 처리해야 할까요?
답변1
데비안과 다양한 프로그램을 설치할 수 있습니다데비안 과학이 기계의 패키지. 여기에는 openmpi와 같은 일반 라이브러리 및 툴킷뿐만 아니라 과학의 몇 가지 일반적인 계산 문제에 대한 상당히 많은 무료 소프트웨어 프로그램 모음이 포함됩니다.
또한보십시오http://blends.alioth.debian.org/science/tasks/. 여기에는 DebianScience 프로젝트의 하위 프로젝트 또는 작업 목록과 사용 가능한 소프트웨어 패키지 목록, 해당 기능/용도에 대한 설명, 패키지 상태가 포함되어 있습니다. 위의 기본 DS Wiki 페이지에는 이 페이지에 대한 링크가 끊어져 있으므로 여기에 수정된 링크가 있습니다.
저는 현재 이곳 .au에 있는 한 대학의 화학과에서 시스템 관리자로 일하고 있으며, 최근에는 DebianScience/Chemistry 패키지와 Gaussian03, QCHEM 및 WebMO(이것은 Gaussian03, QCHEM 및 WebMO와 같은 상용/독점 소프트웨어가 설치되어 있습니다. Gaussian, QCHEM, MOPAC 및 기타 계산 화학 프로그램에 대한 웹/자바 프런트 엔드입니다.
나는 Debian Science 패키지의 화학 프로그램에 더 익숙하지만 물리학, 천문학, 생물학, 수학 등과 같은 다른 분야를 위한 엄청난 양의 소프트웨어도 있다는 것을 알고 있습니다. 또한 데이터 수집, 조판(TeX 등), Fortran, C, Python 등을 위한 계산 라이브러리를 위한 더 많은 "일반" 패키지가 있습니다.
그렇지 않다면 위의 debian-science 위키 페이지는 과학 학자들이 컴퓨팅 클러스터에 관심을 가질 수 있는 소프트웨어 종류에 대한 좋은 개요를 제공할 것입니다. 클러스터용 컴퓨터 그룹이 세 개 있다고 말씀하셨는데, 어떤 종류의 소프트웨어를 사용할 수 있는지에 대한 개요를 얻은 후에는 몇몇 교수들과 이야기를 나누고 컴퓨터 재구축/용도 변경 계획을 세울 수 있습니다.
답변2
제가 대학 연구실의 시스템 관리자였을 때 처리 능력이 너무 커서(iMac 약 50대) 거의 사용되지 않는 문제에 직면했기 때문에 귀하가 제안한 것과 동일한 작업을 수행하고 싶었습니다. 초기 견인력을 얻기 위해 나는 병렬화 가능한 문제가 있는 박사 과정 학생을 찾았습니다. 이것은 물리학이었습니다.래티스 QCD시뮬레이션 - Xgrid에서 실행되도록 그의 코드를 Mac으로 포팅하기 시작했습니다. 그가 공유 Sun 클러스터에서 소요되는 시간의 1/3로 결과를 얻었을 때 사실상 "사용 가능한" CPU 시간에 대해 나머지 부서에서는 주의를 기울였습니다.
답변3
ㅏ하둡필요한 경우 클러스터를 사용하여 대량의 데이터를 처리할 수 있습니다.
답변4
이 기사는 내 RSS 피드 중 하나를 우연히 발견했고 나는 이 질문에 대해 생각했습니다. 여기에는 25개의 오픈소스 HPC 애플리케이션이 나열되어 있습니다. 그리고 여기에는 다양한 학문 분야의 수많은 과학 관련 응용 프로그램이 포함되어 있습니다.
http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/