大學集群的使用想法

大學集群的使用想法

我目前是一所中等規模大學的學生工作者。我在科學學院工作(包括數學、統計、電腦科學、物理、化學和生物)並擔任「技術員」;這基本上是基本故障排除和修復教師電腦、建立電腦實驗室、編寫自訂程式以及管理網路和資料庫伺服器的全部內容。

我們目前有 3 組相當新的計算機設置為集群,但它們沒有使用並被廢棄。我想做某種集群項目,但我最大的障礙是在集群上做什麼。如果我知道哪些應用程式或專案可以利用集群,我就可以從那裡開始。我讀過有關用於視訊渲染、生成彩虹表/密碼破解和高可用性 Web 伺服器的叢集的資訊。但我一直在尋找更學術的東西;可以作為實際學術可用性呈現給教授和院長的東西。

我真的不想進行視訊渲染,因為不需要渲染影片。密碼破解對大學來說沒有多大用處。高可用性網路叢集沒有用處,因為我們只託管一些靜態教員頁面和我們的網站(網路和大學網站是另一個部門)。我可以向數學、物理或化學系展示的工具將是理想的。不過,我願意接受想法或例子。

設定/管理 Linux 或任何作業系統或程式都不是問題。這是如何處理集群。

tl/dr:在學術環境中如何處理叢集。

答案1

你可以安裝 Debian 以及各種Debian 科學這些機器上的包包。其中包括大量針對科學中幾個常見計算問題的免費軟體程序,以及通用庫和工具包(例如 openmpi)。

也可以看看http://blends.alioth.debian.org/science/tasks/。它包含 DebianScience 項目的子項目或任務列表以及可用軟體包的列表,以及它們的用途/用途的描述以及軟體包的狀態。上面的 DS wiki 主頁面有一個指向此頁面的損壞鏈接,因此這裡有一個固定鏈接。

我目前在 .au 的一所大學的化學學院擔任系統管理員,最近正在為學術界構建幾台機器,安裝了 DebianScience/Chemistry 軟體包以及商業/專有軟體,例如 Gaussian03、QCHEM 和 WebMO(其中是Gaussian、QCHEM、MOPAC 和其他計算化學程式的Web/java 前端)。

我更熟悉 Debian Science 軟體包中的化學程序,但我知道還有大量其他領域的軟體,例如物理、天文學、生物學、數學等。還有更多用於資料收集、排版(TeX 等)的「通用」套件、Fortran、C、Python 等的計算庫。

如果沒有意外,上面的 debian-science wiki 頁面將為您提供科學學者可能對計算集群感興趣的軟體類型的良好概述。您說您有三組用於集群的機器,因此一旦您了解了可用的軟體類型,您就可以與一些教授交談並開始製定重建/重新利用機器的計劃。

答案2

當我擔任大學實驗室的系統管理員時,我面臨著大量的處理能力(大約 50 台 iMac),而這些處理能力基本上沒有得到充分利用,所以想做你建議的同樣的事情。為了獲得最初的吸引力,我找到了一位博士生,他有一些可並行的問題 - 這是物理學,所以他有一個晶格QCD模擬 - 並開始將他的程式碼移植到 Mac,以便它可以在 Xgrid 下運行。當他用共享 Sun 叢集上有效「空閒」CPU 時間 1/3 的時間得到結果時,部門的其他成員都注意到了。

答案3

A哈達普如果有需要,可以使用叢集來處理大量資料。

答案4

這篇文章剛剛看到我的一個 RSS feed,我就想到了這個問題。它列出了 25 個開源 HPC 應用程式。它包括來自多個學科的許多與科學相關的應用程式。

http://www.hpccommunity.org/f55/clusters-product-25-open-hpc-applications-591/

相關內容