В настоящее время я работаю студентом в университете среднего размера. Я работаю в колледже естественных наук (включая математику, статистику, вычислительную технику, физику, химию и биологию) и занимаю должность «технического специалиста», что по сути является комплексом обязанностей по устранению неполадок и починке компьютеров факультета, настройке компьютерных лабораторий, написанию пользовательских программ и администрированию веб-серверов и серверов баз данных.
В настоящее время у нас есть 3 группы довольно новых компьютеров, настроенных для кластеров, однако они не используются и заброшены. Я хотел бы сделать какой-то кластерный проект, но мое самое большое препятствие — что делать на/с кластерами. Если бы я знал, какие приложения или проекты могут использовать кластер, я мог бы отталкиваться от этого. Я читал о кластерах, используемых для рендеринга видео, создания радужных таблиц/взлома паролей и веб-серверов высокой доступности. Но я искал что-то более академическое; что-то, что можно было бы представить профессорам и деканам как что-то действительно академическое использование. А не то, что никогда не будет использоваться.
Я не хочу заниматься рендерингом видео, потому что в этом нет необходимости. Взлом паролей не принесет особой пользы колледжу. Высокодоступный веб-кластер бесполезен, потому что мы не размещаем, а размещаем только несколько статических страниц факультета и наш сайт (сеть и веб-сайты университета — это другой отдел). Инструменты, которые я мог бы представить кафедре математики, физики или химии, были бы идеальными. Однако я открыт для идей и примеров.
Проблема не в настройке/администрировании Linux или любой другой ОС или программы. Проблема в том, что делать с кластером.
краткое содержание: что делать с кластером в академической среде.
решение1
вы можете установить Debian плюс различныеDebian-наукапакеты на этих машинах. которые включают в себя довольно большую коллекцию бесплатных программ для решения нескольких распространенных вычислительных задач в науке, а также общие библиотеки и наборы инструментов, такие как openmpi.
смотрите такжеhttp://blends.alioth.debian.org/science/tasks/. он содержит список подпроектов или задач проекта DebianScience, а также списки доступных пакетов программного обеспечения с описаниями того, что они делают/для чего предназначены, и состоянием пакетов. Главная страница DS wiki выше имеет неработающую ссылку на эту страницу, поэтому вот исправленная ссылка.
В настоящее время я работаю системным администратором на химическом факультете университета здесь, в .au, и недавно собрал несколько машин для преподавателей с установленными пакетами DebianScience/Chemistry, а также коммерческим/фирменным программным обеспечением, таким как Gaussian03, QCHEM и WebMO (который представляет собой веб/java-интерфейс для Gaussian, QCHEM, MOPAC и других программ вычислительной химии).
Я больше знаком с программами по химии в пакетах Debian Science, но я знаю, что есть также огромное количество программного обеспечения для других областей, таких как физика, астрономия, биология, математика и т. д. А также более «общие» пакеты для сбора данных, набора текста (TeX и т. д.), вычислительные библиотеки для Fortran, C, python и т. д.
Если ничего другого, то эта страница debian-science wiki выше даст вам хороший обзор видов программного обеспечения, которое может быть интересно ученым-ученым в области вычислительных кластеров. Вы сказали, что у вас есть три группы машин для кластеров, поэтому, как только вы получите обзор того, какие виды программного обеспечения доступны, вы можете поговорить с некоторыми профессорами и начать строить планы по перестройке/перепрофилированию машин.
решение2
Когда я был системным администратором в университетской лаборатории, я столкнулся с огромным количеством вычислительной мощности (около 50 iMac), которая в значительной степени недоиспользовалась, поэтому я хотел сделать то же самое, что вы предлагаете. Чтобы получить начальную поддержку, я нашел аспиранта, у которого была некоторая параллелизуемая проблема - это была физика, поэтому у него былаРешётка КХДсимуляция - и приступил к переносу своего кода на Mac, чтобы он мог работать под Xgrid. Когда он получил результаты за 1/3 времени, которое потребовалось бы на общем кластере Sun, на том, что фактически было "свободным" процессорным временем, остальная часть отдела обратила на это внимание.
решение3
АхадупКластер можно использовать для обработки огромных объемов данных, если возникнет такая необходимость.
решение4
Эта статья только что попалась мне на глаза в одном из моих каналов RSS, и я задумался над этим вопросом. В ней перечислены 25 приложений HPC с открытым исходным кодом. И она включает ряд приложений, связанных с наукой, из ряда дисциплин.
http://www.hpccommunity.org/f55/clusters-produce-25-open-hpc-applications-591/