На данный момент у меня 10 серверов для HPC, ориентированных на мощные вычисления. Моим пользователям нужно запускать несколько процессов с помощью qmake. Пользователи привыкли работать с Ubuntu 9.10, и программное обеспечение из репозиториев для них switable.
Я развернул Ubuntu 9.10 на всех 10 серверах (pxe рулит).
На данный момент мы работаем с parallel-ssh и cluster-ssh, что позволяет запускать один и тот же процесс на всех серверах. С помощью этих инструментов серверы остаются независимыми, но с тем же программным обеспечением и той же запущенной командой.
Теперь мы хотели бы перейти к следующему шагу и увидеть все серверы как один со всеми ресурсами остальных 9, как если бы это были его ресурсы.
Разница будет существенной во времени обработки, а также во времени разработки команды на запуск.
Какие-нибудь советы по использованию программного обеспечения будут очень полезны?
Спасибо
решение1
То, о чем вы говорите, называетсяЕдиный системный образ (SSI). Наиболее распространенный вариант этой схемы для Linux реализуетсяМОСИКС. Хотя это и обеспечивает некоторые преимущества с точки зрения управления системой, в целом процессы не могут охватывать несколько узлов без использования какой-либо формыМПИ. По сути, независимо от того, используете ли вы «стандартный» кластер, работающий на GridEngine, или формируете свои системы в виде единого образа, вам все равно придется модифицировать все программное обеспечение, чтобы иметь возможность охватывать несколько узлов.
решение2
С точки зрения производительности кластер — это не одна машина, для производительности важны локальность файловой системы и памяти.
Выполнение задач на уровне приложения, хотя и менее общее, более эффективно с точки зрения ресурсов. Ваш пример qmake можно значительно ускорить, настроив distcc.
решение3
в конце концов я использовал Sun Grid Engine.
Я задокументировал в закрытой вики, скопировал и вставил в свой блог. Думаю, это может быть полезно даже без перевода. ;)
Запись в блоге :http://suportrecerca.barcelonamedia.org/blog/?p=240
Если кому-то нужен вики-код, просто спросите здесь.
Спасибо.
решение4
Я никогда раньше этого не реализовывал, но это звучит каккластер беовульфабудет работать для того, что вы пытаетесь сделать. Я много читал об этом в прошлом, и для некоторых более простых процессов может потребоваться небольшое перекодирование в зависимости от того, чего вы пытаетесь достичь.