Несколько серверов работают как один со всем оборудованием?

Несколько серверов работают как один со всем оборудованием?

На данный момент у меня 10 серверов для HPC, ориентированных на мощные вычисления. Моим пользователям нужно запускать несколько процессов с помощью qmake. Пользователи привыкли работать с Ubuntu 9.10, и программное обеспечение из репозиториев для них switable.

Я развернул Ubuntu 9.10 на всех 10 серверах (pxe рулит).

На данный момент мы работаем с parallel-ssh и cluster-ssh, что позволяет запускать один и тот же процесс на всех серверах. С помощью этих инструментов серверы остаются независимыми, но с тем же программным обеспечением и той же запущенной командой.

Теперь мы хотели бы перейти к следующему шагу и увидеть все серверы как один со всеми ресурсами остальных 9, как если бы это были его ресурсы.

Разница будет существенной во времени обработки, а также во времени разработки команды на запуск.

Какие-нибудь советы по использованию программного обеспечения будут очень полезны?

Спасибо

решение1

То, о чем вы говорите, называетсяЕдиный системный образ (SSI). Наиболее распространенный вариант этой схемы для Linux реализуетсяМОСИКС. Хотя это и обеспечивает некоторые преимущества с точки зрения управления системой, в целом процессы не могут охватывать несколько узлов без использования какой-либо формыМПИ. По сути, независимо от того, используете ли вы «стандартный» кластер, работающий на GridEngine, или формируете свои системы в виде единого образа, вам все равно придется модифицировать все программное обеспечение, чтобы иметь возможность охватывать несколько узлов.

решение2

С точки зрения производительности кластер — это не одна машина, для производительности важны локальность файловой системы и памяти.

Выполнение задач на уровне приложения, хотя и менее общее, более эффективно с точки зрения ресурсов. Ваш пример qmake можно значительно ускорить, настроив distcc.

решение3

в конце концов я использовал Sun Grid Engine.

Я задокументировал в закрытой вики, скопировал и вставил в свой блог. Думаю, это может быть полезно даже без перевода. ;)

Запись в блоге :http://suportrecerca.barcelonamedia.org/blog/?p=240

Если кому-то нужен вики-код, просто спросите здесь.

Спасибо.

решение4

Я никогда раньше этого не реализовывал, но это звучит каккластер беовульфабудет работать для того, что вы пытаетесь сделать. Я много читал об этом в прошлом, и для некоторых более простых процессов может потребоваться небольшое перекодирование в зависимости от того, чего вы пытаетесь достичь.

Связанный контент