Mittlerweile habe ich 10 Server für HPC, Power Computing orientiert. Meine Benutzer müssen mehrere Prozesse mit qmake starten. Die Benutzer sind es gewohnt, mit Ubuntu 9.10 zu arbeiten, und die Software aus den Repositories ist für sie austauschbar.
Ich habe Ubuntu 9.10 auf allen 10 Servern bereitgestellt (pxe rockt).
Mittlerweile arbeiten wir mit Parallel-SSH und Cluster-SSH, was es uns ermöglicht, auf allen Servern den gleichen Prozess zu starten. Mit diesen Tools bleiben die Server unabhängig, aber mit der gleichen Software und dem gleichen gestarteten Befehl.
Nun möchten wir mit dem nächsten Schritt fortfahren und alle Server als einen einzigen Server mit allen Ressourcen der anderen 9 betrachten, als wären es dessen Ressourcen.
Der Unterschied wäre hinsichtlich der Verarbeitungszeit und der Zeit, die zum Entwerfen des Startbefehls benötigt würde, erheblich.
Wäre jeder Ratschlag bezüglich der zu verwendenden Software hilfreich?
Danke
Antwort1
Was Sie meinen, heißtEinzelsystemabbild (SSI)Die häufigste Variante dieses Schemas für Linux wird implementiert durchMOSIX. Obwohl es einige Vorteile in Bezug auf die Systemverwaltung bietet, können Prozesse im Allgemeinen nicht über mehrere Knoten hinweg laufen, ohne eine Form vonMPI. Unabhängig davon, ob Sie einen „Standard“-Cluster verwenden, der auf GridEngine ausgeführt wird, oder ob Sie Ihre Systeme in einem einzigen Image zusammenfassen, müssen Sie grundsätzlich immer noch die gesamte Software ändern, um mehrere Knoten abdecken zu können.
Antwort2
Ein Cluster ist hinsichtlich der Leistung keine einzelne Maschine. Für die Leistung ist die Lokalität des Laufwerks/Speichers wichtig.
Dinge auf Anwendungsebene zu erledigen ist zwar weniger allgemein, aber dafür ressourcenschonender. Ihr qmake-Beispiel kann durch die Einrichtung von distcc erheblich beschleunigt werden.
Antwort3
am Ende habe ich Sun Grid Engine verwendet.
Ich habe es in einem privaten Wiki dokumentiert und in meinem Blog kopiert und eingefügt. Ich denke, es kann auch ohne Übersetzung nützlich sein. ;)
Blog-Eintrag :http://suportrecerca.barcelonamedia.org/blog/?p=240
Wenn jemand den Wiki-Code möchte, fragen Sie einfach hier.
Danke.
Antwort4
Ich habe noch nie eines implementiert, aber es klingt wie einBeowulf-Clusterwürde für das funktionieren, was Sie erreichen möchten. Ich habe in der Vergangenheit viel darüber gelesen und für einige einfachere Prozesse kann je nach Ihrem Ziel eine geringfügige Neucodierung erforderlich sein.