複数のサーバーがすべてのハードウェアを備えた単一のサーバーのように動作しますか?

複数のサーバーがすべてのハードウェアを備えた単一のサーバーのように動作しますか?

今では、パワー コンピューティング向けの HPC サーバーが 10 台あります。ユーザーは qmake を使用して複数のプロセスを起動する必要があります。ユーザーは ubuntu 9.10 での作業に慣れており、リポジトリのソフトウェアは切り替え可能です。

Ubuntu 9.10 を 10 台のサーバーすべてに導入しました (pxe は最高です)。

これまで、parallel-ssh と cluster-ssh を使用してきました。これにより、すべてのサーバーに同じプロセスを起動できるようになりました。このツールを使用すると、サーバーは独立したまま、同じソフトウェアと同じ起動コマンドを使用します。

ここで次のステップに進み、すべてのサーバーを 1 つのサーバーとして表示し、他の 9 台のサーバーのすべてのリソースをそのサーバーのリソースであるかのように表示します。

処理にかかる時間と、起動コマンドの設計にかかる時間には大きな違いが生じます。

どのソフトウェアを使用するかについてのアドバイスがあれば非常に役立ちますか?

ありがとう

答え1

あなたが話しているのはシングル システム イメージ (SSI)Linuxにおけるこの方式の最も一般的なバリエーションは、モシックスシステム管理の面でいくつかの利点があるものの、一般的には、何らかの形式の国際ピ基本的に、gridengine 上で実行される「標準」クラスターを使用するか、システムを単一のイメージに形成するかに関係なく、複数のノードにまたがることができるようにすべてのソフトウェアを変更する必要があります。

答え2

クラスターはパフォーマンスの点では単一のマシンではないため、ファイルシステム/メモリの局所性がパフォーマンスにとって重要です。

アプリケーション レベルで処理を実行すると、汎用性は低くなりますが、リソース効率は高くなります。distcc を設定すると、qmake の例を大幅に高速化できます。

答え3

最後に、Sun Grid Engine を使用しました。

私はプライベート wiki に文書化して、ブログにコピー アンド ペーストしました。翻訳がなくても役に立つと思います。;)

ブログの記事 :http://suportrecerca.barcelonamedia.org/blog/?p=240

ウィキコードが必要な方は、ここで質問してください。

ありがとう。

答え4

これまで実装したことはないのですが、ベオウルフクラスターあなたがやろうとしていることには有効です。私は過去にこれについて多くのことを読んできましたが、より単純なプロセスでは、達成しようとしていることに応じて、再コーディングがほとんど必要ない場合があります。

関連情報