私は、1G ポートで動作できる約 16 個のノードを持つホーム クラスターを構築していますが、ファイル サーバーと中央ノードには 10GE が必要です。すべてローカルなので、3 ～ 5 m を超えるケーブルは必要ありません。もちろん、できるだけ費用をかけないようにしたいです (クラスター全体のコスト以上はかけません) :-)
どのような選択肢がありますか?
- 従来のソリューションは、24～48 ポートの 1GE スイッチをいくつか用意し、4～8 個の集約リンクを介してファイル/中央ノードに接続することです。これはうまくいくと思います。コストも許容範囲内ですが、集約リンクをそれほど多く使用しても問題ないかどうかはわかりません。そしてもちろん、必要なときに帯域幅を 2 倍にするのは困難です... :-D
- 複数の 10GE アップリンク「ポート」を備えたスイッチ。私が見る限り、これらすべてに約 1,000 ドルのモジュールが必要なので、4 つの 10G モジュールと 2 つの 10GE カードが必要になります... 5,000 ドル以上かかるようです...
- ファイルと中央ノードを 2 枚の 10G カードで直接接続し、ファイルサーバーに 4 つのクアッドポート 1GE NIC を配置します。2 つの 10G モジュールとスイッチを節約できます。ファイルサーバーはパケット ルーティングを行う必要がありますが、それでも CPU は多く残ります :-)
- 他に選択肢はありますか? Infiniband?
- MyriNet アダプターは問題なく動作しますか? もっと安いオプションはないのでしょうか?
- うーん... ファイルサーバーを廃止し、すべてを中央ノードに配置して、各ノードに専用の 1GE ポートを提供します... これは悲しいことです...
答え1
ここで全体像が見えていないとは思いません。
ファイル サーバーを 10Gbps の速度で接続したいとお考えですが、これは魅力的なアイデアのように思われるかもしれません。しかし、そのサーバーがディスクからその量のトラフィックを読み取り生成できるかどうかはわかりません。ファイル サーバーから 1GBps を取得することは、今日では非常に優れた成果です。10Gbps は、ご自身もお気づきのように高価であるだけでなく、少なくとも 90% は無駄になります。
大量の IO を提供する必要がある場合、最善の選択肢は、ファイル サーバーに超高速ディスクをいくつか導入することです。これを実現する「手頃な」(引用符に注意) 方法は、高速 RAID 構成 (つまり RAID10) の SSD ドライブだと私は強く信じています。
ネットワークに関しては、4x1Gbps のアグリゲートで十分であり、後でさらに追加することもできます。内部バス (PCI* を参照) が常にマルチギガビットの速度を処理できるわけではないことに注意してください。これは、サーバーグレードのマザーボードを使用していない場合に特に当てはまります。
これがここでの唯一の「手頃な」オプションだと思います。Infiniband カードはそれほど高価ではありません。150 ドル程度で手に入るものもあると思いますが、スイッチは非常に高価になります。
答え2
高価なレイヤー 3 スイッチを節約したい場合は、ATA over Ethernet を検討してください。これは、私が現在知っている他のどのファイルシステムよりも低コストで高性能なソリューションを選択するためのプロトコルです。ただし、10Gb の標準スイッチ (L3 スイッチングなし) はありません。
POCとして検討: Ubuntuサーバー10.xとAOEツールプロジェクト http://sourceforge.net/projects/aoetools/files