HPC クラスターに共有ファイルを提供する中央ストレージ サーバー (PowerEdge R720) があり、2 つのハードウェア RAID コントローラー (それぞれ 7200rpm 4TB ディスクを搭載した 2 つの MD1200 エンクロージャーを駆動する PERC H810) が接続されています。一般的な HPC ワークロードと同様に、アクセス パターンは、高度に並列化されたシーケンシャル読み取り/書き込みになることが予想されます。2 つのアレイにファイルをストライピングすると、全体のスループットが向上すると思いますが、ハードウェア RAID の上にソフトウェア RAID 0 を配置するというアイデアは、私には奇妙に思えます。
私は2つの選択肢を思いつきました:
- ソフトウェア RAID 0 上の XFS 上の NFS、ハードウェア RAID 6 上の NFS
- 各ハードウェアRAID 6の光沢
XFS の利点: プロジェクト クォータ。
XFS の短所: XFS 上の NFS はメタデータのパフォーマンスが非常に悪かった (スループットが大きいとほとんど使用できないほど低下します。チューニングが間違っていたのでしょうか?)。
lustre の利点: メタデータのパフォーマンスが大幅に向上します。
lustre の短所(?): 専用のメタデータ デバイスがないため、配列をパーティション分割する必要があります。推奨される方法ではないようです。
シーケンシャル R/W が主なワークロードである一方、約 40,000 個の 1 GB ファイルを扱うプログラムもいくつかあるため、メタデータのパフォーマンスを考慮しました。これらのファイルをインタラクティブに管理するには、許容できるメタデータ パフォーマンスが必要です。
最後に質問ですが、ハードウェアとソフトウェアで使用するストライプ サイズはどれでしょうか?
答え1
私たちはこの設定に落ち着きました:
- 各 MD1200 エンクロージャのハードウェア RAID-6
- 4 つのハードウェア アレイ上の 2 つの LVM LV。それぞれが 2 つのカード上の 2 つのアレイをストライピングなしで組み合わせます。
- 2つのLV上のXFS、ストライピングオプションはベアハードウェアアレイと同じ
- 2つのレンガの上に縞模様のない光沢のあるボリューム
弊社のユーザーのすべてのアプリケーションを調査したところ、すべてが多数のファイルで動作していることがわかりました。したがって、多数のクライアントが 1 つの大きなファイルにアクセスする状況ではなく、Gluster レベルのストライピングが望まれる状況ではなく、ファイルをブリックにランダムに分散するだけで、十分な合計スループットを提供できます。
このセットアップのメタデータ パフォーマンスは Lustre よりも劣りますが (約半分)、スループットが大きい場合でも低下しません。許容範囲内であることがわかりました。
Gluster はディレクトリにクォータを設定します。また、セットアップが Lustre よりもはるかに簡単なので、管理作業は Lustre よりも大幅に少なくて済みます。私の (大まかな) テストでは、このセットアップのシーケンシャル スループットは Lustre と同等でした。そのため、メタデータ パフォーマンスの部分を、管理の容易さと引き換えにすることにしました。