☰

InfiniBand 上の iSCSI TGTD パフォーマンス

tag-icon • tag-icon linux performance iscsi infiniband
InfiniBand 上の iSCSI TGTD パフォーマンス

仮想マシン、特にデータベース サーバーのバックエンド ストレージの帯域幅を増やすために、サーバー間 4x SDR InfiniBand リンクを構成しました。CentOS 6 で TGTD と iSCSI を使用しており、iperf でテストすると IPoIB を使用して約 6.45Gbps を達成できます。

iSCSI イニシエーターとターゲットを調整して、SSD への書き込み速度を約 260 MB/秒にまで引き上げることができました。ただし、ローカルでは約 500 ～ 600 MB/秒で書き込み可能なので、これはまだ最適な書き込み速度ではありません。

現在使用しているパラメータは次のとおりです。

  • 最大受信データセグメント長 4194304
  • 最大送信データセグメント長 524288
  • 最大バースト長 4194304
  • ファーストバースト長さ 262144
  • 最大未処理予期しないPDU数=0
  • 最大未払いR2T=1
  • 最大コマンド数=256
  • キュー深度=128

これを調整した経験のある方はいますか? 構成を変更することで、これ以上の帯域幅を実現できますか? 2 つのデバイスで RAID 0 を実行しても、同じ帯域幅しか実現できず、もっと高い帯域幅を期待していました。

答え1

得られた結果は、現在の設定で十分に期待できるものです。iserトランスポート モードを使用すると、パフォーマンスがさらに向上します。

設定のヒントREADME.iser

目標：

    ./tgtadm --lld iser --mode target \
             --op new --tid 1 --targetname "iqn.$(hostname).t1"
    ./tgtadm --lld iser --mode target \
             --op bind --tid 1 --initiator-address ALL
    ./tgtadm --lld iser --mode logicalunit \
             --op new --tid 1 --lun 1 \ --backing-store /dev/sde
             --bstype rdwr

イニシエータ：

    iscsiadm -m discovery -t sendtargets -p $targe
    iscsiadm -m node -p $targetip -T $targetname --op update \
        -n node.transport_name -v iser
    iscsiadm -m node -p $targetip -T $targetname --login

関連する役に立つSFの質問:シンプルな Infiniband ブロック ストレージ (SRP または iSER) をセットアップする。

関連情報