☰

基於 InfiniBand 性能的 iSCSI TGTD

tag-icon • tag-icon linux performance iscsi infiniband
基於 InfiniBand 性能的 iSCSI TGTD

我剛剛配置了伺服器到伺服器 4x SDR InfiniBand 鏈路，以增加虛擬機器後端儲存（特別是資料庫伺服器）的頻寬。我在 CentOS 6 上使用帶有 TGTD 的 iSCSI，在使用 iperf 進行測試時，使用 IPoIB 能夠達到大約 6.45Gbps。

我已成功調整 iSCSI 啟動器和目標，使 SSD 寫入速度達到約 260MB/s。然而，這仍然不是最佳寫入速度，因為我可以在本地以大約 500-600MB/s 的速度寫入。

我目前使用的參數是：

  • 最大接收資料段長度 4194304
  • 最大Xmit資料段長度524288
  • 最大突發長度 4194304
  • 第一突發長度 262144
  • 最大未完成意外 PDU=0
  • 最大傑出R2T=1
  • 最大命令數=256
  • 隊列深度=128

有沒有人有調整這個的經驗？透過配置更改是否有可能獲得比此更高的值？即使在兩個裝置上進行 RAID 0，我仍然只能實現相同的頻寬，而我本來期望的頻寬會更高。

答案1

使用當前設置，您得到的結果是可以合理預期的。您可以透過iser傳輸模式獲得額外的效能增益。

設定提示來自自述文件

目標：

    ./tgtadm --lld iser --mode target \
             --op new --tid 1 --targetname "iqn.$(hostname).t1"
    ./tgtadm --lld iser --mode target \
             --op bind --tid 1 --initiator-address ALL
    ./tgtadm --lld iser --mode logicalunit \
             --op new --tid 1 --lun 1 \ --backing-store /dev/sde
             --bstype rdwr

發起人：

    iscsiadm -m discovery -t sendtargets -p $targe
    iscsiadm -m node -p $targetip -T $targetname --op update \
        -n node.transport_name -v iser
    iscsiadm -m node -p $targetip -T $targetname --login

相關有用的 SF 問題：設定簡單的 Infiniband 區塊儲存（SRP 或 iSER）。

相關內容