☰

Mellanox ConnectX-7 - 無法獲得超過 250 Gbit/s

tag-icon • tag-icon performance infiniband
Mellanox ConnectX-7 - 無法獲得超過 250 Gbit/s

我有幾台帶有 ConnectX-7 Infiniband 卡的機器，它們已插入 Nvidia QM9700 交換器。我已確認兩端均為 400 Gbit NDR（主機上的 ibstat 和交換器控制台中）。這些機器運行 Ubuntu 22.04 和 Mellanox 5.8-3.0.7.0 驅動程式。我已經做了很多測試ib_write_bw，我能得到的最大速度是 ~251 Gbit/s。實際測試指令為：

伺服器端（host_a）：

numactl -N 0 -m 0 ib_write_bw -d mlx5_4 -F --report_gbits

客戶端（host_b）：

numactl -N 0 -m 0 ib_write_bw -d mlx5_4 -F --report_gbits --run_infinitely host_b

這些卡位於正確的 numa 域中以匹配 numactl，但我嘗試過其他組合，但沒有成功。輸出最終看起來像這樣：

---------------------------------------------------------------------------------------
                    RDMA_Write BW Test
 Dual-port       : OFF          Device         : mlx5_4
 Number of qps   : 1            Transport type : IB
 Connection type : RC           Using SRQ      : OFF
 PCIe relax order: ON
 ibv_wr* API     : ON
 TX depth        : 128
 CQ Moderation   : 1
 Mtu             : 4096[B]
 Link type       : IB
 Max inline data : 0[B]
 rdma_cm QPs     : OFF
 Data ex. method : Ethernet
---------------------------------------------------------------------------------------
 local address: LID 0x54 QPN 0x0058 PSN xxx RKey 0x1820e0 VAddr xxx
 remote address: LID 0x53 QPN 0x0058 PSN xxx RKey 0x1820e0 VAddr xxx
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[Gb/sec]    BW average[Gb/sec]   MsgRate[Mpps]
 65536      2353827          0.00               246.81             0.470754
 65536      2339084          0.00               245.27             0.467815
 65536      2338736          0.00               245.23             0.467746
 65536      2338574          0.00               245.22             0.467713
 65536      2338610          0.00               245.22             0.467720

我知道這可能不太可能，但想知道是否有人實際上已經在 infiniband 上實現了 400 GB，ib_write_bw這可能知道我們錯過了什麼。

答案1

因此，最終的答案是我們需要將 PCI 參數設定MAX_ACC_OUT_READ為 128 mlxconfig -y -d mlx5_4 s MAX_ACC_OUT_READ=128。不是400，但我會接受。做每張卡：

apt-get install mlnx-ofed-all
mst start
for i in `mst status -v | grep 'net-ibp' | awk '{print $3}'` ; do mlxconfig -y -d $i s MAX_ACC_OUT_READ=128  ; done

相關內容