環境:
- 複数の PROXMOX 5 (KVM) サーバー (カーネル: 4.15.18-30-pve)
- Debian 9、10、11 を実行している VM (vitrio /qemu-guest-agent はそれぞれの Debian バージョンの現在のバージョン)
- virtio_net カーネルモジュール経由で接続されたネットワークカード
- Linux ブリッジ経由で接続された VM
- 1Gbit ネットワークスイッチ
問題
- VMは主に5Mbit/s程度で転送します
- 時には約950Mbit/sのフル転送速度に達することもありますが、反対方向でテストすると、多くの場合(常にではありませんが)5Mbit/sに過ぎません。
- 1 つのホスト上の VM 間の転送速度は 20Gbit/s 程度で問題ありません (古いサーバー)
テスト
- テストはiperf3経由で行われた
- KVMホスト間の転送速度は良好で、両方向とも約950Mbit/sです。
- 問題のパターンがわからないまま、ホスト間で VM を移動しました。
- テストはさまざまなVM(Debian 9-11)で実行されました。
両方向の VM から VM へのテスト (perf3)
root@@HOST1:~# iperf3 -c @HOST2
Connecting to host @HOST2, port 5201
[ 5] local 192.168.40.121 port 59440 connected to 192.168.40.52 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 109 MBytes 918 Mbits/sec 22 352 KBytes
[ 5] 1.00-2.00 sec 107 MBytes 900 Mbits/sec 16 253 KBytes
[ 5] 2.00-3.00 sec 107 MBytes 898 Mbits/sec 2 390 KBytes
[ 5] 3.00-4.00 sec 108 MBytes 910 Mbits/sec 7 423 KBytes
[ 5] 4.00-5.00 sec 109 MBytes 913 Mbits/sec 3 419 KBytes
[ 5] 5.00-6.00 sec 93.3 MBytes 783 Mbits/sec 19 165 KBytes
[ 5] 6.00-7.00 sec 92.3 MBytes 775 Mbits/sec 3 375 KBytes
[ 5] 7.00-8.00 sec 107 MBytes 895 Mbits/sec 27 358 KBytes
[ 5] 8.00-9.00 sec 110 MBytes 920 Mbits/sec 9 322 KBytes
[ 5] 9.00-10.00 sec 109 MBytes 914 Mbits/sec 17 327 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 1.03 GBytes 883 Mbits/sec 125 sender
[ 5] 0.00-10.04 sec 1.02 GBytes 876 Mbits/sec receiver
iperf Done.
root@@HOST1:~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.40.52, port 35006
[ 5] local 192.168.40.121 port 5201 connected to 192.168.40.52 port 35008
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 598 KBytes 4.90 Mbits/sec
[ 5] 1.00-2.00 sec 699 KBytes 5.72 Mbits/sec
[ 5] 2.00-3.00 sec 1.38 MBytes 11.6 Mbits/sec
[ 5] 3.00-4.00 sec 871 KBytes 7.14 Mbits/sec
[ 5] 4.00-5.00 sec 1.36 MBytes 11.4 Mbits/sec
[ 5] 5.00-6.00 sec 1.43 MBytes 12.0 Mbits/sec
[ 5] 6.00-7.00 sec 1.23 MBytes 10.3 Mbits/sec
[ 5] 7.00-8.00 sec 592 KBytes 4.85 Mbits/sec
[ 5] 8.00-9.00 sec 1.20 MBytes 10.1 Mbits/sec
[ 5] 9.00-10.00 sec 1.35 MBytes 11.4 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.04 sec 10.6 MBytes 8.89 Mbits/sec receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
構成NIC
- サーバー側 1Gbit/s 全二重 (ethtool でテスト済み)
- Intel アダプタ
問題をさらに切り分けたり、問題を知る方法について、何かアイデアをお持ちの方はいらっしゃいますか。
答え1
バージョン 6 にアップグレードすると問題は解決しました。