Umfeld:
- mehrere PROXMOX 5 (KVM) Server (Kernel: 4.15.18-30-pve)
- VMs mit Debian 9, 10 und 11 (vitrio /qemu-guest-agent aktuelle Version der jeweiligen Debian-Version)
- Netzwerkkarten, die über das Kernelmodul virtio_net verbunden sind
- Über eine Linux-Brücke verbundene VMs
- 1Gbit Netzwerk-Switche
Problem
- VMs übertragen meist nur mit ca. 5 Mbit/s
- zeitweise wird die volle Übertragungsrate von ca. 950Mbit/s erreicht, bei Tests in die Gegenrichtung sind es oft (nicht immer) nur 5 Mbit/s
- Übertragungsraten zwischen VMs auf einem Host sind ok, ca. 20Gbit/s (alte Server)
Tests
- Tests wurden über iperf3 durchgeführt
- Die Übertragungsrate zwischen KVM-Hosts ist ok, etwa 950 Mbit/s in beide Richtungen
- Ich habe die VMs zwischen den Hosts hin und her verschoben, ohne ein Muster für das Problem zu erkennen.
- Die Tests wurden mit verschiedenen VMs durchgeführt (Debian 9-11)
Testen Sie beide Richtungen von VM zu VM (perf3)
root@@HOST1:~# iperf3 -c @HOST2
Connecting to host @HOST2, port 5201
[ 5] local 192.168.40.121 port 59440 connected to 192.168.40.52 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 109 MBytes 918 Mbits/sec 22 352 KBytes
[ 5] 1.00-2.00 sec 107 MBytes 900 Mbits/sec 16 253 KBytes
[ 5] 2.00-3.00 sec 107 MBytes 898 Mbits/sec 2 390 KBytes
[ 5] 3.00-4.00 sec 108 MBytes 910 Mbits/sec 7 423 KBytes
[ 5] 4.00-5.00 sec 109 MBytes 913 Mbits/sec 3 419 KBytes
[ 5] 5.00-6.00 sec 93.3 MBytes 783 Mbits/sec 19 165 KBytes
[ 5] 6.00-7.00 sec 92.3 MBytes 775 Mbits/sec 3 375 KBytes
[ 5] 7.00-8.00 sec 107 MBytes 895 Mbits/sec 27 358 KBytes
[ 5] 8.00-9.00 sec 110 MBytes 920 Mbits/sec 9 322 KBytes
[ 5] 9.00-10.00 sec 109 MBytes 914 Mbits/sec 17 327 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 1.03 GBytes 883 Mbits/sec 125 sender
[ 5] 0.00-10.04 sec 1.02 GBytes 876 Mbits/sec receiver
iperf Done.
root@@HOST1:~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.40.52, port 35006
[ 5] local 192.168.40.121 port 5201 connected to 192.168.40.52 port 35008
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 598 KBytes 4.90 Mbits/sec
[ 5] 1.00-2.00 sec 699 KBytes 5.72 Mbits/sec
[ 5] 2.00-3.00 sec 1.38 MBytes 11.6 Mbits/sec
[ 5] 3.00-4.00 sec 871 KBytes 7.14 Mbits/sec
[ 5] 4.00-5.00 sec 1.36 MBytes 11.4 Mbits/sec
[ 5] 5.00-6.00 sec 1.43 MBytes 12.0 Mbits/sec
[ 5] 6.00-7.00 sec 1.23 MBytes 10.3 Mbits/sec
[ 5] 7.00-8.00 sec 592 KBytes 4.85 Mbits/sec
[ 5] 8.00-9.00 sec 1.20 MBytes 10.1 Mbits/sec
[ 5] 9.00-10.00 sec 1.35 MBytes 11.4 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.04 sec 10.6 MBytes 8.89 Mbits/sec receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Konfigurations-NIC
- Serverseitig 1 Gbit/s Vollduplex (getestet mit ethtool)
- Intel-Adapter
Hat jemand eine Idee, wie ich das Problem weiter eingrenzen oder überhaupt herausfinden kann?
Antwort1
Mit dem Upgrade auf Version 6 wurde das Problem behoben.