Среда:
- несколько серверов PROXMOX 5 (KVM) (ядро: 4.15.18-30-pve)
- Виртуальные машины под управлением Debian 9, 10 и 11 (текущая версия vitrio /qemu-guest-agent соответствующей версии Debian)
- сетевые карты, подключенные через модуль ядра virtio_net
- Виртуальные машины, подключенные через мост Linux
- Сетевые коммутаторы 1 Гбит
Проблема
- ВМ в основном передают данные со скоростью около 5 Мбит/с
- иногда достигается полная скорость передачи около 950 Мбит/с, при тестировании в обратном направлении она часто (но не всегда) составляет всего 5 Мбит/с
- Скорость передачи данных между виртуальными машинами на одном хосте составляет около 20 Гбит/с (старые серверы)
Тесты
- тесты проводились через iperf3
- скорость передачи данных между хостами KVM приемлемая, около 950 Мбит/с в обоих направлениях
- Я перемещал виртуальные машины между хостами, но не обнаружил закономерности в возникновении проблемы.
- Тесты проводились на разных виртуальных машинах (Debian 9-11).
Тест в обоих направлениях vm-vm (perf3)
root@@HOST1:~# iperf3 -c @HOST2
Connecting to host @HOST2, port 5201
[ 5] local 192.168.40.121 port 59440 connected to 192.168.40.52 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 109 MBytes 918 Mbits/sec 22 352 KBytes
[ 5] 1.00-2.00 sec 107 MBytes 900 Mbits/sec 16 253 KBytes
[ 5] 2.00-3.00 sec 107 MBytes 898 Mbits/sec 2 390 KBytes
[ 5] 3.00-4.00 sec 108 MBytes 910 Mbits/sec 7 423 KBytes
[ 5] 4.00-5.00 sec 109 MBytes 913 Mbits/sec 3 419 KBytes
[ 5] 5.00-6.00 sec 93.3 MBytes 783 Mbits/sec 19 165 KBytes
[ 5] 6.00-7.00 sec 92.3 MBytes 775 Mbits/sec 3 375 KBytes
[ 5] 7.00-8.00 sec 107 MBytes 895 Mbits/sec 27 358 KBytes
[ 5] 8.00-9.00 sec 110 MBytes 920 Mbits/sec 9 322 KBytes
[ 5] 9.00-10.00 sec 109 MBytes 914 Mbits/sec 17 327 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 1.03 GBytes 883 Mbits/sec 125 sender
[ 5] 0.00-10.04 sec 1.02 GBytes 876 Mbits/sec receiver
iperf Done.
root@@HOST1:~# iperf3 -s
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Accepted connection from 192.168.40.52, port 35006
[ 5] local 192.168.40.121 port 5201 connected to 192.168.40.52 port 35008
[ ID] Interval Transfer Bitrate
[ 5] 0.00-1.00 sec 598 KBytes 4.90 Mbits/sec
[ 5] 1.00-2.00 sec 699 KBytes 5.72 Mbits/sec
[ 5] 2.00-3.00 sec 1.38 MBytes 11.6 Mbits/sec
[ 5] 3.00-4.00 sec 871 KBytes 7.14 Mbits/sec
[ 5] 4.00-5.00 sec 1.36 MBytes 11.4 Mbits/sec
[ 5] 5.00-6.00 sec 1.43 MBytes 12.0 Mbits/sec
[ 5] 6.00-7.00 sec 1.23 MBytes 10.3 Mbits/sec
[ 5] 7.00-8.00 sec 592 KBytes 4.85 Mbits/sec
[ 5] 8.00-9.00 sec 1.20 MBytes 10.1 Mbits/sec
[ 5] 9.00-10.00 sec 1.35 MBytes 11.4 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.04 sec 10.6 MBytes 8.89 Mbits/sec receiver
-----------------------------------------------------------
Server listening on 5201
-----------------------------------------------------------
Конфигурация сетевого адаптера
- серверная часть 1 Гбит/с полный дуплекс (протестировано с помощью ethtool)
- адаптер Intel
Есть ли у кого-нибудь идеи, как еще лучше изолировать проблему или хотя бы узнать о ней?
решение1
С обновлением до версии 6 проблема была решена.