У меня есть 4 коробки CentOS 7 с сетевыми картами SuperMico 10000BaseT, подключенными к коммутатору Netgear ProSafe XS712T с помощью кабелей Cat8. Все настройки коммутатора установлены по умолчанию, но сетевые карты показывают скорость 10G Full. Сетевые карты настроены следующим образом:
[root@VH11 ~]# ethtool ens1f0
Settings for ens1f0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
К коммутатору подключены ТОЛЬКО сетевые карты 10G.
Я могу получить скорость передачи только менее 1G при передаче файлов, как сообщают rsync, scp и iftop при передаче 1 файла размером 20G. Когда я тестирую с сервера > коммутатора > сервера с помощью iperf, он сообщает мне, что получает 9,38 Гбит/с, но я получаю только 10% от этого при передаче файлов с помощью rsync или scp.
Что я здесь делаю не так?
Спасибо заранее за ваше время.
Добавлена информация: Для сегмента сети 1 ГБ:
[root@VH14 ~]# time scp bigfile [email protected]:/home
[email protected]'s password:
bigfile 100% 4494MB 110.1MB/s 00:40
real 0m46.657s
user 0m18.975s
sys 0m4.646s
Для сегмента сети 10 ГБ:
[root@VH14 ~]# time scp bigfile [email protected]:/home/bf3
[email protected]'s password:
bigfile 100% 4494MB 112.3MB/s 00:40
real 0m45.693s
user 0m34.643s
sys 0m8.440s
172. и 10. находятся на разных коммутаторах. У коммутатора 10G нет восходящего канала, и он взаимодействует только с серверами. Поэтому, хотя iperf говорит, что я получаю около 10G, результаты передачи по сути одинаковы в обеих подсетях.
Я не думаю, что проблема в дисковом вводе-выводе:
[root@VH14 ~]# hdparm -t /dev/md126 /dev/md126: Timing buffered disk reads: 4150 MB in 3.00 seconds = 1382.80 MB/sec [root@VH14 ~]# hdparm -T /dev/md126 /dev/md126: Timing cached reads: 19798 MB in 1.99 seconds = 9945.27 MB/sec
Дополнительная информация: MTU на сетевых картах 10G составляет 9124. Процессоры: Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHz