Tenho 4 caixas CentOS 7 com NICs SuperMico 10000BaseT conectadas a um switch Netgear ProSafe XS712T com cabos Cat8. Switch tem todas as configurações padrão, mas mostra NICs em 10G Full. As NICs estão configuradas:
[root@VH11 ~]# ethtool ens1f0
Settings for ens1f0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
Existem APENAS NICs 10G conectadas ao switch.
Só consigo velocidades de transferência inferiores a 1G em transferências de arquivos, conforme relatado por rsync, scp e iftop ao transferir 1 arquivo de 20G. Quando testo em servidor> switch> servidor com iperf, ele me diz que obtém 9,38 Gbits/seg, mas só consigo 10% disso em transferências de arquivos com rsync ou scp.
O que estou fazendo de errado aqui?
Agradeço antecipadamente pelo seu tempo.
Informações adicionadas: Para segmento de rede de 1 GB:
[root@VH14 ~]# time scp bigfile [email protected]:/home
[email protected]'s password:
bigfile 100% 4494MB 110.1MB/s 00:40
real 0m46.657s
user 0m18.975s
sys 0m4.646s
Para segmento de rede de 10 GB:
[root@VH14 ~]# time scp bigfile [email protected]:/home/bf3
[email protected]'s password:
bigfile 100% 4494MB 112.3MB/s 00:40
real 0m45.693s
user 0m34.643s
sys 0m8.440s
O 172. e o 10. estão em interruptores diferentes. O switch 10G não possui uplink e se comunica apenas com servidores. Portanto, embora o iperf diga que recebo cerca de 10G, os resultados da transferência são essencialmente os mesmos em ambas as sub-redes.
Não acho que a E/S de disco seja meu problema:
[root@VH14 ~]# hdparm -t /dev/md126 /dev/md126: Timing buffered disk reads: 4150 MB in 3.00 seconds = 1382.80 MB/sec [root@VH14 ~]# hdparm -T /dev/md126 /dev/md126: Timing cached reads: 19798 MB in 1.99 seconds = 9945.27 MB/sec
Mais informações: MTU nas NICs 10G é 9124. As CPUs são Intel(R) Xeon(R) CPU E5-2690 v4 @ 2,60GHz