Ich habe 4 CentOS 7-Boxen mit SuperMico 10000BaseT-NICs, die mit Cat8-Kabeln an einen Netgear ProSafe XS712T-Switch angeschlossen sind. Der Switch hat alle Standardeinstellungen, zeigt aber NICs mit 10G Full an. Die NICs sind wie folgt konfiguriert:
[root@VH11 ~]# ethtool ens1f0
Settings for ens1f0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
An den Switch sind NUR 10G-NICs angeschlossen.
Ich kann bei Dateiübertragungen nur Übertragungsgeschwindigkeiten von weniger als 1 G erreichen, wie von rsync, scp und iftop beim Übertragen einer 20-G-Datei gemeldet. Wenn ich mit iperf von Server > Switch > Server teste, wird mir angezeigt, dass 9,38 Gbit/s erreicht werden, aber bei Dateiübertragungen mit rsync oder scp erreiche ich nur 10 % davon.
Was mache ich hier falsch?
Vielen Dank im Voraus für Ihre Zeit.
Zusätzliche Informationen: Für 1 GB Netzwerksegment:
[root@VH14 ~]# time scp bigfile [email protected]:/home
[email protected]'s password:
bigfile 100% 4494MB 110.1MB/s 00:40
real 0m46.657s
user 0m18.975s
sys 0m4.646s
Für 10 GB Netzwerksegment:
[root@VH14 ~]# time scp bigfile [email protected]:/home/bf3
[email protected]'s password:
bigfile 100% 4494MB 112.3MB/s 00:40
real 0m45.693s
user 0m34.643s
sys 0m8.440s
Die 172. und 10. befinden sich auf unterschiedlichen Switches. Der 10G-Switch hat keinen Uplink und kommuniziert nur mit Servern. Obwohl iperf also sagt, dass ich etwa 10G bekomme, sind die Übertragungsergebnisse in beiden Subnetzen im Wesentlichen gleich.
Ich glaube nicht, dass der Festplatten-E/A mein Problem ist:
[root@VH14 ~]# hdparm -t /dev/md126 /dev/md126: Timing buffered disk reads: 4150 MB in 3.00 seconds = 1382.80 MB/sec [root@VH14 ~]# hdparm -T /dev/md126 /dev/md126: Timing cached reads: 19798 MB in 1.99 seconds = 9945.27 MB/sec
Weitere Informationen: Die MTU auf den 10G-NICs beträgt 9124. CPUs sind Intel(R) Xeon(R) CPU E5-2690 v4 @ 2,60 GHz