Cat8 케이블이 있는 Netgear ProSafe XS712T 스위치에 SuperMico 10000BaseT NIC가 연결된 4개의 CentOS 7 상자가 있습니다. 스위치는 모두 기본 설정이지만 NIC는 10G Full로 표시됩니다. NIC는 다음과 같이 구성됩니다.
[root@VH11 ~]# ethtool ens1f0
Settings for ens1f0:
Supported ports: [ TP ]
Supported link modes: 100baseT/Full
1000baseT/Full
10000baseT/Full
Supported pause frame use: Symmetric
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: Symmetric
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: Twisted Pair
PHYAD: 0
Transceiver: internal
Auto-negotiation: on
MDI-X: Unknown
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
스위치에는 10G NIC만 연결되어 있습니다.
1개의 20G 파일을 전송할 때 rsync, scp 및 iftop에서 보고한 대로 파일 전송에서 1G 미만의 전송 속도만 얻을 수 있습니다. iperf를 사용하여 서버 > 스위치 > 서버에서 테스트할 때 9.38Gbits/sec를 얻는다고 알려 주지만 rsync 또는 scp를 사용한 파일 전송에서는 그 중 10%만 얻습니다.
내가 여기서 뭘 잘못하고 있는 걸까?
시간을 내주셔서 미리 감사드립니다.
추가된 정보: 1GB 네트워크 세그먼트의 경우:
[root@VH14 ~]# time scp bigfile [email protected]:/home
[email protected]'s password:
bigfile 100% 4494MB 110.1MB/s 00:40
real 0m46.657s
user 0m18.975s
sys 0m4.646s
10GB 네트워크 세그먼트의 경우:
[root@VH14 ~]# time scp bigfile [email protected]:/home/bf3
[email protected]'s password:
bigfile 100% 4494MB 112.3MB/s 00:40
real 0m45.693s
user 0m34.643s
sys 0m8.440s
172.와 10.은 서로 다른 스위치에 있습니다. 10G 스위치에는 업링크가 없으며 서버와만 통신합니다. 따라서 iperf에서는 약 10G를 얻을 수 있다고 말하지만 전송 결과는 기본적으로 두 서브넷 모두에서 동일합니다.
나는 디스크 I/O가 내 문제라고 생각하지 않습니다.
[root@VH14 ~]# hdparm -t /dev/md126 /dev/md126: Timing buffered disk reads: 4150 MB in 3.00 seconds = 1382.80 MB/sec [root@VH14 ~]# hdparm -T /dev/md126 /dev/md126: Timing cached reads: 19798 MB in 1.99 seconds = 9945.27 MB/sec
추가 정보: 10G NIC의 MTU는 9124입니다. CPU는 Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHz입니다.