ESXI 호스트의 ghettoVCB를 사용하여 백업이 느린 이유를 추적하려고 노력해 왔습니다.
현재 호스트 OS에서 ghettoVCB를 사용하여 TrueNAS의 NFS 공유에 가상을 백업하고 있습니다.
ESXI 시스템의 게스트(Ubuntu 20.04)에서 NFS 공유로 파일을 복사할 때 약 257MB/s를 얻습니다. 이는 NAS와 ESXI 사이에 전용 2.5GB 채널이 있기 때문에 대략 맞는 수준입니다.
su@test:/mnt/guest$ time sh -c "dd if=/dev/zero of=test bs=1MB count=1024 && sync"
1024+0 records in
1024+0 records out
1024000000 bytes (1.0 GB, 977 MiB) copied, 3.98153 s, 257 MB/s
real 0m4.470s
user 0m0.002s
sys 0m0.619s
Guest NFS Mount Options:
rw, relatime, vers=4.2,
rsize=1048576, wsize=1048576,
namlen=255, hard, proto=tcp, timeo=600,
retrans=2, sec=sys, local_lock=none,
ESXI 호스트에서 동일한 NFS 공유로 복사하려고 하면 처리량이 훨씬 낮아져 약 45MB/s로 계산됩니다.
/vmfs/volumes/9043e582-0376fe3e] time sh -c "dd if=/dev/zero of=./test bs=1MB count=1024 && sync"
1024+0 records in
1024+0 records out
real 0m 22.70s
user 0m 0.00s
sys 0m 0.00s
ESXI NFS Mount Options
Cant seem to find a way to see the mount options ESXI uses?
제가 주목한 한 가지는 서버의 ZFS 데이터 공유에 대한 동기화를 끄면 ESXI 쓰기 속도가 146MB/s로 빨라졌다는 것입니다. 여전히 게스트 OS보다 훨씬 낮습니다.
내 가정은 ESXI가 매우 안전하고 모든 것이 100% 동기화되도록 보장한다는 것입니다. 이것이 사실인지 아는 사람이 있습니까? 백업 성능을 향상시키는 방법에 대한 팁이 있는 사람이 있습니까?
답변1
당신이 보는 것은 절대적으로 정상이며 있는 그대로 고칠 수 없습니다. VMware ESXi는 "설계상" VM 내부의 게스트 OS와 달리 디스크 캐시가 없습니다. 실제로 그렇습니다! 따라서 VM 내부에서 파일(그 자체가 불량 테스트이므로 더 정교한 벤치마크를 사용해야 함)을 복사하면 파이프라인 순차 읽기가 네트워크 자체보다 빠르지만 호스트 ESXi는 읽어야 하므로 네트워크가 포화 상태가 됩니다. mmap() 공유 저장소/네트워크 메모리 버퍼에 데이터(느리고 미리 읽기가 없음)를 저장하고, 상태 비저장 NFS 쓰기를 시작하고, 루프에서 디스크를 다시 읽습니다. WireShark를 실행하면 게스트 VM Tx 트래픽이 안정적이고 호스트 OS가 Tx에서 일종의 스파이크를 수행하는 것을 볼 수 있습니다.
해결 방법으로 강력한 온보드 메모리를 갖춘 캐싱 RAID 컨트롤러를 얻거나 두 번째 노드를 추가하고 클러스터를 구축하고 vSAN을 구성하는 것이 좋습니다(VMUG 가격은 vSphere+vSAN에 대해 매우 저렴합니다). VMware vSAN은 VMFS 아래의 해당 수준에서 로컬 디스크를 캐시하므로 2.5Gb가 다시 포화됩니다.
답변2
해결 방법으로 강력한 온보드 메모리를 갖춘 캐싱 RAID 컨트롤러를 얻거나 두 번째 노드를 추가하고 클러스터를 구축하고 vSAN을 구성하는 것이 좋습니다(VMUG 가격은 vSphere+vSAN에 대해 매우 저렴합니다). VMware vSAN은 VMFS 아래의 해당 수준에서 로컬 디스크를 캐시하므로 2.5Gb가 다시 포화됩니다.
그것은 가치 있는 선택입니다. 또는 블록 수준에서 작동하고 더 나은 성능을 제공하는 Starwind VSAN을 기대해 보세요. 시도해 보는 것이 타당할 수도 있는 mdamd raid를 지원합니다.