PCI NVMe mdadm RAID1 성능이 너무 느림

PCI NVMe mdadm RAID1 성능이 너무 느림

이 문제가 여러 번 논의되었다는 것을 알고 있지만 지금까지 효과가 있는 해결책을 찾지 못했기 때문에 2021년 12월에 몇 가지 해결책이 있기를 바라며 여기에 게시했습니다.

듀얼 Xeon Gold 프로세서와 384GB RAM을 갖춘 Dell R640 서버가 있습니다. 섀시는 sata/sas 드라이브만 있고(u.2를 지원하지 않음) u.2를 지원하는 새 서버를 위한 예산이 없습니다.

참고 - 내 사용 사례는 NVMe 속도를 활용하기 위해 VM에 스토리지를 제공하는 것입니다.

그래서 우리는 PCI 카드인 Dell SSD NVMe M.2 PCI-e 2x 솔리드 스테이트 스토리지 어댑터 카드 23PX6 NTRCY를 선택했습니다. 2개의 NVME 드라이브를 지원하고 분기를 통해 두 드라이브 모두 x4 PCI 레인으로 연결됩니다.

두 개의 Kingston 2TB nvme 드라이브가 있고 mdadm 기반 RAID1을 만들었습니다.

단일 nvme SSD의 쓰기 성능은 1800MBps입니다. 그러나 RAID1의 쓰기 속도는 500MBps입니다.

Bitmap= Internal이 문제가 될 수 있다는 것을 발견하고 적용했습니다.

mdadm <dev> --grow --bitmap=none

이후에도 성능은 거의 동일합니다.

내가 시도할 수 있는 다른 제안이 있나요?


그래서 무슨 일이 일어났는지 잘 모르겠습니다. 오늘 다시 속도 테스트를 실행했을 때 속도는 예상 범위 내에 있었습니다. -- 읽기 1039MBps, 쓰기 1352MBps(이 호스트의 VM에서 crystaldiskmark 사용)

           mdadm --detail /dev/md0
/dev/md0:
           Version : 1.2
     Creation Time : Sun Nov 28 19:08:22 2021
        Raid Level : raid1
        Array Size : 1953381440 (1862.89 GiB 2000.26 GB)
     Used Dev Size : 1953381440 (1862.89 GiB 2000.26 GB)
      Raid Devices : 2
     Total Devices : 2
       Persistence : Superblock is persistent

     Intent Bitmap : Internal

       Update Time : Thu Dec  2 10:33:50 2021
             State : clean
    Active Devices : 2
   Working Devices : 2
    Failed Devices : 0
     Spare Devices : 0

Consistency Policy : bitmap

              Name : server1:0  (local to host server1)
              UUID : 69bab65f:9daa6546:687fc567:bd50164a
            Events : 26478

    Number   Major   Minor   RaidDevice State
       0     259        2        0      active sync   /dev/nvme0n1p1
       1     259        3        1      active sync   /dev/nvme1n1p1

관련 정보