如何加快 24x 16TB 硬碟 draid2 陣列上的 zfs resilver 速度:“總共 117T... 47 天 02:31:23 結束”

如何加快 24x 16TB 硬碟 draid2 陣列上的 zfs resilver 速度:“總共 117T... 47 天 02:31:23 結束”

(我對多次編輯以澄清格式表示歉意)

如上。驅動器沒有顯示 SMART 錯誤。

有沒有辦法檢查 HBA <--> 驅動器通訊錯誤?

它在 Supermicro 平台上的 Ubuntu 22.04 下運行,配備 AMD 64 核心 Threadripper Pro CPU、256GB ECC RAM、LSI HBA 和 24 個 16TB Seagate X18 硬碟。電源透過 OneAC 隔離變壓器進行過濾。

這是zpool status輸出:

  pool: lake_24x16TB  
 state: ONLINE  
status: One or more devices is currently being resilvered.  The pool will  
    continue to function, possibly in a degraded state.  
action: Wait for the resilver to complete.  
  scan: resilver in progress since Thu Sep  7 19:06:13 2023  
    4.21T scanned at 135M/s, 959G issued at 30.0M/s, 117T total  
    177G resilvered, 0.80% done, 46 days 22:15:51 to go  
config:  
  
NAME                                     STATE     READ WRITE CKSUM  
lake_24x16TB                             ONLINE       0     0     0  
  draid2:21d:24c:1s-0                    ONLINE       0     0     0  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM001G-2KK103_ZL______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    spare-20                             ONLINE       0     0     0  
      ata-ST16000NM000J-2TW103_ZR______  ONLINE       0     0     0  (resilvering)  
      draid2-0-0                         ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
    ata-ST16000NM000J-2TW103_ZR______    ONLINE       0     0     0  (resilvering)  
spares  
  draid2-0-0                             INUSE     currently in use  

errors: No known data errors 

這是輸出的第一遍iostat -x -k 1

Linux 6.2.0-32-generic (Kaala)  09/09/2023  _x86_64_    (128 CPU)    
  
avg-cpu:  %user   %nice %system %iowait  %steal   %idle  
           0.11    0.00    3.10   16.29    0.00   80.49  
  
Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util  
loop0            0.00      0.00     0.00   0.00    0.00     1.21    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop1            0.01      0.03     0.00   0.00    0.02     2.90    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop10           0.04      0.12     0.00   0.00    0.02     2.91    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop11           0.05      0.53     0.00   0.00    0.06    11.01    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop12           0.01      0.03     0.00   0.00    0.02     2.59    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop13           0.00      0.01     0.00   0.00    0.10     4.80    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop14           0.00      0.01     0.00   0.00    0.18     7.22    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop15           0.02      0.67     0.00   0.00    0.25    36.36    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop16           0.00      0.00     0.00   0.00    0.05     2.70    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop17           0.00      0.01     0.00   0.00    0.12     9.81    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop18           0.00      0.00     0.00   0.00    0.00     1.27    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop2            0.01      0.03     0.00   0.00    0.02     2.88    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop3            0.01      0.06     0.00   0.00    0.03     4.35    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop4            0.02      0.17     0.00   0.00    0.15     8.17    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop5            0.00      0.03     0.00   0.00    0.10    16.14    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop6            0.00      0.03     0.00   0.00    0.14    15.12    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop7            0.02      0.07     0.00   0.00    0.02     3.91    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop8            0.02      0.07     0.00   0.00    0.02     3.89    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
loop9            0.02      0.08     0.00   0.00    0.03     3.78    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00    0.00    0.00   0.00  
nvme0n1          1.95     61.41     0.53  21.39    0.16    31.42    3.71     55.30     3.15  45.95    1.64    14.91    0.00      0.00     0.00   0.00    0.00     0.00    0.24    0.90    0.01   0.34  
sda            657.15  17662.73     0.00   0.00    2.46    26.88  674.99   7473.83    15.98   2.31    0.59    11.07    0.00      0.00     0.00   0.00    0.00     0.00    0.18   61.75    2.02  80.00  
sdb            654.70  17626.14     0.00   0.00    2.47    26.92  673.86   7469.65    16.29   2.36    0.59    11.08    0.00      0.00     0.00   0.00    0.00     0.00    0.18   60.57    2.02  80.01  
sdc            657.38  17589.65     0.00   0.00    2.64    26.76  671.59   7476.97    15.74   2.29    0.60    11.13    0.00      0.00     0.00   0.00    0.00     0.00    0.18   66.51    2.15  80.11  
sdd            659.12  17616.74     0.00   0.00    2.50    26.73  670.35   7474.24    15.95   2.32    0.60    11.15    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.60    2.06  79.98  
sde            651.63  17480.21     0.00   0.00    2.34    26.83  554.62   7472.05    16.00   2.80    0.94    13.47    0.00      0.00     0.00   0.00    0.00     0.00    0.18   65.38    2.06  79.99  
sdf            625.72  16634.25     0.00   0.00    1.83    26.58  671.25   7719.82    15.92   2.32    0.61    11.50    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.77    1.57  77.70  
sdg            653.95  17600.39     0.00   0.00    2.61    26.91  666.46   7468.19    15.91   2.33    0.61    11.21    0.00      0.00     0.00   0.00    0.00     0.00    0.18   64.79    2.13  80.09  
sdh            655.76  17574.57     0.00   0.00    2.69    26.80  670.95   7467.93    15.91   2.32    0.60    11.13    0.00      0.00     0.00   0.00    0.00     0.00    0.18   67.54    2.18  80.10  
sdi            655.44  17568.31     0.00   0.00    2.45    26.80  671.10   7471.13    15.91   2.32    0.60    11.13    0.00      0.00     0.00   0.00    0.00     0.00    0.18   62.33    2.02  79.93  
sdj            647.18  17203.93     0.00   0.00    2.35    26.58  677.54   7540.63    15.81   2.28    0.58    11.13    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.77    1.93  79.73  
sdk            655.07  17638.54     0.00   0.00    2.60    26.93  670.18   7472.87    15.75   2.30    0.60    11.15    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.95    2.11  80.03  
sdl            656.55  17653.16     0.00   0.00    2.37    26.89  677.64   7473.03    16.05   2.31    0.58    11.03    0.00      0.00     0.00   0.00    0.00     0.00    0.18   62.99    1.96  79.93  
sdm            654.57  17561.50     0.00   0.00    2.56    26.83  670.79   7476.85    15.76   2.30    0.60    11.15    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.98    2.09  80.16  
sdn            654.64  17541.64     0.00   0.00    2.38    26.80  673.14   7472.02    15.90   2.31    0.59    11.10    0.00      0.00     0.00   0.00    0.00     0.00    0.18   61.28    1.97  79.85  
sdo            673.34  17649.85     0.00   0.00    2.27    26.21  677.04   7472.21    16.03   2.31    0.58    11.04    0.00      0.00     0.00   0.00    0.00     0.00    0.18   62.22    1.93  79.98  
sdp            650.65  17476.46     0.00   0.00    2.26    26.86  678.38   7473.77    16.17   2.33    0.58    11.02    0.00      0.00     0.00   0.00    0.00     0.00    0.18   60.67    1.87  79.80  
sdq            650.07  17629.95     0.00   0.00    2.31    27.12  677.22   7475.71    16.05   2.32    0.59    11.04    0.00      0.00     0.00   0.00    0.00     0.00    0.18   62.94    1.91  79.70  
sdr            655.26  17605.45     0.00   0.00    2.52    26.87  672.01   7477.66    15.98   2.32    0.60    11.13    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.34    2.06  79.98  
sds            652.57  17599.76     0.00   0.00    6.64    26.97  455.75   8149.03    11.96   2.56    2.17    17.88    0.00      0.00     0.00   0.00    0.00     0.00    0.18  116.58    5.34  86.73  
sdt            651.14  17549.92     0.00   0.00    2.58    26.95  671.98   7475.30    15.98   2.32    0.60    11.12    0.00      0.00     0.00   0.00    0.00     0.00    0.18   64.62    2.09  79.96  
sdu            678.75  17761.68     0.00   0.00    2.20    26.17  679.47   7472.43    15.94   2.29    0.58    11.00    0.00      0.00     0.00   0.00    0.00     0.00    0.18   60.03    1.90  80.07  
sdv            653.08  17555.64     0.00   0.00    2.35    26.88  673.80   7476.29    15.94   2.31    0.59    11.10    0.00      0.00     0.00   0.00    0.00     0.00    0.18   62.13    1.94  79.75  
sdw            655.08  17615.29     0.00   0.00    2.42    26.89  673.54   7470.69    16.05   2.33    0.59    11.09    0.00      0.00     0.00   0.00    0.00     0.00    0.18   63.18    1.99  79.92  
sdx            652.01  17484.18     0.00   0.00    2.41    26.82  676.29   7475.99    15.84   2.29    0.59    11.05    0.00      0.00     0.00   0.00    0.00     0.00    0.18   61.02    1.98  79.80  
  
   

答案1

Scrub處於元資料掃描階段,主要涉及傳輸速率較低的小讀取。在元資料掃描完成之前,資料重新同步將會很慢。不要搞亂 ZFS 模組參數和/或其他設置,只需要有耐心:您的重新同步速度將在不久的將來加快。

相關內容