重啟後 LVM 下的 mdadm RAID 消失

Question 1

我想介紹 Martin L. 解決方案的另一種變體。它的不同之處在於它引入的停機時間要少得多，因為資料遷移到新陣列可以在系統工作時透明地完成。您只會在遷移過程中遇到磁碟效能下降的情況。

按照建議進行在他的回答中直到他建議創建新的 VG 的地方。

不要建立新的 VG。在新建立的陣列上建立新的 PV，並使用這些 PV 擴展現有的 VG：vgextend fg00 /dev/md-NEW。

然後，使用 . 將邏輯磁碟區從舊 pv 移到新 pv pvmove /dev/md-OLD。即使在安裝和存取檔案系統時也可以完成此操作。這將需要很長時間，但最終會完成。我會在screen和 verbosely:內運行它screen pvmove -vi5 /dev/md-OLD，以確保它不會在 SSH 會話關閉時中斷，並且每 5 秒顯示一次進度。

新 PV 中可能沒有足夠的 PE 來執行此操作。這是因為您現在使用分割區而不是整個驅動器，可用空間和陣列大小稍小。如果是這樣，你就得減少一個LV。例如，卸載 FS、減少（使用resize2fs）並減少 LV 大小。這將花費更長的時間，但仍然比逐個檔案複製繁忙的檔案系統要快。

當舊的PV為空時（pvmove完成），將它們從VG中刪除，刪除PV標籤並刪除舊陣列。刪除那些現在未使用的驅動器，對它們進行分割並添加到正在運行的陣列中。陣列重新同步也將在背景完成，在完成之前您只會遇到磁碟效能下降的情況。

現在，不要忘記修復引導，即mdadam --examine --scan >> /etc/mdadm/mdadm.conf，update-initramfs等等。

Answer

我想介紹 Martin L. 解決方案的另一種變體。它的不同之處在於它引入的停機時間要少得多，因為資料遷移到新陣列可以在系統工作時透明地完成。您只會在遷移過程中遇到磁碟效能下降的情況。

按照建議進行在他的回答中直到他建議創建新的 VG 的地方。

不要建立新的 VG。在新建立的陣列上建立新的 PV，並使用這些 PV 擴展現有的 VG：vgextend fg00 /dev/md-NEW。

然後，使用 . 將邏輯磁碟區從舊 pv 移到新 pv pvmove /dev/md-OLD。即使在安裝和存取檔案系統時也可以完成此操作。這將需要很長時間，但最終會完成。我會在screen和 verbosely:內運行它screen pvmove -vi5 /dev/md-OLD，以確保它不會在 SSH 會話關閉時中斷，並且每 5 秒顯示一次進度。

新 PV 中可能沒有足夠的 PE 來執行此操作。這是因為您現在使用分割區而不是整個驅動器，可用空間和陣列大小稍小。如果是這樣，你就得減少一個LV。例如，卸載 FS、減少（使用resize2fs）並減少 LV 大小。這將花費更長的時間，但仍然比逐個檔案複製繁忙的檔案系統要快。

當舊的PV為空時（pvmove完成），將它們從VG中刪除，刪除PV標籤並刪除舊陣列。刪除那些現在未使用的驅動器，對它們進行分割並添加到正在運行的陣列中。陣列重新同步也將在背景完成，在完成之前您只會遇到磁碟效能下降的情況。

現在，不要忘記修復引導，即mdadam --examine --scan >> /etc/mdadm/mdadm.conf，update-initramfs等等。

Question 2

@nh2 給了一個簡單但可能有危險他的回答中的解決方案使用分割區或直接使用整個磁碟建立 mdadm 陣列有什麼區別

順便說一句，如果您遇到這種情況，您的資料不會遺失。您很可能只需要sgdisk --zap設備，然後使用例如重新建立 RAID mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd（mdadm 會告訴您它已經偵測到過去的數據，並詢問您是否要繼續重新使用該數據）。我嘗試了多次並且有效，但我仍然建議您在執行此操作之前進行備份。

經過長時間的研究，我設法找到了解決方案。

這是我所做的

首先是一些狀態資訊

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

然後卸載分區

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

現在我降級兩個陣列

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

從陣列中刪除磁碟

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

現在/dev/sde和/dev/sdg可以自由地（重新）分區。

因此，我按照建議建立了比可用空間小幾 MB 的新分割/dev/sde區/dev/sdg。
建立了新的 2 磁碟 RAID1 陣列，其中一個活動磁碟和一個「缺少」磁碟
使用這些新陣列作為實體磁碟區建構了一個新的 LVM 磁碟區組
在其上建立一個邏輯磁碟區（與舊磁碟區的大小相同減去建立分割區時遺失的幾MB）
將舊 LV 中的所有資料複製到新 LV 中
銷毀舊的 RAID 並將~~磁碟分割~~區新增至新的 RAID 中

這是新的狀態

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 給了一個簡單但可能有危險他的回答中的解決方案使用分割區或直接使用整個磁碟建立 mdadm 陣列有什麼區別

順便說一句，如果您遇到這種情況，您的資料不會遺失。您很可能只需要sgdisk --zap設備，然後使用例如重新建立 RAID mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd（mdadm 會告訴您它已經偵測到過去的數據，並詢問您是否要繼續重新使用該數據）。我嘗試了多次並且有效，但我仍然建議您在執行此操作之前進行備份。

經過長時間的研究，我設法找到了解決方案。

這是我所做的

首先是一些狀態資訊

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

然後卸載分區

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

現在我降級兩個陣列

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

從陣列中刪除磁碟

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

現在/dev/sde和/dev/sdg可以自由地（重新）分區。

因此，我按照建議建立了比可用空間小幾 MB 的新分割/dev/sde區/dev/sdg。
建立了新的 2 磁碟 RAID1 陣列，其中一個活動磁碟和一個「缺少」磁碟
使用這些新陣列作為實體磁碟區建構了一個新的 LVM 磁碟區組
在其上建立一個邏輯磁碟區（與舊磁碟區的大小相同減去建立分割區時遺失的幾MB）
將舊 LV 中的所有資料複製到新 LV 中
銷毀舊的 RAID 並將~~磁碟分割~~區新增至新的 RAID 中

這是新的狀態

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

重啟後 LVM 下的 mdadm RAID 消失

這是新的設定

問題

但是：如何讓系統在重新啟動時重新組裝陣列？

我可以在陣列和 LVM 未啟動並運行的情況下存取資料嗎？

附加資訊

這是一個有人能理解的暗示嗎？

另一點資訊

答案1

答案2

這是我所做的

相關內容