mdadm RAID, das einem LVM zugrunde liegt, ist nach dem Neustart verschwunden

Question 1

Ich möchte eine andere Variante der Lösung von Martin L. vorstellen. Sie unterscheidet sich dadurch, dass sie viel weniger Ausfallzeiten verursacht, da die Datenmigration auf das neue Array transparent erfolgen kann, während das System arbeitet. Während der Migration kommt es lediglich zu einer reduzierten Festplattenleistung.

Tun Sie, was empfohlen wirdin seiner Antwortbis zu der Stelle, an der er vorschlägt, neue VGs zu erstellen.

Erstellen Sie keine neue VG. Erstellen Sie neue PVs auf den neu erstellten Arrays und erweitern Sie Ihre vorhandene VG mit diesen PV: vgextend fg00 /dev/md-NEW.

Verschieben Sie dann logische Volumes von alten PVS auf neue mit pvmove /dev/md-OLD. Dies kann sogar erfolgen, während Dateisysteme gemountet sind und darauf zugegriffen wird. Dies dauert lange, ist aber irgendwann abgeschlossen. Ich würde dies innerhalb ausführen screenund ausführlich: screen pvmove -vi5 /dev/md-OLD, um sicherzugehen, dass es nicht unterbrochen wird, wenn die SSH-Sitzung geschlossen wird, und es alle 5 Sekunden einen Fortschritt anzeigt.

Es könnte sein, dass im neuen PV nicht genügend PEs vorhanden sind, um dies zu tun. Das liegt daran, dass Sie jetzt Partitionen statt ganzer Laufwerke verwenden, der nutzbare Speicherplatz und die Array-Größe sind etwas kleiner. Wenn das der Fall ist, müssen Sie ein LV verkleinern. Hängen Sie beispielsweise ein FS aus, verkleinern Sie es (mit resize2fs) und verkleinern Sie die LV-Größe. Dies dauert zwar länger, ist aber immer noch schneller, als ein ausgelastetes Dateisystem Datei für Datei zu kopieren.

Wenn alte PVs leer sind (pvmove ist abgeschlossen), entfernen Sie sie aus VG, entfernen Sie PV-Labels und entfernen Sie alte Arrays. Löschen Sie die jetzt ungenutzten Laufwerke, partitionieren Sie sie und fügen Sie sie zu laufenden Arrays hinzu. Die Array-Neusynchronisierung wird ebenfalls im Hintergrund durchgeführt und Sie erleben nur eine reduzierte Festplattenleistung, bis sie abgeschlossen ist.

Vergessen Sie jetzt nicht, den Bootvorgang zu reparieren, d. h mdadam --examine --scan >> /etc/mdadm/mdadm.conf. update-initramfsusw.

Answer

Ich möchte eine andere Variante der Lösung von Martin L. vorstellen. Sie unterscheidet sich dadurch, dass sie viel weniger Ausfallzeiten verursacht, da die Datenmigration auf das neue Array transparent erfolgen kann, während das System arbeitet. Während der Migration kommt es lediglich zu einer reduzierten Festplattenleistung.

Tun Sie, was empfohlen wirdin seiner Antwortbis zu der Stelle, an der er vorschlägt, neue VGs zu erstellen.

Erstellen Sie keine neue VG. Erstellen Sie neue PVs auf den neu erstellten Arrays und erweitern Sie Ihre vorhandene VG mit diesen PV: vgextend fg00 /dev/md-NEW.

Verschieben Sie dann logische Volumes von alten PVS auf neue mit pvmove /dev/md-OLD. Dies kann sogar erfolgen, während Dateisysteme gemountet sind und darauf zugegriffen wird. Dies dauert lange, ist aber irgendwann abgeschlossen. Ich würde dies innerhalb ausführen screenund ausführlich: screen pvmove -vi5 /dev/md-OLD, um sicherzugehen, dass es nicht unterbrochen wird, wenn die SSH-Sitzung geschlossen wird, und es alle 5 Sekunden einen Fortschritt anzeigt.

Es könnte sein, dass im neuen PV nicht genügend PEs vorhanden sind, um dies zu tun. Das liegt daran, dass Sie jetzt Partitionen statt ganzer Laufwerke verwenden, der nutzbare Speicherplatz und die Array-Größe sind etwas kleiner. Wenn das der Fall ist, müssen Sie ein LV verkleinern. Hängen Sie beispielsweise ein FS aus, verkleinern Sie es (mit resize2fs) und verkleinern Sie die LV-Größe. Dies dauert zwar länger, ist aber immer noch schneller, als ein ausgelastetes Dateisystem Datei für Datei zu kopieren.

Wenn alte PVs leer sind (pvmove ist abgeschlossen), entfernen Sie sie aus VG, entfernen Sie PV-Labels und entfernen Sie alte Arrays. Löschen Sie die jetzt ungenutzten Laufwerke, partitionieren Sie sie und fügen Sie sie zu laufenden Arrays hinzu. Die Array-Neusynchronisierung wird ebenfalls im Hintergrund durchgeführt und Sie erleben nur eine reduzierte Festplattenleistung, bis sie abgeschlossen ist.

Vergessen Sie jetzt nicht, den Bootvorgang zu reparieren, d. h mdadam --examine --scan >> /etc/mdadm/mdadm.conf. update-initramfsusw.

Question 2

@nh2 gibt eine einfache, abermöglicherweise gefährlichLösung in seiner Antwort aufWas ist der Unterschied zwischen dem Erstellen eines mdadm-Arrays mit Partitionen oder der direkten Verwendung ganzer Festplatten?

Sollte Ihnen das passieren, sind Ihre Daten übrigens nicht verloren.Sie können höchstwahrscheinlich nur sgdisk --zapdas Gerät verwenden und dann das RAID mit z. B. neu erstellen mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm wird Ihnen mitteilen, dass es bereits frühere Daten erkennt, und Sie fragen, ob Sie diese Daten weiterhin wiederverwenden möchten). Ich habe dies mehrmals versucht und es hat funktioniert, aber ich empfehle trotzdem, vorher ein Backup zu erstellen.

Nach längerer Recherche gelang es mir, eine Lösung zu finden.

Hier ist, was ich getan habe

Zunächst einige Status-Informationen

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Hängen Sie dann die Partition aus

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Nun degradiere ich die beiden Arrays

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Entfernen Sie die Festplatten aus dem Array.

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Jetzt können /dev/sdeund /dev/sdg(neu) partitioniert werden.

Also habe ich neue Partitionen erstellt /dev/sde, die /dev/sdgwie vorgeschlagen einige MB kleiner sind als der verfügbare Speicherplatz.
Neue 2-Platten-RAID1-Arrays mit einer aktiven und einer „fehlenden“ Platte erstellt
eine neue LVM-Volume-Gruppe mit diesen neuen Arrays als physische Volumes erstellt
habe darüber ein logisches Volume erstellt (gleiche Größe wie das alte abzüglich der paar MB, die ich beim Erstellen der Partitionen verloren habe)
alle Daten vom alten LV in das neue kopiert
das alte RAID zerstört und die ~~Festplattenpartitionen~~ dem neuen hinzugefügt

Hier ist der neue Status

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 gibt eine einfache, abermöglicherweise gefährlichLösung in seiner Antwort aufWas ist der Unterschied zwischen dem Erstellen eines mdadm-Arrays mit Partitionen oder der direkten Verwendung ganzer Festplatten?

Sollte Ihnen das passieren, sind Ihre Daten übrigens nicht verloren.Sie können höchstwahrscheinlich nur sgdisk --zapdas Gerät verwenden und dann das RAID mit z. B. neu erstellen mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm wird Ihnen mitteilen, dass es bereits frühere Daten erkennt, und Sie fragen, ob Sie diese Daten weiterhin wiederverwenden möchten). Ich habe dies mehrmals versucht und es hat funktioniert, aber ich empfehle trotzdem, vorher ein Backup zu erstellen.

Nach längerer Recherche gelang es mir, eine Lösung zu finden.

Hier ist, was ich getan habe

Zunächst einige Status-Informationen

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Hängen Sie dann die Partition aus

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Nun degradiere ich die beiden Arrays

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Entfernen Sie die Festplatten aus dem Array.

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Jetzt können /dev/sdeund /dev/sdg(neu) partitioniert werden.

Also habe ich neue Partitionen erstellt /dev/sde, die /dev/sdgwie vorgeschlagen einige MB kleiner sind als der verfügbare Speicherplatz.
Neue 2-Platten-RAID1-Arrays mit einer aktiven und einer „fehlenden“ Platte erstellt
eine neue LVM-Volume-Gruppe mit diesen neuen Arrays als physische Volumes erstellt
habe darüber ein logisches Volume erstellt (gleiche Größe wie das alte abzüglich der paar MB, die ich beim Erstellen der Partitionen verloren habe)
alle Daten vom alten LV in das neue kopiert
das alte RAID zerstört und die ~~Festplattenpartitionen~~ dem neuen hinzugefügt

Hier ist der neue Status

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

mdadm RAID, das einem LVM zugrunde liegt, ist nach dem Neustart verschwunden

Dies ist dasneuaufstellen

Das Problem

ABER: Wie kann ich das System dazu bringen, die Arrays beim Neustart neu zusammenzusetzen?

Kann ich auf die Daten zugreifen, ohne dass die Arrays und LVM aktiv sind?

Weitere Informationen

Ist das ein Hinweis, den jemand verstehen kann?

noch eine Information

Antwort1

Antwort2

Hier ist, was ich getan habe

verwandte Informationen