mdadm RAID subyacente a un LVM desaparecido después del reinicio

Question 1

Me gustaría presentar otra variante de la solución de Martin L. Se diferencia en que introduce mucho menos tiempo de inactividad, porque la migración de datos a una nueva matriz se puede realizar de forma transparente mientras el sistema funciona. Sólo experimentará una reducción del rendimiento del disco durante la migración.

Haz lo que te sugierenen su respuestahasta el lugar donde sugiere crear nuevos VG.

No cree nuevos VG. Cree nuevos PV en los arreglos recién creados y amplíe su VG existente con estos PV: vgextend fg00 /dev/md-NEW.

Luego, mueva volúmenes lógicos de pvs antiguos a nuevos con pvmove /dev/md-OLD. Esto podría hacerse incluso mientras los sistemas de archivos están montados y se accede a ellos. Esto llevará mucho tiempo, pero al final terminará. Ejecutaría esto dentro screeny detalladamente: screen pvmove -vi5 /dev/md-OLDpara asegurarme de que no se interrumpa si la sesión SSH se cierra y muestra un progreso cada 5 segundos.

Podría darse el caso de que no haya suficientes PE en el nuevo PV para hacer esto. Debido a que ahora usa particiones en lugar de unidades completas, el espacio utilizable y el tamaño de la matriz son ligeramente más pequeños. Si es así, hay que reducir un VI. Por ejemplo, desmonte un FS, reduzca (con resize2fs) y reduzca el tamaño del VI. Esto llevará más tiempo y es aún más rápido que copiar archivo por archivo un sistema de archivos ocupado.

Cuando los PV antiguos estén vacíos (pvmove finaliza), retírelos de VG, retire las etiquetas de PV y elimine los arreglos antiguos. Elimine esas unidades que ahora no se utilizan, particionelas y agréguelas a matrices en ejecución. La resincronización de la matriz también se realizará en segundo plano y solo experimentará una reducción del rendimiento del disco hasta que se complete.

Ahora, no olvides arreglar el arranque, es decir mdadam --examine --scan >> /etc/mdadm/mdadm.conf, update-initramfsetc.

Answer

Me gustaría presentar otra variante de la solución de Martin L. Se diferencia en que introduce mucho menos tiempo de inactividad, porque la migración de datos a una nueva matriz se puede realizar de forma transparente mientras el sistema funciona. Sólo experimentará una reducción del rendimiento del disco durante la migración.

Haz lo que te sugierenen su respuestahasta el lugar donde sugiere crear nuevos VG.

No cree nuevos VG. Cree nuevos PV en los arreglos recién creados y amplíe su VG existente con estos PV: vgextend fg00 /dev/md-NEW.

Luego, mueva volúmenes lógicos de pvs antiguos a nuevos con pvmove /dev/md-OLD. Esto podría hacerse incluso mientras los sistemas de archivos están montados y se accede a ellos. Esto llevará mucho tiempo, pero al final terminará. Ejecutaría esto dentro screeny detalladamente: screen pvmove -vi5 /dev/md-OLDpara asegurarme de que no se interrumpa si la sesión SSH se cierra y muestra un progreso cada 5 segundos.

Podría darse el caso de que no haya suficientes PE en el nuevo PV para hacer esto. Debido a que ahora usa particiones en lugar de unidades completas, el espacio utilizable y el tamaño de la matriz son ligeramente más pequeños. Si es así, hay que reducir un VI. Por ejemplo, desmonte un FS, reduzca (con resize2fs) y reduzca el tamaño del VI. Esto llevará más tiempo y es aún más rápido que copiar archivo por archivo un sistema de archivos ocupado.

Cuando los PV antiguos estén vacíos (pvmove finaliza), retírelos de VG, retire las etiquetas de PV y elimine los arreglos antiguos. Elimine esas unidades que ahora no se utilizan, particionelas y agréguelas a matrices en ejecución. La resincronización de la matriz también se realizará en segundo plano y solo experimentará una reducción del rendimiento del disco hasta que se complete.

Ahora, no olvides arreglar el arranque, es decir mdadam --examine --scan >> /etc/mdadm/mdadm.conf, update-initramfsetc.

Question 2

@nh2 da un pero fácilposiblemente peligrososolución en su respuesta a¿Cuál es la diferencia entre crear una matriz mdadm usando particiones o los discos completos directamente?

Por cierto, si esto te sucede, tus datos no se pierden.Lo más probable es que solo pueda sgdisk --zapusar el dispositivo y luego volver a crear el RAID con, por ejemplo, mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm le dirá que ya detecta datos anteriores y le preguntará si desea continuar reutilizando esos datos). Intenté esto varias veces y funcionó, pero aun así recomiendo hacer una copia de seguridad antes de hacerlo.

Después de una larga investigación logré encontrar una solución.

Aquí esta lo que hice

Primero algo de información de estado.

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Luego desmonte la partición

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Ahora degrado las dos matrices.

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Retire los discos de la matriz.

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Ahora /dev/sdey /dev/sdgson libres de ser (re)particionados.

Así que creé nuevas particiones /dev/sdey, /dev/sdgcomo se sugirió, unos pocos MB más pequeños que el espacio disponible.
Se crearon nuevas matrices RAID1 de 2 discos con un disco activo y otro "faltante".
Creó un nuevo grupo de volúmenes LVM con esos nuevos arreglos como volúmenes físicos.
Creé un volumen lógico encima (del mismo tamaño que el anterior menos los pocos MB que perdí al crear las particiones)
Copié todos los datos del antiguo LV al nuevo.
destruyó el RAID antiguo y agregó las particiones ~~de los discos~~ al nuevo

Aqui esta el nuevo satus

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 da un pero fácilposiblemente peligrososolución en su respuesta a¿Cuál es la diferencia entre crear una matriz mdadm usando particiones o los discos completos directamente?

Por cierto, si esto te sucede, tus datos no se pierden.Lo más probable es que solo pueda sgdisk --zapusar el dispositivo y luego volver a crear el RAID con, por ejemplo, mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm le dirá que ya detecta datos anteriores y le preguntará si desea continuar reutilizando esos datos). Intenté esto varias veces y funcionó, pero aun así recomiendo hacer una copia de seguridad antes de hacerlo.

Después de una larga investigación logré encontrar una solución.

Aquí esta lo que hice

Primero algo de información de estado.

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Luego desmonte la partición

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Ahora degrado las dos matrices.

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Retire los discos de la matriz.

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Ahora /dev/sdey /dev/sdgson libres de ser (re)particionados.

Así que creé nuevas particiones /dev/sdey, /dev/sdgcomo se sugirió, unos pocos MB más pequeños que el espacio disponible.
Se crearon nuevas matrices RAID1 de 2 discos con un disco activo y otro "faltante".
Creó un nuevo grupo de volúmenes LVM con esos nuevos arreglos como volúmenes físicos.
Creé un volumen lógico encima (del mismo tamaño que el anterior menos los pocos MB que perdí al crear las particiones)
Copié todos los datos del antiguo LV al nuevo.
destruyó el RAID antiguo y agregó las particiones ~~de los discos~~ al nuevo

Aqui esta el nuevo satus

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

mdadm RAID subyacente a un LVM desaparecido después del reinicio

Este es elnuevoconfiguración

El problema

PERO: ¿cómo puedo hacer que el sistema vuelva a ensamblar las matrices al reiniciar?

¿Puedo acceder a los datos sin que los arreglos y LVM estén en funcionamiento?

información adicional

¿Es esta una pista a la que alguien puede entender?

otro poco de informacion

Respuesta1

Respuesta2

Aquí esta lo que hice

información relacionada