mdadm RAID subjacente a um LVM desaparecido após a reinicialização

Question 1

Gostaria de apresentar outra variante da solução de Martin L.. A diferença é que introduz muito menos tempo de inatividade, porque a migração de dados para um novo array pode ser feita de forma transparente enquanto o sistema funciona. Você só experimentará redução no desempenho do disco durante a migração.

Faça como é sugeridoem sua respostaaté o local onde ele sugere a criação de novos VGs.

Não crie novo VG. Crie novos PVs nos arrays recém-criados e estenda seu VG existente com estes PV: vgextend fg00 /dev/md-NEW.

Em seguida, mova os volumes lógicos dos pvs antigos para os novos com pvmove /dev/md-OLD. Isso pode ser feito mesmo enquanto os sistemas de arquivos estão montados e sendo acessados. Isso levará muito tempo, mas eventualmente terminará. Eu executaria isso dentro screene detalhadamente: screen pvmove -vi5 /dev/md-OLDpara ter certeza de que não seria interrompido se a sessão SSH fosse fechada e mostrasse um progresso a cada 5 segundos.

Pode ser que não haja PEs suficientes no novo PV para fazer isso. É porque agora você usa partições em vez de unidades inteiras, o espaço utilizável e o tamanho do array são um pouco menores. Se for assim, você terá que reduzir um LV. Por exemplo, desmonte um FS, reduza is (com resize2fs) e reduza o tamanho do LV. Isso levará mais tempo e ainda é mais rápido do que copiar um sistema de arquivos ocupado, arquivo por arquivo.

Quando os PVs antigos estiverem vazios (pvmove termina), remova-os do VG, remova os rótulos dos PV e remova os arrays antigos. Elimine essas unidades agora não utilizadas, particione-as e adicione-as aos arrays em execução. A ressincronização da matriz também será feita em segundo plano e você só experimentará redução no desempenho do disco até que seja concluída.

Agora, não se esqueça de corrigir a inicialização, ou seja mdadam --examine --scan >> /etc/mdadm/mdadm.conf, update-initramfse assim por diante.

Answer

Gostaria de apresentar outra variante da solução de Martin L.. A diferença é que introduz muito menos tempo de inatividade, porque a migração de dados para um novo array pode ser feita de forma transparente enquanto o sistema funciona. Você só experimentará redução no desempenho do disco durante a migração.

Faça como é sugeridoem sua respostaaté o local onde ele sugere a criação de novos VGs.

Não crie novo VG. Crie novos PVs nos arrays recém-criados e estenda seu VG existente com estes PV: vgextend fg00 /dev/md-NEW.

Em seguida, mova os volumes lógicos dos pvs antigos para os novos com pvmove /dev/md-OLD. Isso pode ser feito mesmo enquanto os sistemas de arquivos estão montados e sendo acessados. Isso levará muito tempo, mas eventualmente terminará. Eu executaria isso dentro screene detalhadamente: screen pvmove -vi5 /dev/md-OLDpara ter certeza de que não seria interrompido se a sessão SSH fosse fechada e mostrasse um progresso a cada 5 segundos.

Pode ser que não haja PEs suficientes no novo PV para fazer isso. É porque agora você usa partições em vez de unidades inteiras, o espaço utilizável e o tamanho do array são um pouco menores. Se for assim, você terá que reduzir um LV. Por exemplo, desmonte um FS, reduza is (com resize2fs) e reduza o tamanho do LV. Isso levará mais tempo e ainda é mais rápido do que copiar um sistema de arquivos ocupado, arquivo por arquivo.

Quando os PVs antigos estiverem vazios (pvmove termina), remova-os do VG, remova os rótulos dos PV e remova os arrays antigos. Elimine essas unidades agora não utilizadas, particione-as e adicione-as aos arrays em execução. A ressincronização da matriz também será feita em segundo plano e você só experimentará redução no desempenho do disco até que seja concluída.

Agora, não se esqueça de corrigir a inicialização, ou seja mdadam --examine --scan >> /etc/mdadm/mdadm.conf, update-initramfse assim por diante.

Question 2

@nh2 dá um jeito fácil, maspossivelmente perigososolução em sua resposta aQual é a diferença entre criar um array mdadm usando partições ou discos inteiros diretamente

Aliás, se isso acontecer com você, seus dados não serão perdidos.Provavelmente, você pode apenas sgdisk --zapo dispositivo e, em seguida, recriar o RAID com, por exemplo mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(o mdadm informará que já detectou dados anteriores e perguntará se deseja continuar a reutilizar esses dados). Tentei várias vezes e funcionou, mas ainda recomendo fazer um backup antes de fazer isso.

Depois de muita pesquisa, consegui encontrar uma solução.

Aqui está o que eu fiz

Primeiro, algumas informações de status

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Em seguida, desmonte a partição

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Agora eu degrado os dois arrays

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Remova os discos da matriz

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Agora /dev/sdee /dev/sdgestão livres para serem (re)particionados.

Então criei novas partições /dev/sdee /dev/sdgconforme sugerido alguns MB menores que o espaço disponível.
Criou novos arrays RAID1 de 2 discos com um disco ativo e um "ausente"
construiu um novo grupo de volumes LVM com esses novos arrays como volumes físicos
criei um volume lógico em cima dele (mesmo tamanho do antigo menos os poucos MB que perdi ao criar as partições)
copiou todos os dados do LV antigo para o novo
destruiu o RAID antigo e adicionou as partições ~~dos discos~~ ao novo

Aqui está o novo satus

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 dá um jeito fácil, maspossivelmente perigososolução em sua resposta aQual é a diferença entre criar um array mdadm usando partições ou discos inteiros diretamente

Aliás, se isso acontecer com você, seus dados não serão perdidos.Provavelmente, você pode apenas sgdisk --zapo dispositivo e, em seguida, recriar o RAID com, por exemplo mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(o mdadm informará que já detectou dados anteriores e perguntará se deseja continuar a reutilizar esses dados). Tentei várias vezes e funcionou, mas ainda recomendo fazer um backup antes de fazer isso.

Depois de muita pesquisa, consegui encontrar uma solução.

Aqui está o que eu fiz

Primeiro, algumas informações de status

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Em seguida, desmonte a partição

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Agora eu degrado os dois arrays

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Remova os discos da matriz

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Agora /dev/sdee /dev/sdgestão livres para serem (re)particionados.

Então criei novas partições /dev/sdee /dev/sdgconforme sugerido alguns MB menores que o espaço disponível.
Criou novos arrays RAID1 de 2 discos com um disco ativo e um "ausente"
construiu um novo grupo de volumes LVM com esses novos arrays como volumes físicos
criei um volume lógico em cima dele (mesmo tamanho do antigo menos os poucos MB que perdi ao criar as partições)
copiou todos os dados do LV antigo para o novo
destruiu o RAID antigo e adicionou as partições ~~dos discos~~ ao novo

Aqui está o novo satus

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

mdadm RAID subjacente a um LVM desaparecido após a reinicialização

Isto é onovoconfigurar

O problema

MAS: como posso fazer o sistema remontar os arrays na reinicialização?

Posso acessar os dados sem que os arrays e o LVM estejam funcionando?

Informações adicionais

Esta é uma dica que alguém pode entender?

mais uma informação

Responder1

Responder2

Aqui está o que eu fiz

informação relacionada