mdadm RAID, лежащий в основе LVM, исчез после перезагрузки

Question 1

Я хотел бы представить еще один вариант решения Martin L. Он отличается тем, что вносит гораздо меньше простоев, поскольку миграция данных на новый массив может быть выполнена прозрачно, пока система работает. Вы заметите только снижение производительности диска во время миграции.

Делай как предлагаетсяв своем ответевплоть до того места, где он предлагает создать новые ВГ.

Не создавайте новые VG. Создайте новые PV на вновь созданных массивах и расширьте существующую VG этими PV: vgextend fg00 /dev/md-NEW.

Затем переместите логические тома со старых pv на новые с помощью pvmove /dev/md-OLD. Это можно сделать даже при смонтированных и доступных файловых системах. Это займет много времени, но в конечном итоге завершится. Я бы запустил это в screen, и подробно: screen pvmove -vi5 /dev/md-OLD, чтобы быть уверенным, что это не прервется, если сеанс SSH закроется, и он будет показывать прогресс каждые 5 секунд.

Может быть, в новом PV недостаточно PE для этого. Это происходит потому, что теперь вы используете разделы вместо целых дисков, полезное пространство и размер массива немного меньше. Если это так, вам нужно уменьшить один LV. Например, размонтируйте FS, уменьшите его (с помощью resize2fs) и уменьшите размер LV. Это займет больше времени, но все равно быстрее, чем копирование занятой файловой системы пофайлово.

Когда старые PV пусты (pvmove завершается), удалите их из VG, удалите метки PV и удалите старые массивы. Удалите эти теперь неиспользуемые диски, разбейте их на разделы и добавьте в работающие массивы. Повторная синхронизация массива также будет выполняться в фоновом режиме, и вы заметите только снижение производительности диска, пока она не завершится.

Теперь не забудьте исправить загрузку, т.е. mdadam --examine --scan >> /etc/mdadm/mdadm.confи update-initramfsт.д.

Answer

Я хотел бы представить еще один вариант решения Martin L. Он отличается тем, что вносит гораздо меньше простоев, поскольку миграция данных на новый массив может быть выполнена прозрачно, пока система работает. Вы заметите только снижение производительности диска во время миграции.

Делай как предлагаетсяв своем ответевплоть до того места, где он предлагает создать новые ВГ.

Не создавайте новые VG. Создайте новые PV на вновь созданных массивах и расширьте существующую VG этими PV: vgextend fg00 /dev/md-NEW.

Затем переместите логические тома со старых pv на новые с помощью pvmove /dev/md-OLD. Это можно сделать даже при смонтированных и доступных файловых системах. Это займет много времени, но в конечном итоге завершится. Я бы запустил это в screen, и подробно: screen pvmove -vi5 /dev/md-OLD, чтобы быть уверенным, что это не прервется, если сеанс SSH закроется, и он будет показывать прогресс каждые 5 секунд.

Может быть, в новом PV недостаточно PE для этого. Это происходит потому, что теперь вы используете разделы вместо целых дисков, полезное пространство и размер массива немного меньше. Если это так, вам нужно уменьшить один LV. Например, размонтируйте FS, уменьшите его (с помощью resize2fs) и уменьшите размер LV. Это займет больше времени, но все равно быстрее, чем копирование занятой файловой системы пофайлово.

Когда старые PV пусты (pvmove завершается), удалите их из VG, удалите метки PV и удалите старые массивы. Удалите эти теперь неиспользуемые диски, разбейте их на разделы и добавьте в работающие массивы. Повторная синхронизация массива также будет выполняться в фоновом режиме, и вы заметите только снижение производительности диска, пока она не завершится.

Теперь не забудьте исправить загрузку, т.е. mdadam --examine --scan >> /etc/mdadm/mdadm.confи update-initramfsт.д.

Question 2

@nh2 дает простой, новозможно опаснорешение в его ответе наВ чем разница между созданием массива mdadm с использованием разделов или целых дисков напрямую?

Кстати, если это произойдет с вами, ваши данные не будут потеряны.Скорее всего, вы можете просто выбрать sgdisk --zapустройство, а затем заново создать RAID, например, с помощью mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm сообщит вам, что он уже обнаружил прошлые данные, и спросит, хотите ли вы продолжить повторное использование этих данных). Я пробовал это несколько раз, и это сработало, но я все равно рекомендую сделать резервную копию, прежде чем вы это сделаете.

После длительных исследований мне удалось найти решение.

Вот, что я сделал

Сначала немного информации о статусе

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Затем отмонтируйте раздел.

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Теперь я деградирую два массива

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Удалить диски из массива

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Теперь /dev/sdeи /dev/sdgмогут быть свободно (пере)разделены.

Поэтому я создал новые разделы, как и предлагалось, на /dev/sdeнесколько /dev/sdgМБ меньше доступного пространства.
Созданы новые 2-дисковые массивы RAID1 с одним активным диском и одним «отсутствующим»
создал новую группу томов LVM с этими новыми массивами в качестве физических томов
создал логический том поверх него (того же размера, что и старый, за исключением нескольких МБ, которые я потерял при создании разделов)
скопировал все данные со старого LV на новый
уничтожил старый RAID и добавил разделы ~~дисков~~ в новый

Вот новый статус

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

Answer

@nh2 дает простой, новозможно опаснорешение в его ответе наВ чем разница между созданием массива mdadm с использованием разделов или целых дисков напрямую?

Кстати, если это произойдет с вами, ваши данные не будут потеряны.Скорее всего, вы можете просто выбрать sgdisk --zapустройство, а затем заново создать RAID, например, с помощью mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sdc /dev/sdd(mdadm сообщит вам, что он уже обнаружил прошлые данные, и спросит, хотите ли вы продолжить повторное использование этих данных). Я пробовал это несколько раз, и это сработало, но я все равно рекомендую сделать резервную копию, прежде чем вы это сделаете.

После длительных исследований мне удалось найти решение.

Вот, что я сделал

Сначала немного информации о статусе

PROMPT> df -h
Dateisystem           Größe Benutzt Verf. Verw% Eingehängt auf
/dev/mapper/fg00-Data  5,4T    1,5T  3,8T   28% /data

Затем отмонтируйте раздел.

PROMPT> umount /data

PROMPT> cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1] sdf[0]
      1953382464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1] sda[0]
      3906886464 blocks super 1.2 [2/2] [UU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Теперь я деградирую два массива

PROMPT > mdadm --manage /dev/md0 --fail /dev/sde
mdadm: set /dev/sde faulty in /dev/md0

PROMPT > mdadm --manage /dev/md1 --fail /dev/sdg
mdadm: set /dev/sdg faulty in /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdg[1](F) sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sde[1](F) sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Удалить диски из массива

PROMPT > mdadm --manage /dev/md0 --remove /dev/sde 
mdadm: hot removed /dev/sde from /dev/md0
PROMPT > mdadm --manage /dev/md1 --remove /dev/sdg
mdadm: hot removed /dev/sdg from /dev/md1

PROMPT > cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md1 : active raid1 sdf[0]
      1953382464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/15 pages [0KB], 65536KB chunk

md0 : active raid1 sda[0]
      3906886464 blocks super 1.2 [2/1] [U_]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Теперь /dev/sdeи /dev/sdgмогут быть свободно (пере)разделены.

Поэтому я создал новые разделы, как и предлагалось, на /dev/sdeнесколько /dev/sdgМБ меньше доступного пространства.
Созданы новые 2-дисковые массивы RAID1 с одним активным диском и одним «отсутствующим»
создал новую группу томов LVM с этими новыми массивами в качестве физических томов
создал логический том поверх него (того же размера, что и старый, за исключением нескольких МБ, которые я потерял при создании разделов)
скопировал все данные со старого LV на новый
уничтожил старый RAID и добавил разделы ~~дисков~~ в новый

Вот новый статус

PROMPT > lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINT
NAME              SIZE FSTYPE            TYPE  MOUNTPOINT
sda               3,7T                   disk  
└─sda1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sde               3,7T                   disk  
└─sde1            3,7T linux_raid_member part  
  └─md2           3,7T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdf               1,8T                   disk  
└─sdf1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdg               1,8T                   disk  
└─sdg1            1,8T linux_raid_member part  
  └─md3           1,8T LVM2_member       raid1 
    └─fg01-Data   5,5T ext4              lvm   /data
sdh             119,2G                   disk  
└─sdh1          119,2G ext4              part  /home
sr0              1024M                   rom   
nvme0n1           477G                   disk  
├─nvme0n1p1       300M vfat              part  /boot/efi
├─nvme0n1p2     442,1G ext4              part  /
└─nvme0n1p3      34,6G swap              part  [SWAP]

PROMPT > cat /proc/mdstat 
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] 
md3 : active raid1 sdf1[1] sdg1[0]
      1953381376 blocks super 1.2 [2/1] [U_]
      [==>..................]  recovery = 10.0% (196493504/1953381376) finish=224.9min speed=130146K/sec
      bitmap: 0/15 pages [0KB], 65536KB chunk

md2 : active raid1 sda1[1] sde1[0]
      3906884608 blocks super 1.2 [2/1] [U_]
      [=>...................]  recovery =  6.7% (263818176/3906884608) finish=429.0min speed=141512K/sec
      bitmap: 2/30 pages [8KB], 65536KB chunk

unused devices: <none>

mdadm RAID, лежащий в основе LVM, исчез после перезагрузки

Этоновыйнастраивать

Проблема

НО: как заставить систему заново собирать массивы при перезагрузке?

Могу ли я получить доступ к данным без запущенных массивов и LVM?

Дополнительная информация

Это намек, который кто-то может понять?

еще немного информации

решение1

решение2

Вот, что я сделал

Связанный контент