Я перестраивал свой массив с 10 дисков на 11 до ухудшенного состояния (на диске, который я хочу добавить, уже есть данные, но их некуда поместить). Во время работы отключились 2 диска (проблема с питанием).
Возможно ли восстановить этот массив?
После выключения и включения питания мне не удалось снова добавить их в массив:
mdadm: /dev/md0 has failed so using --add cannot work and might destroy
mdadm: data on /dev/sdX1. You should stop the array and re-assemble it.
После перезагрузки я пробовал:
--assemble, не удается из-за «неисправных» дисков
--assemble --force, не удается:
md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!
md/raid:md0: not enough operational devices (3/11 failed)
md/raid:md0: failed to run raid set.`
Я читалВосстановление RAID-массивастатья, но пока безуспешно.
mdadm --create --chunk=64 --size=1953512448 --assume-clean --level=6 --raid-devices=11 /dev/md0 /dev/sd{f,h,e,g,m,i,k,l,n,d}1 missing, не удается:
mdadm: /dev/sdf1 is smaller than given size. 1953512256K < 1953512448K + metadata
для всех дисков. Мой аргумент для --size — «Использованный размер устройства / 2» из mdadm --examine /dev/sdf1. Я понизил mdadm до каждой версии до v3.1.2 (когда метаданные по умолчанию были изменены на 1.2, я знаю, что никогда не указывал их вручную).
Удалив --size, я могу создать массив, но не монтировать:
XFS (md0): монтирование файловой системы V4 XFS (md0): Журнал несогласован (предыдущий заголовок не найден) XFS (md0): не удалось найти заголовок журнала XFS (md0): монтирование/восстановление журнала не удалось: ошибка -5 XFS (md0): монтирование журнала не удалось
Информация
Мой mdadm --detailвид до изменения формы:
/dev/md0:
Версия: 1.2
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Размер массива: 15628099584 (14904,12 ГиБ 16003,17 ГБ)
Размер использованного устройства: 1953512448 (1863,01 ГиБ 2000,40 ГБ)
Устройства рейда: 10
Всего устройств: 10
Постоянство: Суперблок постоянен.
Растровое изображение намерения: внутреннее
Время обновления: Ср Июн 17 14:16:09 2015
Состояние: чистое
Активные устройства: 10
Рабочие устройства: 10
Неисправные устройства: 0
Запасные устройства: 0
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Имя: ubuntu:0
UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
События: 6037532
Номер Основной Незначительный Состояние RaidDevice
0 8 81 0 активная синхронизация /dev/sdf1
9 8 177 1 активная синхронизация /dev/sdl1
12 8 65 2 активная синхронизация /dev/sde1
3 8 97 3 активная синхронизация /dev/sdg1
4 8 145 4 активная синхронизация /dev/sdj1
6 8 193 5 активная синхронизация /dev/sdm1
7 8 113 6 активная синхронизация /dev/sdh1
8 8 129 7 активная синхронизация /dev/sdi1
10 8 161 8 активная синхронизация /dev/sdk1
11 8 49 9 активная синхронизация /dev/sdd1
И mdadm --examineпосле сбоя и перезагрузки все диски снова видны:
Пути к устройствам изменились, поскольку перед началом изменения формы был добавлен диск с возможностью горячей замены.
/dev/sdd1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 329fc32d:e9cf2ff4:3aa6c9a0:500aa445
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: 904d0c9c - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 9
Состояние массива: A.AAA...AA. ('A' == активен, '.' == отсутствует)
/dev/sde1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: e59303ea:e613013e:ef8af657:1fc6ccab
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: b3b3f659 - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 2
Состояние массива: A.AAA...AA. ('A' == активен, '.' == отсутствует)
/dev/sdf1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 6aa0f9d8:e7b0cc66:d2f2a600:ef305279
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3148373376 (3002,52 ГиБ 3223,93 ГБ)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: 3beac20c - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 0
Состояние массива: AAAAAAAAAA. ('A' == активен, '.' == отсутствует)
/dev/sdg1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 4b1d87a9:16027400:df71810f:3ce53c50
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: 91a563ea - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 3
Состояние массива: A.AAA...AA. ('A' == активен, '.' == отсутствует)
/dev/sdh1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 5860268032 (2794,39 ГиБ 3000,46 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Размер использованного устройства: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Смещение данных: 262144 сектора
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 27c8fefa:8b2b74a2:9a456d34:d1a60c20
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:29:09 2015
Контрольная сумма: ee4ae103 - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 1
Состояние массива: AAAAAA..AA. ('A' == активен, '.' == отсутствует)
/dev/sdi1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: bebc3764:9e582fe8:01de9766:2d8c452b
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:29:09 2015
Контрольная сумма: 6632686d - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 5
Состояние массива: AAAAAA..AA. ('A' == активен, '.' == отсутствует)
/dev/sdk1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 5860268032 (2794,39 ГиБ 3000,46 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Размер использованного устройства: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Смещение данных: 262144 сектора
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 986d9f31:3a74b90d:7800779e:31607539
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3148373376 (3002,52 ГиБ 3223,93 ГБ)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:24:09 2015
Контрольная сумма: de0a23b - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 6
Состояние массива: AAAAAAAAAA. ('A' == активен, '.' == отсутствует)
/dev/sdl1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 5860268032 (2794,39 ГиБ 3000,46 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Размер использованного устройства: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Смещение данных: 262144 сектора
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: a5f4ac69:f6bbac94:60c1b790:db2c223e
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:28:58 2015
Контрольная сумма: c9909fb9 - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 7
Состояние массива: AAAAAA.AAA. ('A' == активен, '.' == отсутствует)
/dev/sdm1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 938d9190:582eecf8:b9157fce:38705df2
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: d2462ecd - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 4
Состояние массива: A.AAA...AA. ('A' == активен, '.' == отсутствует)
/dev/sdn1:
Магия: a92b4efc
Версия: 1.2
Карта объектов: 0x5
UUID массива: 70485ad1:0f5f2362:e8f5489a:577ac908
Имя: ubuntu:0
Время создания: Пт Янв 27 19:20:36 2012
Уровень рейда: raid6
Устройства рейда: 11
Доступный размер разработки: 3907024896 (1863,01 ГиБ 2000,40 ГБ)
Размер массива: 17581612032 (16767,13 ГиБ 18003,57 ГБ)
Смещение данных: 2048 секторов
Суперсмещение: 8 секторов
Состояние: чистое
UUID устройства: 289f68f6:f43d8a40:2203e21c:e6cff371
Внутренний битмап: 2 сектора из суперблока
Reshape pos'n: 3196923264 (3048,82 GiB 3273,65 GB)
Устройства Delta: 1 (10->11)
Время обновления: Ср Июн 17 19:46:34 2015
Контрольная сумма: 4db49d1a - правильно
События : 6039833
Макет: лево-симметричный
Размер фрагмента: 64 КБ
Роль устройства: Активное устройство 8
Состояние массива: A.AAA...AA. ('A' == активен, '.' == отсутствует)
решение1
Хорошая новость в том, что все десять дисков имеют совпадающие счетчики событий — 6039833.
Я думаю, что ключ к успеху — это решение проблемы, почему вы видите...
md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!
Это интересный случай, и, безусловно, потребуется некоторое исследование, чтобы найти решение. Если вам нужна помощь, свяжитесь со мной по ссылке в моем профиле.
решение2
Я думаю, вы не рассказали здесь всю историю, я подозреваю, что сбой питания произошел во время повторной синхронизации рейда, если так, то --auto-assemble не сработает. Пришло время восстановиться из резервной копии или обратиться за профессиональной помощью.