mdadm RAID6、再形成中に2つのディスク障害を回復

mdadm RAID6、再形成中に2つのディスク障害を回復

アレイを 10 台のディスクから 11 台のディスクに再形成して、劣化状態 (追加したいドライブにはすでにデータがあるが、保存する場所がない) にしていました。実行中に 2 台のドライブが切断されました (電源の問題)。

このアレイを回復することはまだ可能ですか?

電源を入れ直した後、アレイに再度追加することができませんでした。

mdadm: /dev/md0 has failed so using --add cannot work and might destroy
mdadm: data on /dev/sdX1.  You should stop the array and re-assemble it.

再起動してから、次のことを試しました:

--assemble、「不良」ディスクのため失敗

--assemble --force は失敗します:

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!
md/raid:md0: not enough operational devices (3/11 failed)
md/raid:md0: failed to run raid set.`

私はRAID リカバリ記事ですが、今のところ成功していません。

mdadm --create --chunk=64 --size=1953512448 --assume-clean --level=6 --raid-devices=11 /dev/md0 /dev/sd{f,h,e,g,m,i,k,l,n,d}1 missing、失敗:

mdadm: /dev/sdf1 is smaller than given size. 1953512256K < 1953512448K + metadata

すべてのドライブに対して。--size への引数は、mdadm --examine /dev/sdf1 の「Used Dev Size / 2」です。mdadm を各バージョンにダウングレードして、v3.1.2 まで下げました (デフォルトのメタデータが 1.2 に変更されたときに、手動で指定したことはなかったと思います)。

--size を削除すると、アレイは作成できますが、マウントできません。

XFS (md0): V4 ファイルシステムのマウント
XFS (md0): ログが矛盾しています (以前のヘッダーが見つかりませんでした)
XFS (md0): ログヘッドが見つかりませんでした
XFS (md0): ログのマウント/リカバリに失敗しました: エラー -5
XFS (md0): ログマウントに失敗しました

情報

整形前の状態mdadm --detail:

/dev/md0:
        バージョン: 1.2
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
     配列サイズ: 15628099584 (14904.12 GiB 16003.17 GB)
  使用された開発サイズ: 1953512448 (1863.01 GiB 2000.40 GB)
   レイドデバイス: 10
  デバイス合計数: 10
    永続性:スーパーブロックは永続的である

  インテントビットマップ: 内部

    更新日時: 2015年6月17日水曜日 14:16:09
          状態: きれい
 アクティブデバイス: 10
動作デバイス: 10
 故障したデバイス: 0
  予備デバイス: 0

         レイアウト:左対称
     チャンクサイズ: 64K

           名前: ubuntu:0
           UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
         イベント : 6037532

    番号 メジャー マイナー RaidDevice 状態
       0 8 81 0 アクティブ同期 /dev/sdf1
       9 8 177 1 アクティブ同期 /dev/sdl1
      12 8 65 2 アクティブ同期 /dev/sde1
       3 8 97 3 アクティブ同期 /dev/sdg1
       4 8 145 4 アクティブ同期 /dev/sdj1
       6 8 193 5 アクティブ同期 /dev/sdm1
       7 8 113 6 アクティブ同期 /dev/sdh1
       8 8 129 7 アクティブ同期 /dev/sdi1
      10 8 161 8 アクティブ同期 /dev/sdk1
      11 8 49 9 アクティブ同期 /dev/sdd1

失敗して再起動するとmdadm --examine、すべてのディスクが再び表示されます。

再形成が開始される前にホットスワップディスクが追加されたため、デバイスパスが変更されました

/dev/sdd1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイスUUID: 329fc32d:e9cf2ff4:3aa6c9a0:500aa445

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: 904d0c9c - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 9
   配列の状態: A.AAA...AA. ('A' == アクティブ、'.' == 欠落)


/dev/sde1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイスUUID: e59303ea:e613013e:ef8af657:1fc6ccab

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: b3b3f659 - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 2
   配列の状態: A.AAA...AA. ('A' == アクティブ、'.' == 欠落)


/dev/sdf1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイス UUID: 6aa0f9d8:e7b0cc66:d2f2a60​​0:ef305279

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3148373376 (3002.52 GiB 3223.93 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: 3beac20c - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 0
   配列の状態: AAAAAAAAAA。('A' == アクティブ、'.' == 欠落)


/dev/sdg1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイスUUID: 4b1d87a9:16027400:df71810f:3ce53c50

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: 91a563ea - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 3
   配列の状態: A.AAA...AA. ('A' == アクティブ、'.' == 欠落)


/dev/sdh1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 5860268032 (2794.39 GiB 3000.46 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
  使用された開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
    データオフセット: 262144 セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイスUUID: 27c8fefa:8b2b74a2:9a456d34:d1a60c20

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:29:09
       チェックサム: ee4ae103 - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 1
   配列の状態: AAAAAA..AA. ('A' == アクティブ、'.' == 欠落)


/dev/sdi1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイス UUID: bebc3764:9e582fe8:01de9766:2d8c452b

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:29:09
       チェックサム: 6632686d - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 5
   配列の状態: AAAAAA..AA. ('A' == アクティブ、'.' == 欠落)


/dev/sdk1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 5860268032 (2794.39 GiB 3000.46 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
  使用された開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
    データオフセット: 262144 セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイス UUID: 986d9f31:3a74b90d:7800779e:31607539

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3148373376 (3002.52 GiB 3223.93 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:24:09
       チェックサム: de0a23b - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 6
   配列の状態: AAAAAAAAAA。('A' == アクティブ、'.' == 欠落)


/dev/sdl1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 5860268032 (2794.39 GiB 3000.46 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
  使用された開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
    データオフセット: 262144 セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイス UUID: a5f4ac69:f6bbac94:60c1b790:db2c223e

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:28:58
       チェックサム: c9909fb9 - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 7
   配列の状態: AAAAAA.AAA. ('A' == アクティブ、'.' == 欠落)


/dev/sdm1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイス UUID: 938d9190:582eecf8:b9157fce:38705df2

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: d2462ecd - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 4
   配列の状態: A.AAA...AA. ('A' == アクティブ、'.' == 欠落)


/dev/sdn1:
          マジック: a92b4efc
        バージョン: 1.2
    機能マップ: 0x5
     配列 UUID : 70485ad1:0f5f2362:e8f5489a:577ac908
           名前: ubuntu:0
  作成時間: 2012年1月27日金曜日 19:20:36
     レイドレベル: raid6
   レイドデバイス: 11

 利用可能な開発サイズ: 3907024896 (1863.01 GiB 2000.40 GB)
     配列サイズ: 17581612032 (16767.13 GiB 18003.57 GB)
    データオフセット: 2048セクター
   スーパーオフセット:8セクター
          状態: きれい
    デバイスUUID: 289f68f6:f43d8a40:2203e21c:e6cff371

内部ビットマップ: スーパーブロックから 2 セクター
  再形成位置: 3196923264 (3048.82 GiB 3273.65 GB)
  デルタデバイス: 1 (10->11)

    更新日時: 2015年6月17日水曜日 19:46:34
       チェックサム: 4db49d1a - 正しい
         イベント : 6039833

         レイアウト:左対称
     チャンクサイズ: 64K

   デバイスの役割: アクティブデバイス 8
   配列の状態: A.AAA...AA. ('A' == アクティブ、'.' == 欠落)

答え1

幸いなことに、10 個のドライブすべてでイベント数が 6039833 で一致しています。

成功の鍵は、なぜそう見えるのかを解決することだと思います...

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!

これは興味深いケースであり、解決策を見つけるには確かにある程度の研究が必要です。助けが必要な場合は、私のプロフィールにある Web リンクからご連絡ください。

答え2

ここではすべての経緯を語っていなかったと思いますが、電源障害は RAID の再同期中に発生したと思われます。その場合、--auto-assemble は機能しません。バックアップから回復するか、専門家の助けを借りる必要があります。

関連情報