mdadm RAID6, Wiederherstellung von 2 Festplattenfehlern während der Neuformung

mdadm RAID6, Wiederherstellung von 2 Festplattenfehlern während der Neuformung

Ich habe mein Array von 10 auf 11 Festplatten umgestaltet und es ist nun in einem degradierten Zustand (auf dem Laufwerk, das ich hinzufügen möchte, sind bereits Daten, aber ich kann sie nirgendwo ablegen). 2 Laufwerke wurden während des Betriebs getrennt (Stromproblem).

Ist es noch möglich, dieses Array wiederherzustellen?

Nach dem Aus- und Wiedereinschalten konnte ich sie nicht wieder zum Array hinzufügen:

mdadm: /dev/md0 has failed so using --add cannot work and might destroy
mdadm: data on /dev/sdX1.  You should stop the array and re-assemble it.

Seit dem Neustart habe ich Folgendes versucht:

--assemble, schlägt aufgrund „fehlerhafter“ Festplatten fehl

--assemble --force, schlägt fehl:

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!
md/raid:md0: not enough operational devices (3/11 failed)
md/raid:md0: failed to run raid set.`

Ich habe gelesen,RAID-WiederherstellungArtikel, aber bisher ohne Erfolg.

mdadm --create --chunk=64 --size=1953512448 --assume-clean --level=6 --raid-devices=11 /dev/md0 /dev/sd{f,h,e,g,m,i,k,l,n,d}1 missing, schlägt fehl:

mdadm: /dev/sdf1 is smaller than given size. 1953512256K < 1953512448K + metadata

für alle Laufwerke. Mein Argument für --size ist „Used Dev Size / 2“ von mdadm --examine /dev/sdf1. Ich habe mdadm auf jede Version bis hinunter zu v3.1.2 heruntergestuft (als die Standardmetadaten auf 1.2 geändert wurden, weiß ich, dass ich sie nie manuell angegeben habe).

Durch Entfernen von --size kann ich das Array erstellen, aber nicht mounten:

XFS (md0): V4-Dateisystem mounten
XFS (md0): Protokoll inkonsistent (vorheriger Header nicht gefunden)
XFS (md0): Protokollkopf konnte nicht gefunden werden
XFS (md0): Einbinden/Wiederherstellen des Protokolls fehlgeschlagen: Fehler -5
XFS (md0): Einbinden des Protokolls fehlgeschlagen

Die Info

Mein mdadm --detailZustand vor der Umformung:

/dev/md0:
        Version : 1.2
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
     Array-Größe: 15628099584 (14904,12 GiB 16003,17 GB)
  Verwendete Entwicklungsgröße: 1953512448 (1863,01 GiB 2000,40 GB)
   Raid-Geräte: 10
  Geräte insgesamt: 10
    Persistenz: Superblock ist persistent

  Absichts-Bitmap: Intern

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 14:16:09 Uhr
          Zustand: sauber
 Aktive Geräte: 10
Arbeitsgeräte: 10
 Fehlerhafte Geräte: 0
  Ersatzgeräte: 0

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

           Name: ubuntu:0
           UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
         Veranstaltungen: 6037532

    Nummer Major Minor RaidDevice Status
       0 8 81 0 aktive Synchronisierung /dev/sdf1
       9 8 177 1 aktive Synchronisierung /dev/sdl1
      12 8 65 2 aktive Synchronisierung /dev/sde1
       3 8 97 3 aktive Synchronisierung /dev/sdg1
       4 8 145 4 aktive Synchronisierung /dev/sdj1
       6 8 193 5 aktive Synchronisierung /dev/sdm1
       7 8 113 6 aktive Synchronisierung /dev/sdh1
       8 8 129 7 aktive Synchronisierung /dev/sdi1
      10 8 161 8 aktive Synchronisierung /dev/sdk1
      11 8 49 9 aktive Synchronisierung /dev/sdd1

Und mdadm --examinenach dem Fehler und Neustart sind alle Festplatten wieder sichtbar:

Die Gerätepfade haben sich geändert, da vor Beginn der Umgestaltung eine Hotswap-Festplatte hinzugefügt wurde.

/dev/sdd1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 329fc32d:e9cf2ff4:3aa6c9a0:500aa445

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: 904d0c9c - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 9
   Array-Status: A.AAA...AA. ('A' == aktiv, '.' == fehlt)


/dev/sde1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: e59303ea:e613013e:ef8af657:1fc6ccab

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: b3b3f659 - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 2
   Array-Status: A.AAA...AA. ('A' == aktiv, '.' == fehlt)


/dev/sdf1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 6aa0f9d8:e7b0cc66:d2f2a600:ef305279

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3148373376 (3002,52 GiB 3223,93 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: 3beac20c – korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 0
   Array-Status: AAAAAAAAAAA. ('A' == aktiv, '.' == fehlt)


/dev/sdg1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 4b1d87a9:16027400:df71810f:3ce53c50

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: 91a563ea - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 3
   Array-Status: A.AAA...AA. ('A' == aktiv, '.' == fehlt)


/dev/sdh1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 5860268032 (2794,39 GiB 3000,46 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
  Verwendete Dev-Größe: 3907024896 (1863,01 GiB 2000,40 GB)
    Datenoffset: 262144 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 27c8fefa:8b2b74a2:9a456d34:d1a60c20

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni, 19:29:09 2015
       Prüfsumme: ee4ae103 – korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 1
   Array-Status: AAAAAA..AA. ('A' == aktiv, '.' == fehlt)


/dev/sdi1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: bebc3764:9e582fe8:01de9766:2d8c452b

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni, 19:29:09 2015
       Prüfsumme: 6632686d - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 5
   Array-Status: AAAAAA..AA. ('A' == aktiv, '.' == fehlt)


/dev/sdk1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 5860268032 (2794,39 GiB 3000,46 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
  Verwendete Dev-Größe: 3907024896 (1863,01 GiB 2000,40 GB)
    Datenoffset: 262144 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 986d9f31:3a74b90d:7800779e:31607539

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3148373376 (3002,52 GiB 3223,93 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:24:09 Uhr
       Prüfsumme: de0a23b - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 6
   Array-Status: AAAAAAAAAAA. ('A' == aktiv, '.' == fehlt)


/dev/sdl1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 5860268032 (2794,39 GiB 3000,46 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
  Verwendete Dev-Größe: 3907024896 (1863,01 GiB 2000,40 GB)
    Datenoffset: 262144 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: a5f4ac69:f6bbac94:60c1b790:db2c223e

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:28:58 Uhr
       Prüfsumme: c9909fb9 - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 7
   Array-Status: AAAAAA.AAA. ('A' == aktiv, '.' == fehlt)


/dev/sdm1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 938d9190:582eecf8:b9157fce:38705df2

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: d2462ecd - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 4
   Array-Status: A.AAA...AA. ('A' == aktiv, '.' == fehlt)


/dev/sdn1:
          Magie: a92b4efc
        Version : 1.2
    Funktionskarte: 0x5
     Array-UUID: 70485ad1:0f5f2362:e8f5489a:577ac908
           Name: ubuntu:0
  Erstellungszeit: Freitag, 27. Januar 2012, 19:20:36 Uhr
     Raid-Level: raid6
   Raid-Geräte: 11

 Verfügbare Entwicklergröße: 3907024896 (1863,01 GiB 2000,40 GB)
     Array-Größe: 17581612032 (16767,13 GiB 18003,57 GB)
    Datenoffset: 2048 Sektoren
   Super Offset: 8 Sektoren
          Zustand: sauber
    Geräte-UUID: 289f68f6:f43d8a40:2203e21c:e6cff371

Interne Bitmap: 2 Sektoren vom Superblock
  Position neu gestalten: 3196923264 (3048,82 GiB 3273,65 GB)
  Delta-Geräte: 1 (10->11)

    Aktualisierungszeit: Mittwoch, 17. Juni 2015, 19:46:34 Uhr
       Prüfsumme: 4db49d1a - korrekt
         Veranstaltungen : 6039833

         Layout: linkssymmetrisch
     Blockgröße: 64 KB

   Geräterolle: Aktives Gerät 8
   Array-Status: A.AAA...AA. ('A' == aktiv, '.' == fehlt)

Antwort1

Die gute Nachricht ist, dass alle zehn Laufwerke die gleiche Ereignisanzahl von 6039833 aufweisen.

Ich glaube, der Schlüssel zum Erfolg liegt darin, herauszufinden, warum Sie ... sehen.

md: sdl1 does not have a valid v1.2 superblock, not importing!
md: sdk1 does not have a valid v1.2 superblock, not importing!

Dies ist ein interessanter Fall und es wird sicherlich einige Studien erfordern, um eine Lösung zu finden. Wenn Sie Hilfe benötigen, kontaktieren Sie mich über den Weblink in meinem Profil.

Antwort2

Ich glaube, Sie haben hier nicht die ganze Geschichte erzählt. Ich vermute, dass der Stromausfall während der RAID-Neusynchronisierung auftrat. Wenn das so ist, funktioniert --auto-assemble nicht. Es ist Zeit, eine Wiederherstellung aus dem Backup durchzuführen oder professionelle Hilfe in Anspruch zu nehmen.

verwandte Informationen