Betriebssystem: Debian Squeeze Kernel: 2.6.32-5-amd64 mdadm-Version: 3.1.4 (31. August 2010)
mdarrays
md1 = raid1 (this is working) (devices: /dev/sd[fg]1)
md0 = raid6 (previously raid5, now failing to start) (devices: /dev/sd[abcde]1)
Beschreibung: Ich hatte ein RAID 5 mit 4 Festplatten, das ich in ein RAID 6 mit 6 Festplatten umwandeln wollte. Ich habe dem Array zwei weitere Festplatten hinzugefügt und mit der Neustrukturierung begonnen. Zu Beginn des Vorgangs habe ich eine Festplatte verloren (Smart Errors). Die Festplatte wurde entfernt und die Neustrukturierung fortgesetzt. Während der Neustrukturierung hatte ich drei Stromausfälle, aber nach jedem Einschalten wurde die Neustrukturierung fortgesetzt. Die Neustrukturierung wurde abgeschlossen, aber eine Festplatte wurde „entfernt“, d. h. sie hat ihre Version nicht an das Betriebssystem zurückgemeldet (erschien als unbekanntes Modell).
Zu diesem Zeitpunkt fehlten im RAID 6 zwei Festplatten, und das Array war betriebsbereit (ich warte immer noch auf die Ersatzfestplatte, daher fehlt mir eine Festplatte, um das Array zu vervollständigen).
Ich beschloss, den Rechner auszuschalten und wieder einzuschalten, um zu sehen, ob die verlorene Festplatte wieder auftauchte. Das tat sie, aber das Array konnte nicht zusammengesetzt werden und es trat der folgende Fehler auf:
madm --assemble /dev/md0
mdadm: superblock on /dev/sdd1 doesn't match others - assembly aborted
Ich habe es auch mit mdadm --assemble --force /dev/md0 versucht, aber mit genau demselben Fehler.
Jetzt habe ich folgendes probiert:
mdadm --verbose --assemble /dev/md0
mdadm: looking for devices for /dev/md0
mdadm: cannot open device /dev/md/1: Device or resource busy
mdadm: /dev/md/1 has wrong uuid.
mdadm: cannot open device /dev/sdg1: Device or resource busy
mdadm: /dev/sdg1 has wrong uuid.
mdadm: cannot open device /dev/sdg: Device or resource busy
mdadm: /dev/sdg has wrong uuid.
mdadm: cannot open device /dev/sdf2: Device or resource busy
mdadm: /dev/sdf2 has wrong uuid.
mdadm: cannot open device /dev/sdf1: Device or resource busy
mdadm: /dev/sdf1 has wrong uuid.
mdadm: cannot open device /dev/sdf: Device or resource busy
mdadm: /dev/sdf has wrong uuid.
mdadm: no RAID superblock on /dev/sde2
mdadm: /dev/sde2 has wrong uuid.
mdadm: no RAID superblock on /dev/sde
mdadm: /dev/sde has wrong uuid.
mdadm: cannot open device /dev/sdd2: Device or resource busy
mdadm: /dev/sdd2 has wrong uuid.
mdadm: superblock on /dev/sdd1 doesn't match others - assembly aborted
Außerdem lautet die Ausgabe von mdadm -Esvvv:
mdadm -Esvvv
mdadm: No md superblock detected on /dev/md/1.
/dev/sdg1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b7433980:f3a086eb:7f8f8a15:093b5909
Name : cell01:1 (local to host cell01)
Creation Time : Sun Apr 8 15:30:47 2012
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 1681342464 (801.73 GiB 860.85 GB)
Array Size : 1681342192 (801.73 GiB 860.85 GB)
Used Dev Size : 1681342192 (801.73 GiB 860.85 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 74d30246:840a1947:b4eeecc1:0dd95b2a
Update Time : Fri Aug 24 00:06:16 2012
Checksum : b302004f - correct
Events : 244
Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sdg.
/dev/sdf2:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b7433980:f3a086eb:7f8f8a15:093b5909
Name : cell01:1 (local to host cell01)
Creation Time : Sun Apr 8 15:30:47 2012
Raid Level : raid1
Raid Devices : 2
Avail Dev Size : 1681342464 (801.73 GiB 860.85 GB)
Array Size : 1681342192 (801.73 GiB 860.85 GB)
Used Dev Size : 1681342192 (801.73 GiB 860.85 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 5847c4e4:319a9c6e:353f67c8:765e4b47
Update Time : Fri Aug 24 00:06:16 2012
Checksum : 9cb0d9ca - correct
Events : 244
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sdf1.
mdadm: No md superblock detected on /dev/sdf.
mdadm: No md superblock detected on /dev/sde2.
/dev/sde1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 5343f9b9:ccb86e50:33ed2a4b:d494c7dc
Name : cell01:0 (local to host cell01)
Creation Time : Sat Jul 2 11:22:04 2011
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 3904927744 (1862.01 GiB 1999.32 GB)
Array Size : 15619706880 (7448.06 GiB 7997.29 GB)
Used Dev Size : 3904926720 (1862.01 GiB 1999.32 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : d13f32aa:7da122d9:77ba06f0:bc57d063
Update Time : Thu Aug 23 22:15:58 2012
Checksum : 6212fa6e - correct
Events : 134404
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 5
Array State : AA.A.A ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sde.
mdadm: No md superblock detected on /dev/sdd2.
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x4
Array UUID : 5343f9b9:ccb86e50:33ed2a4b:d494c7dc
Name : cell01:0 (local to host cell01)
Creation Time : Sat Jul 2 11:22:04 2011
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 3904927744 (1862.01 GiB 1999.32 GB)
Array Size : 15619706880 (7448.06 GiB 7997.29 GB)
Used Dev Size : 3904926720 (1862.01 GiB 1999.32 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 3d05a6b3:3a05d5bc:fc1d01a6:10c055eb
Reshape pos'n : 7732852736 (7374.62 GiB 7918.44 GB)
Delta Devices : 1 (5->6)
New Layout : left-symmetric
Update Time : Thu Aug 23 09:48:17 2012
Checksum : 83a30996 - correct
Events : 134174
Layout : left-symmetric-6
Chunk Size : 512K
Device Role : Active device 2
Array State : AAAA.A ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sdd.
mdadm: No md superblock detected on /dev/sda2.
/dev/sda1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 5343f9b9:ccb86e50:33ed2a4b:d494c7dc
Name : cell01:0 (local to host cell01)
Creation Time : Sat Jul 2 11:22:04 2011
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 3904927744 (1862.01 GiB 1999.32 GB)
Array Size : 15619706880 (7448.06 GiB 7997.29 GB)
Used Dev Size : 3904926720 (1862.01 GiB 1999.32 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : c66da6b9:aa010cbc:8e4ab376:7a623f21
Update Time : Thu Aug 23 22:15:58 2012
Checksum : 988b9d9b - correct
Events : 134404
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : AA.A.A ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sda.
mdadm: No md superblock detected on /dev/sdc2.
/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 5343f9b9:ccb86e50:33ed2a4b:d494c7dc
Name : cell01:0 (local to host cell01)
Creation Time : Sat Jul 2 11:22:04 2011
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 3904927744 (1862.01 GiB 1999.32 GB)
Array Size : 15619706880 (7448.06 GiB 7997.29 GB)
Used Dev Size : 3904926720 (1862.01 GiB 1999.32 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : e7afc574:abca367c:ebb58fe5:c4961cb7
Update Time : Thu Aug 23 22:15:58 2012
Checksum : 188fd371 - correct
Events : 134404
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AA.A.A ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sdc.
mdadm: No md superblock detected on /dev/sdb2.
/dev/sdb1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 5343f9b9:ccb86e50:33ed2a4b:d494c7dc
Name : cell01:0 (local to host cell01)
Creation Time : Sat Jul 2 11:22:04 2011
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 3904927744 (1862.01 GiB 1999.32 GB)
Array Size : 15619706880 (7448.06 GiB 7997.29 GB)
Used Dev Size : 3904926720 (1862.01 GiB 1999.32 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : clean
Device UUID : fb3a88de:834f2bc0:452db777:48ef3b21
Update Time : Thu Aug 23 22:15:58 2012
Checksum : c28d282b - correct
Events : 134404
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AA.A.A ('A' == active, '.' == missing)
mdadm: No md superblock detected on /dev/sdb.
Der einzige Unterschied, den ich sehe, ist, dass die Feature-Map für die nicht übereinstimmende Festplatte auf 0x4 und für die anderen auf 0x0 eingestellt ist. Die UUID für das Array ist auf allen Festplatten gleich.
Ich bin ziemlich sicher, dass die Daten noch da sind, und ich bin versucht, den Superblock für /dev/sdd1 auf Null zu setzen und ihn erneut zum Array hinzuzufügen, da ich davon ausgehe, dass das Array mit zwei fehlenden Festplatten funktionieren sollte. Da ich jedoch kein Backup habe (ja, ich weiß, das ist dumm) und mir die Daten ziemlich wichtig sind (der Grund, warum ich mich für RAID 6 entschieden habe), möchte ich die absolut sicherste Methode zur Wiederherstellung des Arrays ausprobieren.
Ich habe auch überlegt, auf Debian Wheezy zu aktualisieren, da es über ein neueres Mdadm verfügt, aber ich würde lieber bei Debian Stable bleiben, bis Wheezy veröffentlicht wird.
Wie Sie sich vorstellen können, ist das ziemlich beängstigend und ich möchte meine Daten nicht verlieren. Daher wäre ich dankbar, wenn mir jemand mit dem nötigen Fachwissen und der nötigen Erfahrung sagen könnte, was ich als Nächstes tun soll.
Antwort1
Die Lösung war überraschend einfach
mdadm --assemble /dev/md0 /dev/sd1 /dev/sdb1 /dev/sdc1 /dev/sde1
Dann
mdadm --add /dev/md0 /dev/sdd1
Der Raid erholt sich jetzt!