Es liegt ein Problem mit den Hot-Swap-SAS-Laufwerken vor.
Ausgangsdaten: Nexenta 4.0.2 Server-basiert Supermicro (MB S5520HC, interner RAID-Controller RMS2LL080/LSI 2008), 12 HDD SAS 300G 10 HDD SATA 1T, 2 SSD 160G.
Datenträger werden in drei Pools unterteilt:
- System SAS 2x300 Spiegel
- „schnelles“ Array aus SAS-Laufwerken 10 (9 + 1 Ersatz)
- "langsames" SATA-Array mit 10 Laufwerken
Irgendwann waren zwei SAS-Laufwerke außer Betrieb:
NAME STATE READ WRITE CKSUM
sas DEGRADED 0 0 0
raidz1-0 DEGRADED 0 0 0
c1t5000C50007DCF821d0 ONLINE 0 0 0
c1t5000CCA0052FFDD5d0 ONLINE 0 0 0
c1t5000CCA005349D15d0 ONLINE 0 0 0
spare-3 FAULTED 0 0 0
c1t5000CCA00534D625d0 FAULTED 0 0 0 external device fault
c1t5000CCA0053658B5d0 ONLINE 0 0 0
c1t5000CCA00534F2D5d0 ONLINE 0 0 0
c1t5000CCA00534F33Dd0 ONLINE 0 0 0
c1t5000CCA00534F471d0 ONLINE 0 0 0
c1t5000CCA0053571D1d0 ONLINE 0 0 0
c1t5000CCA00535A3A5d0 ONLINE 0 0 0
logs
c0t500151795950C847d0 ONLINE 0 0 0
spares
c1t5000CCA0053658B5d0 INUSE currently in use
pool: syspool
state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
Sufficient replicas exist for the pool to continue functioning in a
degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
repaired.
scan: scrub repaired 0 in 0h3m with 0 errors on Sun Oct 4 03:03:56 2015
config:
NAME STATE READ WRITE CKSUM
syspool DEGRADED 0 0 0
mirror-0 DEGRADED 0 0 0
c1t5000C500072BB235d0s0 FAULTED 1 20 0 external device fault
c1t5000C500072BE655d0s0 ONLINE 0 0 0
Führen Sie als Nächstes die Ersatzprozedur zpool offline / detach und cfgadm -c unconfigure für jede Festplatte durch. Nach der Installation einer Festplatte (in diesem Fall Syspool) können Sie in den Protokollen Folgendes sehen:
Oct 9 18:28:43 nxstor genunix: [ID 408114 kern.info] /pci@0,0/pci8086,3a40@1c/pci8086,350e@0/iport@ff/disk@w5000c50007dcf7ed,0 (sd26) online
Oct 9 18:28:43 nxstor pcplusmp: [ID 805372 kern.info] pcplusmp: pci-ide (pci-ide) instance 0 irq 0x12 vector 0x41 ioapic 0x8 intin 0x12 is bound to cpu 14
Oct 9 18:28:43 nxstor pcplusmp: [ID 805372 kern.info] pcplusmp: pci-ide (pci-ide) instance 1 irq 0x15 vector 0x42 ioapic 0x8 intin 0x15 is bound to cpu 15
Oct 9 18:28:43 nxstor pcplusmp: [ID 805372 kern.info] pcplusmp: pci-ide (pci-ide) instance 0 irq 0x12 vector 0x41 ioapic 0x8 intin 0x12 is bound to cpu 0
Oct 9 18:28:43 nxstor pcplusmp: [ID 805372 kern.info] pcplusmp: pci-ide (pci-ide) instance 1 irq 0x15 vector 0x41 ioapic 0x8 intin 0x15 is bound to cpu 1
Oct 9 18:39:53 nxstor genunix: [ID 888150 kern.warning] WARNING: Device not found in device tree. Skipping device unretire: /pci@0,0/pci8086,3a40@1c/pci8086,350e@0/iport@ff/disk@w5000c500072bb235,0
Oct 9 18:39:53 nxstor genunix: [ID 484473 kern.notice] NOTICE: Not retired: /pci@0,0/pci8086,3a40@1c/pci8086,350e@0/iport@ff/disk@w5000c500072bb235,0
Oct 9 18:39:53 nxstor genunix: [ID 888150 kern.warning] WARNING: Device not found in device tree. Skipping device unretire: /pci@0,0/pci8086,3a40@1c/pci8086,350e@0/iport@ff/disk@w5000cca00534d625,0
Bei den Datenträgern „Disk @ w5000cca00534d625,0“ und „Disk @ w5000c500072bb235,0“ handelt es sich um zwei problematische Datenträger, die aus dem System entfernt wurden.
Installierte Festplatte definiert durch cfgadm:
root@nxstor:/volumes# cfgadm -al
Ap_Id Type Receptacle Occupant Condition
Slot2 sas/hp connected configured ok
c1 scsi-sas connected configured unknown
c1::dsk/c1t5000C50007DCF7EDd0 disk connected configured unknown
<cut>
Dieses Disk-Format erkennt das Dienstprogramm fdisk allerdings auch nicht:
root@nxstor:/volumes# fdisk /dev/rdsk/c1t5000C50007DCF7EDd0
fdisk: Cannot stat device /dev/rdsk/c1t5000C50007DCF7EDd0.
root@nxstor:/volumes#
root@nxstor:/volumes# ls -la /dev/rdsk/c1t5000C50007DCF7EDd0
/dev/rdsk/c1t5000C50007DCF7EDd0: No such file or directory
Darüber hinaus sehen NMS Folgendes:
Trigger Name: nms-fmacheck
Fault ID: 5
Error Repeat Count: 5
Error Severity: CRITICAL
Error TimeStamp: Tue Oct 13 14:21:54 2015
Description:
FMA Module: ereport.io.scsi.disk.attach-failure
Details:
List of last errors :
Oct 13 13:48:02.6970 ereport.io.scsi.cmd.disk.tran
<cut>
Oct 13 14:21:05.7075 ereport.io.scsi.cmd.disk.tran
Oct 13 14:21:53.6196 ereport.io.scsi.cmd.disk.dev.rqs.derr
Oct 13 14:21:53.6197 ereport.io.scsi.disk.attach-failure
List of last errors :
=========: Event Details :========
SOURCE: ereport.io.scsi.disk.attach-failure
nvlist version: 0
class = ereport.io.scsi.disk.attach-failure
ena = 0x58420a3d24100401
detector = (embedded nvlist)
nvlist version: 0
version = 0x0
scheme = dev
device-path = /pci@0,0/pci8086,3a40@1c/pci8086,350e@0/iport@ff/disk@w5000c50007dcf7ed,0
devid = id1,sd@n5000c50007dcf7ef
(end detector)
devid = id1,sd@n5000c50007dcf7ef
__ttl = 0x1
__tod = 0x561cdb41 0x24f05942
=========
Wenn wir davon ausgehen, dass das neue Laufwerk auch defekt ist und andere einbauen, erhalten wir ein noch seltsameres Bild. Die Protokolle der Installationsdiskette werden überhaupt nicht angezeigt. Aber die Informationen werden beim Herausnehmen der Diskette angezeigt:
Oct 13 14:50:26 nxstor scsi: [ID 107833 kern.notice] /pci@0,0/pci8086,3a40@1c/pci8086,350e@0 (mpt_sas0):
Oct 13 14:50:26 nxstor PhysDiskNum 2 with DevHandle 0x23 in slot 0 for enclosure with handle 0x0 is now offline
Empirisch wurde festgestellt, dass das Problem nur bei SAS-Laufwerken auftritt. Dies hat wiederum auf das Problem im cfgadm mit MPxIO-Treiber und mpt_sas hingewiesen (es stellte sich heraus, dass dies ein bekanntes Solaris-Problem ist und es wurde geschrieben, dass es behoben wurde, aber es ist nicht klar, ob es in OpenSolaris behoben wurde).
Was ist als nächstes zu tun? Wer hatte schon einmal ein ähnliches Problem?
Treiber und Firmware für SAS-Controller: MPTSAS HBA-Treiber 00.00.00.24, Firmware-Version 5.40.1.0. Zwei Arten von SAS-Laufwerken: Hitachi Ultrastar 15K300 HUS153030VLS300 und Seagate Cheetah 15K.5 ST3300655SS.