У нас есть сервер DELL R610, подключенный к коммутатору DELL PowerConnect 5424. Этот коммутатор подключен к DELL Equallogic SAN. DELL R610 служит сервером базы данных MySQL, SAN предоставляет каталог данных, смонтированный как диск iSCSI.
Согласно ранее заданному мной вопросуздесь, мы наблюдаем, что после перезагрузки MySQL не запускается самостоятельно. Это также прерывистое поведение. При расследовании мы обнаружили, что служба инициатора iSCSI не выполняет команды при запуске. При изучении журналов мы обнаружили, что есть небольшой всплеск, когда запускаются наши сетевые интерфейсы. Сделал grep из журналов bnx2:
bnx2: Broadcom NetXtreme II Gigabit Ethernet Driver bnx2 v2.2.4 (Aug 05, 2013)
bnx2 0000:01:00.0 eth0: Broadcom NetXtreme II BCM5709 1000Base-T (C0) PCI Express found at mem d6000000, IRQ 36, node addr 5c:f9:dd:f1:8a:ea
bnx2 0000:01:00.1 eth1: Broadcom NetXtreme II BCM5709 1000Base-T (C0) PCI Express found at mem d8000000, IRQ 48, node addr 5c:f9:dd:f1:8a:ec
bnx2 0000:02:00.0 eth2: Broadcom NetXtreme II BCM5709 1000Base-T (C0) PCI Express found at mem da000000, IRQ 32, node addr 5c:f9:dd:f1:8a:ee
bnx2 0000:02:00.1 eth3: Broadcom NetXtreme II BCM5709 1000Base-T (C0) PCI Express found at mem dc000000, IRQ 42, node addr 5c:f9:dd:f1:8a:f0
bnx2 0000:02:00.0: irq 78 for MSI/MSI-X
bnx2 0000:02:00.0: irq 79 for MSI/MSI-X
bnx2 0000:02:00.0: irq 80 for MSI/MSI-X
bnx2 0000:02:00.0: irq 81 for MSI/MSI-X
bnx2 0000:02:00.0: irq 82 for MSI/MSI-X
bnx2 0000:02:00.0: irq 83 for MSI/MSI-X
bnx2 0000:02:00.0: irq 84 for MSI/MSI-X
bnx2 0000:02:00.0: irq 85 for MSI/MSI-X
bnx2 0000:02:00.0: irq 86 for MSI/MSI-X
bnx2 0000:02:00.0 em3: using MSIX
bnx2 0000:01:00.0: irq 87 for MSI/MSI-X
bnx2 0000:01:00.0: irq 88 for MSI/MSI-X
bnx2 0000:01:00.0: irq 89 for MSI/MSI-X
bnx2 0000:01:00.0: irq 90 for MSI/MSI-X
bnx2 0000:01:00.0: irq 91 for MSI/MSI-X
bnx2 0000:01:00.0: irq 92 for MSI/MSI-X
bnx2 0000:01:00.0: irq 93 for MSI/MSI-X
bnx2 0000:01:00.0: irq 94 for MSI/MSI-X
bnx2 0000:01:00.0: irq 95 for MSI/MSI-X
bnx2 0000:01:00.0 em1: using MSIX
bnx2 0000:01:00.1: irq 96 for MSI/MSI-X
bnx2 0000:01:00.1: irq 97 for MSI/MSI-X
bnx2 0000:01:00.1: irq 98 for MSI/MSI-X
bnx2 0000:01:00.1: irq 99 for MSI/MSI-X
bnx2 0000:01:00.1: irq 100 for MSI/MSI-X
bnx2 0000:01:00.1: irq 101 for MSI/MSI-X
bnx2 0000:01:00.1: irq 102 for MSI/MSI-X
bnx2 0000:01:00.1: irq 103 for MSI/MSI-X
bnx2 0000:01:00.1: irq 104 for MSI/MSI-X
bnx2 0000:01:00.1 em2: using MSIX
bnx2 0000:01:00.0 em1: NIC Copper Link is Up, 100 Mbps full duplex
bnx2 0000:02:00.0 em3: NIC Copper Link is Up, 1000 Mbps full duplex
bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
**bnx2 0000:01:00.1 em2: NIC Copper Link is Down**
bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
Наш текущий обходной путь — перезапустить сервер. До сих пор при перезапуске сервера все работало гладко, и сбой, показанный в журналах выше, не наблюдался.
Может ли кто-нибудь помочь в том, как действовать дальше и устранить неполадки, которые не работают? Я ссылалсяздесьно это, скорее всего, не мой случай, так как наша проблема возникает только при перезагрузке. Кроме этого, нет никаких ошибок NIC в ifconfig и нет никаких потерь пакетов в NIC. Мы никогда не сталкивались с какими-либо проблемами сети после того, как сервер был запущен.
DELL R610 работает под управлением Ubuntu 14.04.
Еще несколько логов, предложенных @Dom:
$ cat logfile.mysql.withoutdate |grep -B 15 -A 15 "NIC Copper Link is Down"
Loading iSCSI transport class v2.0-870.
bnx2 0000:01:00.1 em2: using MSIX
IPv6: ADDRCONF(NETDEV_UP): em2: link is not ready
iscsi: registered transport (tcp)
iscsi: registered transport (iser)
multipathd (2470): /proc/2470/oom_adj is deprecated, please use /proc/2470/oom_score_adj instead.
bnx2 0000:01:00.0 em1: NIC Copper Link is Up, 100 Mbps full duplex
IPv6: ADDRCONF(NETDEV_CHANGE): em1: link becomes ready
bnx2 0000:02:00.0 em3: NIC Copper Link is Up, 1000 Mbps full duplex
, receive & transmit flow control ON
IPv6: ADDRCONF(NETDEV_CHANGE): em3: link becomes ready
bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
, receive & transmit flow control ON
IPv6: ADDRCONF(NETDEV_CHANGE): em2: link becomes ready
bnx2 0000:01:00.1 em2: NIC Copper Link is Down
bnx2 0000:01:00.1 em2: NIC Copper Link is Up, 1000 Mbps full duplex
, receive & transmit flow control ON