Estoy en el proceso de migrar datos a particiones LUKS. Ahora que la unidad del sistema operativo se está ejecutando en LUKS, intenté comenzar a migrar las unidades de datos. Entonces el servidor dejó de responder.
Este dispositivo LUKS fue abierto:
cryptsetup luksOpen /dev/sdc data1
Y cualquiera de estos comandos estranguló el servidor:
pv /dev/zero > /dev/mapper/data1
pv /dev/zero > /dev/sdc
No de inmediato, pero en cuestión de segundos, el servidor se volvió inutilizable. Todo bloqueado en E/S:
root@node51 [~]# ps aux | awk '{if($8~"D"||$8=="STAT"){print $0}}'
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1197 0.0 0.0 0 0 ? D 06:39 0:00 [jbd2/dm-1-8]
root 1687 0.1 0.0 0 0 ? D 11:15 0:12 [kworker/u96:5]
root 13057 2.0 0.0 0 0 ? D 13:10 0:01 [dmcrypt_write]
root 13644 10.9 0.0 7452 784 pts/1 D+ 13:10 0:08 pv /dev/zero
root 14159 0.0 0.0 98256 6836 ? DNs 13:10 0:00 sshd: root [priv]
root 14772 0.0 0.0 29008 92 ? D 13:11 0:00 /usr/sbin/CRON -f
root 14773 0.0 0.0 98256 6748 ? DNs 13:11 0:00 sshd: root [priv]
root 15411 0.0 0.0 98256 6876 ? DNs 13:11 0:00 sshd: root [priv]
root 16009 0.1 0.0 98256 6840 ? DNs 13:11 0:00 sshd: root [priv]
root 16632 0.5 0.0 98256 6892 ? DNs 13:11 0:00 sshd: root [priv]
root 16900 0.0 0.0 5448 356 pts/3 D+ 13:11 0:00 awk {if($8~"D"||$8=="STAT"){print $0}}
root 28553 0.6 0.0 0 0 ? D 12:12 0:21 [txg_sync]
Es de destacar que, durante unos dos segundos, pvinformó que estaba copiando datos a más de 2GiB/s. Esto es tanto el caché de reescritura como las páginas sucias que se llenan (encontradas mediante monitoreo /proc/meminfo).
Posteriormente, pvregistró una 200MiB/svelocidad de escritura normal, pero todavía estaba por delante entre 2GiBy 3GiBen el caché de reescritura.
El promedio de carga del servidor aumentó más allá de las 10:00 debido a todo el bloqueo de E/S.
Se tarda un poco en cancelar la pvprueba de escritura porque es necesario vaciar la caché de reescritura, pero justo después de cancelar la prueba, el rendimiento del servidor volvió a la normalidad.
Curiosamente, estos comandos no provocan retrasos en el servidor:
# Reads from dm-crypt block device
pv /dev/mapper/data1 > /dev/zero
# Reads from the raw block device
pv /dev/sdc > /dev/zero
# Writes to a control disk of a different model
pv /dev/zero > /dev/sdi
# Reads from a control disk
pv /dev/sdi > /dev/zero
# Writes to a file on a dm-crypt ext4 filesystem on a solid-state drive
pv /dev/zero > /tmp/empty
# Reads from that same solid-state drive
pv /dev/sda > /dev/zero
Tengo estas preguntas:
- ¿Por qué las escrituras secuenciales sostenidas en este disco de datos ralentizan tanto el servidor?
- ¿Cómo puedo evitar atascar los otros discos al escribir en uno o pocos discos específicos?
- ¿Por qué este tipo de disco duro causa problemas de rendimiento, pero otros no?
Tengo seis discos del mismo modelo ( /dev/sdc,,,,, y ) para cifrar y tendrán cargas de trabajo de escritura secuencial en el futuro, por lo que no quiero que el servidor se detenga debido a este /dev/sddproblema /dev/sde./dev/sdf/dev/sdg/dev/sdh
información adicional
Hechos rápidos
Servidor: Dell PowerEdge T320
Núcleo: Linux node51 4.4.0-22-generic #39-Ubuntu SMP Thu May 5 16:53:32 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
Sistema operativo: Servidor Ubuntu 16.04 LTS Xenial Xerus de 64 bits
Disco duro problemático: Toshiba PH3500U-1I72
Tengo seis de estos discos, todos conocidos por estar en buen estado, probé dos de ellos y experimenté una caída en el rendimiento de E/S de todo el servidor con ambos. Leen y escriben 200MiB/scasi al principio.
Controlar el disco duro (sin problemas): SamsungSP1614C
Este disco tiene una velocidad de escritura sostenida de 50MiB/s. ¿Podría ser que el disco problemático sea demasiado rápido?
Controlador de disco: DELL PERC H310
A este controlador se conectan dos unidades de estado sólido y seis discos duros problemáticos, todos los cuales se pasan directamente como AHCI. El disco de control está conectado a un puerto SATA integrado en la placa base.
Programadores de E/S
root@node51 [/tmp]# tail -n +1 /sys/block/sd*/queue/scheduler
==> /sys/block/sda/queue/scheduler <==
noop [deadline] cfq
==> /sys/block/sdb/queue/scheduler <==
noop [deadline] cfq
==> /sys/block/sdc/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sdd/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sde/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sdf/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sdg/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sdh/queue/scheduler <==
[noop] deadline cfq
==> /sys/block/sdi/queue/scheduler <==
noop [deadline] cfq
Cambiar el programador de /dev/sdca noopno deadlinesupone ninguna diferencia perceptible. Cambiar el programador cfqpareció reducir un poco el retraso, pero las operaciones de E/S en los otros discos aún sufrieron.
vm.dirty*parámetros del núcleo
root@node51 [~]# sysctl -a | grep 'vm.dirty'
vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 20
vm.dirty_writeback_centisecs = 500
vm.dirtytime_expire_seconds = 43200
Ejemplos de lentitud detectada y registrada en/var/log/syslog
Sincronización del grupo de transacciones ZFS:
May 11 19:28:44 node51 kernel: [ 4080.179688] INFO: task txg_sync:3179 blocked for more than 120 seconds.
May 11 19:28:44 node51 kernel: [ 4080.179905] Tainted: P O 4.4.0-22-generic #39-Ubuntu
May 11 19:28:44 node51 kernel: [ 4080.180110] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
May 11 19:28:44 node51 kernel: [ 4080.180357] txg_sync D ffff88060b68baa8 0 3179 2 0x00000000
May 11 19:28:44 node51 kernel: [ 4080.180362] ffff88060b68baa8 ffff880616a96d00 ffff8806133ea940 ffff880603dc2940
May 11 19:28:44 node51 kernel: [ 4080.180366] ffff88060b68c000 ffff880616ad6d00 7fffffffffffffff ffff88056cb8c508
May 11 19:28:44 node51 kernel: [ 4080.180368] 0000000000000001 ffff88060b68bac0 ffffffff818211f5 0000000000000000
May 11 19:28:44 node51 kernel: [ 4080.180372] Call Trace:
May 11 19:28:44 node51 kernel: [ 4080.180381] [<ffffffff818211f5>] schedule+0x35/0x80
May 11 19:28:44 node51 kernel: [ 4080.180385] [<ffffffff81824315>] schedule_timeout+0x1b5/0x270
May 11 19:28:44 node51 kernel: [ 4080.180390] [<ffffffff810abe52>] ? default_wake_function+0x12/0x20
May 11 19:28:44 node51 kernel: [ 4080.180395] [<ffffffff810c33b2>] ? __wake_up_common+0x52/0x90
May 11 19:28:44 node51 kernel: [ 4080.180398] [<ffffffff81820744>] io_schedule_timeout+0xa4/0x110
May 11 19:28:44 node51 kernel: [ 4080.180412] [<ffffffffc05afbec>] cv_wait_common+0xbc/0x140 [spl]
May 11 19:28:44 node51 kernel: [ 4080.180416] [<ffffffff810c3a70>] ? wake_atomic_t_function+0x60/0x60
May 11 19:28:44 node51 kernel: [ 4080.180423] [<ffffffffc05afcc8>] __cv_wait_io+0x18/0x20 [spl]
May 11 19:28:44 node51 kernel: [ 4080.180487] [<ffffffffc071320e>] zio_wait+0x10e/0x1f0 [zfs]
May 11 19:28:44 node51 kernel: [ 4080.180528] [<ffffffffc069ce66>] dsl_pool_sync+0x2c6/0x430 [zfs]
May 11 19:28:44 node51 kernel: [ 4080.180573] [<ffffffffc06b85b6>] spa_sync+0x366/0xb30 [zfs]
May 11 19:28:44 node51 kernel: [ 4080.180576] [<ffffffff810abe52>] ? default_wake_function+0x12/0x20
May 11 19:28:44 node51 kernel: [ 4080.180623] [<ffffffffc06c9a4a>] txg_sync_thread+0x3ba/0x630 [zfs]
May 11 19:28:44 node51 kernel: [ 4080.180669] [<ffffffffc06c9690>] ? txg_delay+0x180/0x180 [zfs]
May 11 19:28:44 node51 kernel: [ 4080.180676] [<ffffffffc05aae31>] thread_generic_wrapper+0x71/0x80 [spl]
May 11 19:28:44 node51 kernel: [ 4080.180682] [<ffffffffc05aadc0>] ? __thread_exit+0x20/0x20 [spl]
May 11 19:28:44 node51 kernel: [ 4080.180686] [<ffffffff810a0588>] kthread+0xd8/0xf0
May 11 19:28:44 node51 kernel: [ 4080.180688] [<ffffffff810a04b0>] ? kthread_create_on_node+0x1e0/0x1e0
May 11 19:28:44 node51 kernel: [ 4080.180692] [<ffffffff8182568f>] ret_from_fork+0x3f/0x70
May 11 19:28:44 node51 kernel: [ 4080.180694] [<ffffffff810a04b0>] ? kthread_create_on_node+0x1e0/0x1e0
diario ext4:
May 11 20:46:46 node51 kernel: [ 6000.186474] INFO: task jbd2/dm-2-8:1148 blocked for more than 120 seconds.
May 11 20:46:46 node51 kernel: [ 6000.193164] Tainted: P O 4.4.0-22-generic #39-Ubuntu
May 11 20:46:46 node51 kernel: [ 6000.199950] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
May 11 20:46:46 node51 kernel: [ 6000.208323] jbd2/dm-2-8 D ffff88060a6e7c98 0 1148 2 0x00000000
May 11 20:46:46 node51 kernel: [ 6000.208330] ffff88060a6e7c98 0000000000000246 ffff8806133eb700 ffff88060b561b80
May 11 20:46:46 node51 kernel: [ 6000.208333] ffff88060a6e8000 ffff88060aeb68b8 ffff88060a6e7d88 ffff88060a6e7d70
May 11 20:46:46 node51 kernel: [ 6000.208336] ffff88060b561b80 ffff88060a6e7cb0 ffffffff818211f5 ffff8805fd6af900
May 11 20:46:46 node51 kernel: [ 6000.208339] Call Trace:
May 11 20:46:46 node51 kernel: [ 6000.208355] [<ffffffff818211f5>] schedule+0x35/0x80
May 11 20:46:46 node51 kernel: [ 6000.208361] [<ffffffff812ea0e0>] jbd2_journal_commit_transaction+0x240/0x1870
May 11 20:46:46 node51 kernel: [ 6000.208365] [<ffffffff810b6be1>] ? dequeue_entity+0x431/0xa80
May 11 20:46:46 node51 kernel: [ 6000.208368] [<ffffffff810b774a>] ? dequeue_task_fair+0x51a/0x8a0
May 11 20:46:46 node51 kernel: [ 6000.208372] [<ffffffff810c3a70>] ? wake_atomic_t_function+0x60/0x60
May 11 20:46:46 node51 kernel: [ 6000.208378] [<ffffffff810ec5fe>] ? try_to_del_timer_sync+0x5e/0x90
May 11 20:46:46 node51 kernel: [ 6000.208381] [<ffffffff812ef32a>] kjournald2+0xca/0x250
May 11 20:46:46 node51 kernel: [ 6000.208384] [<ffffffff810c3a70>] ? wake_atomic_t_function+0x60/0x60
May 11 20:46:46 node51 kernel: [ 6000.208387] [<ffffffff812ef260>] ? commit_timeout+0x10/0x10
May 11 20:46:46 node51 kernel: [ 6000.208391] [<ffffffff810a0588>] kthread+0xd8/0xf0
May 11 20:46:46 node51 kernel: [ 6000.208394] [<ffffffff810a04b0>] ? kthread_create_on_node+0x1e0/0x1e0
May 11 20:46:46 node51 kernel: [ 6000.208397] [<ffffffff8182568f>] ret_from_fork+0x3f/0x70
May 11 20:46:46 node51 kernel: [ 6000.208399] [<ffffffff810a04b0>] ? kthread_create_on_node+0x1e0/0x1e0
May 11 20:46:46 node51 kernel: [ 6292.776357] perf interrupt took too long (2539 > 2500), lowering kernel.perf_event_max_sample_rate to 50000
Respuesta1
El disco de control está conectado a un puerto SATA integrado en la placa base.
Como se indicó, los discos que experimentan problemas de tiempo de espera de descarga del diario están conectados al PERC, el mismo controlador al que están conectados los Toshiba "problemáticos".
La PERC 310 es sólo una tarjeta raid de hardware básica. Es probable que su CPU se abrume fácilmente, ya sea eso o hay un error de firmware. El AHCI directo no es un uso muy común.
Yo sugeriría que el IO se está bloqueando en el PERC y no en el sistema operativo.
Respuesta2
Esto es mucho para digerir.
Está utilizando ZFS, por lo que es muy probable que se trate de un problema con los discos de 5 TB de su grupo y, potencialmente, con la configuración de su grupo.
Estos pueden ser discos de sector 4k, por lo que se deben realizar algunas adaptaciones en su configuración ZFS para tenerlo en cuenta.
¿ Puede proporcionar su df -h, fdisk -l, y salida?zpool listzpool status -vzfs list
Respuesta3
Creo que su caché de escritura es demasiado grande en comparación con las velocidades de su dispositivo de bloqueo. Yo sugeriría lo siguiente:
vm.dirty_background_bytes = 50000000
vm.dirty_bytes = 200000000
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 20
Nunca jamás establezcas ambos *_bytesy *_ratioporque ganará el último que se establezca. Además, algunas versiones del kernel de Linux pueden tener un error en el que la configuración *_rationo funciona según lo previsto. Sugeriría usarlo *_bytescada vez.
Desafortunadamente, hasta donde yo sé, la configuración de la caché de escritura es global. Como resultado, el rendimiento de sus dispositivos más rápidos se verá afectado un poco cuando necesite reducir el tamaño de la caché de escritura global debido a algún dispositivo lento.