Trabajando con un Centos7 con kernel 3.10, ventana acoplable 19.03.12.
Finalmente, una de las imágenes de la ventana acoplable se llenó y escribió todo el /var/
montaje al 100%, lo que provocó que tanto el servicio de la ventana acoplable como los contenedores en ejecución fallaran.
Ahora quedan 2 procesos zombies que no puedo matar (con kill -9
o killall
:
ps axjf | grep docker
1 30215 30215 30215 ? -1 Ds 0 0:00 [docker-entrypoi]
1 32063 32063 32063 ? -1 Zsl 0 0:00 [dockerd] <defunct>
Mientras tanto, estoy /var/log/messages
recibiendo:
kernel: XFS (dm-8): Failing async write on buffer block 0xb78170. Retrying async write.
kernel: XFS (dm-8): metadata I/O error: block 0xb78170 ("xfs_buf_iodone_callback_error") error 28 numblks 8
donde parece que algún IO todavía está intentando escribir algunos datos. Esto parece repetirse en un ciclo infinito y no estoy seguro de cómo detenerlo.
du -sh
y ls -al
se cuelga rápidamente al inspeccionar los /var/lib/docker
archivos.
Además, service docker stop/start
también cuelga; top
informa tiempos de carga/espera muy altos (alrededor 23
de una máquina de 4 núcleos).
Mi pregunta:Sin reiniciar la máquina, ¿cuál sería la mejor manera de detener limpiamente las xfs
escrituras, eliminar los procesos zombies y reiniciar los servicios?
Respuesta1
Libere algo de espacio en disco.
El error informado por los mensajes del kernel que publicó es 28, "No queda espacio en el dispositivo".