Estou tentando implantar o Ceph Quincy usando ceph-ansible no Rocky9. Estou tendo alguns problemas e não sei onde procurar o motivo.
PS: Fiz a mesma implantação no Rocky8 usando ceph-ansible para a versão Pacific no mesmo hardware e funcionou perfeitamente.
Tenho 03 nós controladores: mon, mgr, mdss e rgws. E 27 nós osd: com 04 discos nvme (osd) cada. Estou usando uma rede de 10 Gb com jumbo frames.
A implantação começa sem problemas, os 03 monitores são criados corretamente, depois são criados os 03 gerenciadores, depois disso o OSD é preparado e formatado, até aqui está tudo funcionando bem, mas quando a tarefa "esperar todos osd estarem ativos" é iniciado, o que significa iniciar todos os contêineres de OSDs em todos os nós OSD, as coisas vão mal, os monitores ficam fora do quorum, ceph -s leva muito tempo para responder e nem todos os OSDs estão sendo ativados, e a implantação falha no final .
cluster 2023-03-06T12:00:26.431947+0100 mon.controllera (mon.0) 3864 : cluster [WRN] [WRN] MON_DOWN: 1/3 mons down, quorum controllera,controllerc
cluster 2023-03-06T12:00:26.431953+0100 mon.controllera (mon.0) 3865 : cluster [WRN] mon.controllerb (rank 1) addr [v2:20.1.0.27:3300/0,v1:20.1.0.27:6789/0] is down (out of quorum)
O contêiner do monitor em 2 dos nós do meu controlador permanece com 100% de utilização da CPU.
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
068e4e55f299 ceph-mon-controllera 99.91% 58.12MiB / 376.1GiB 0.02% 0B / 0B 122MB / 85.3MB 28 <--------
87730f89420d ceph-mgr-controllera 0.32% 408.2MiB / 376.1GiB 0.11% 0B / 0B 181MB / 0B 35
Isso poderia ser um problema de recursos? os contêineres do monitor não possuem recursos suficientes de CPU, RAM, etc. para lidar com todos os OSDs que estão sendo iniciados? Se sim, como posso encontrar isso? e como posso corrigi-lo?
Desde já, obrigado.
Cumprimentos.