Я пытаюсь развернуть Ceph Quincy с помощью ceph-ansible на Rocky9. У меня возникли некоторые проблемы, и я не знаю, где искать причину.
PS: Я выполнил такое же развертывание на Rocky8 с использованием ceph-ansible для версии Pacific на том же оборудовании, и все работало отлично.
У меня есть 03 контроллера узлов: mon, mgr, mdss и rgws. И 27 узлов osd: с 04 дисками nvme (osd) каждый. Я использую сеть 10Gb с jumbo frames.
Развертывание начинается без проблем, 03 монитора создаются правильно, затем создаются 03 менеджера, после этого подготавливается и форматируется OSD, до этого момента все работает нормально, но когда запускается задача «wait for all osd to be up», что означает запуск всех контейнеров OSD во всех узлах OSD, все идет наперекосяк, мониторы теряют кворум, ceph -s долго отвечает, не все OSD активируются, и в конце развертывание завершается ошибкой.
cluster 2023-03-06T12:00:26.431947+0100 mon.controllera (mon.0) 3864 : cluster [WRN] [WRN] MON_DOWN: 1/3 mons down, quorum controllera,controllerc
cluster 2023-03-06T12:00:26.431953+0100 mon.controllera (mon.0) 3865 : cluster [WRN] mon.controllerb (rank 1) addr [v2:20.1.0.27:3300/0,v1:20.1.0.27:6789/0] is down (out of quorum)
Контейнер монитора в двух моих узлах контроллеров сохраняет 100% загрузку ЦП.
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
068e4e55f299 ceph-mon-controllera 99.91% 58.12MiB / 376.1GiB 0.02% 0B / 0B 122MB / 85.3MB 28 <--------
87730f89420d ceph-mgr-controllera 0.32% 408.2MiB / 376.1GiB 0.11% 0B / 0B 181MB / 0B 35
Может ли это быть проблемой ресурсов? У контейнеров монитора недостаточно ресурсов ЦП, ОЗУ и т. д. для обработки всех запускаемых OSD? Если да, то как это обнаружить? И как это исправить?
Заранее спасибо.
С уважением.