Estou usando o prometheus e o alertmanager para postar mensagens no Slack quando os alertas são disparados. Ambos são auto-hospedados no Kube. Preocupações com PII me impedem de usar uma solução de instrumentação gerenciada.
Estou procurando opções que me permitam ver rapidamente o estado atual de todos os alertas. No momento, uma falha no sistema pode acionar de 1 a 20 alertas, manifestando-se como 1 a 40 mensagens de folga (uma para alerta alto, uma para alerta baixo) e é barulhenta o suficiente para que eu possa perder coisas.
Minha preferência seria uma ferramenta que publicasse, digamos, uma mensagem frouxa a cada dez minutos e continuasse editando-a conforme o status muda.
Eu experimentei os painéis do Grafana, mas descobri que não é prático porque é raro alguém verificá-los proativamente.
Como vocês observam com eficiência a saúde dos estados de seus sistemas?
Responder1
Sem ser específico do prometheus, um bom sistema de monitoramento informaambosmaneiras: informa o que acredita que você precisa saber e permite que você encontre o que deseja saber da maneira mais rápida e eficiente possível.
Minha preferência pessoal é o NAGIOS, porque o alerta final dele é bastante sofisticado (vários canais de alerta, períodos de blackout, confirmações e escalonamentos, etc.) e também porque tem algumas visualizações sinópticas muito boas que me permitem avaliar a integridade da rede em um olhar.
Meus favoritos pessoais para este último são (a) o mapa de rede no modo "balão circular", que me permite ver rapidamente a integridade de cerca de cem nós executando quase mil verificações de serviço, e (b) os "problemas de serviço não tratados "view, que me dá uma lista detalhada detudoisso não está certo na minha rede.
Masqualquerferramenta que fazamboscoisas de forma eficaz (informa vocêedá sinopses) deve ajudar. Experimente alguns até encontrar um que funcione para você.