Estoy usando prometheus y alertmanager para publicar mensajes en slack cuando se activan alertas. Ambos están autohospedados en Kube. Las preocupaciones sobre la PII me impiden utilizar una solución de instrumentación administrada.
Estoy buscando opciones que me permitan ver el estado actual de todas las alertas de un vistazo. En este momento, una falla del sistema puede desencadenar entre 1 y 20 alertas, que se manifiestan como entre 1 y 40 mensajes flojos (uno para alerta alta y alerta baja) y es lo suficientemente ruidoso como para perderme cosas.
Mi preferencia sería una herramienta que publique, digamos, un mensaje flojo cada diez minutos y lo siga editando a medida que cambia el estado.
Experimenté con los paneles de Grafana, pero descubrí que no es práctico porque es raro que alguien lo verifique de manera proactiva.
¿Cómo observan eficientemente la salud de los estados de sus sistemas?
Respuesta1
Sin ser específico de Prometheus, un buen sistema de monitoreo le informaambosmaneras: le dice lo que cree que necesita saber y le permite encontrar lo que desea saber de la manera más rápida y eficiente posible.
Mi preferencia personal es NAGIOS, porque su parte de alerta es bastante sofisticada (múltiples canales de alerta, períodos de bloqueo, reconocimientos y escalaciones, etc.) y también porque tiene algunas vistas sinópticas muy interesantes que me permiten observar el estado de la red en un momento. mirada.
Mis favoritos personales para este último son (a) el mapa de red en modo "globo circular", que me permite ver de un vistazo el estado de alrededor de cien nodos que ejecutan casi mil comprobaciones de servicio, y (b) los "problemas de servicio no controlados". "vista, que me da una lista detallada detodoeso actualmente no está bien en mi red.
Perocualquierherramienta que haceamboscosas de manera efectiva (te informayte da sinopsis) debería ayudar. Pruebe algunos hasta que encuentre uno que funcione para usted.