☰

Deshabilitar el correo electrónico para Prometheus Alertmanager según la gravedad

tag-icon • tag-icon alerts prometheus alertmanager
Deshabilitar el correo electrónico para Prometheus Alertmanager según la gravedad

Estamos monitoreando un clúster informático HPC utilizando una combinación de Prometheus, Alertmanager y Grafana. En nuestras máquinas, cosas como que la memoria SWAP se llena esencialmente hasta el límite suceden con frecuencia y, si bien es útil ver las infoalertas de nivel correspondientes en el panel de alertas de Grafana, preferiblemente no enviaríamos los correos electrónicos correspondientes.

¿Hay alguna forma de silenciar/deshabilitar, por ejemplo, todos los correos electrónicos de alerta que tengan gravedad infoen el alertmanager.ymlarchivo de configuración?

Todas las alertas están definidas de manera similar a esta (ajustadas dehttps://awesome-prometheus-alerts.grep.to/rules.html):

  - alert: HostSwapIsFillingUp
    expr: (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes)) * 100 > 95
    for: 60m
    labels:
      severity: info
    annotations:
      summary: Host swap is filling up (instance {{ $labels.instance }})
      description: "Swap is filling up (>95%)\n  VALUE = {{ $value }}"

y la sección correspondiente en el alertmanager.ymlarchivo dice

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'
    email_configs:
      - to: 'admins@DOMAIN'

¿Existe la posibilidad de asegurarse de que las infoalertas de nivel nunca generen correos electrónicos y al mismo tiempo sigan "disparándose", de modo que Grafana los muestre?

Respuesta1

Después de algunas pruebas y errores, lo siguiente parece funcionar:

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'

Entonces la idea es simplemente desconfigurar el receptor. Con esto, ya no se generan correos electrónicos, pero las alertas aún se muestran en Grafana.

Dejaré esto aquí en caso de que alguien más tenga la misma pregunta.

información relacionada