☰

Deaktivieren von E-Mails für Prometheus Alertmanager basierend auf dem Schweregrad

tag-icon • tag-icon alerts prometheus alertmanager
Deaktivieren von E-Mails für Prometheus Alertmanager basierend auf dem Schweregrad

Wir überwachen einen HPC-Rechnercluster mit einer Kombination aus Prometheus, Alertmanager und Grafana. Auf unseren Rechnern kommt es häufig vor, dass der SWAP-Speicher praktisch bis zum Limit gefüllt wird. Obwohl es nützlich ist, die entsprechenden infoWarnungen auf dieser Ebene im Grafana-Warnungs-Dashboard zu sehen, möchten wir die entsprechenden E-Mails lieber nicht versenden.

Gibt es eine Möglichkeit, beispielsweise alle Warn-E-Mails stummzuschalten/zu deaktivieren, deren Schweregrad infoin der alertmanager.ymlKonfigurationsdatei angegeben ist?

Die Alarme sind alle ähnlich definiert wie dieser (angepasst vonhttps://awesome-prometheus-alerts.grep.to/rules.html):

  - alert: HostSwapIsFillingUp
    expr: (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes)) * 100 > 95
    for: 60m
    labels:
      severity: info
    annotations:
      summary: Host swap is filling up (instance {{ $labels.instance }})
      description: "Swap is filling up (>95%)\n  VALUE = {{ $value }}"

und der entsprechende Abschnitt in der alertmanager.ymlDatei lautet

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'
    email_configs:
      - to: 'admins@DOMAIN'

Gibt es eine Möglichkeit, sicherzustellen, dass die infoWarnungen auf dieser Ebene niemals E-Mails auslösen, während sie gleichzeitig weiterhin „ausgelöst“ werden, sodass Grafana sie anzeigt?

Antwort1

Nach einigem Ausprobieren scheint Folgendes zu funktionieren:

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'

Die Idee ist also, den Empfänger einfach zu dekonfigurieren. Damit werden keine E-Mails mehr generiert, die Alarme werden aber weiterhin in Grafana angezeigt.

Ich werde dies hier lassen, falls jemand anders auf die gleiche Frage stößt.

verwandte Informationen