☰

Отключение электронной почты для Prometheus Alertmanager в зависимости от серьезности

tag-icon • tag-icon alerts prometheus alertmanager
Отключение электронной почты для Prometheus Alertmanager в зависимости от серьезности

Мы отслеживаем вычислительный кластер HPC, используя комбинацию Prometheus, Alertmanager и Grafana. На наших машинах часто происходят такие вещи, как заполнение памяти SWAP до предела, и хотя полезно видеть соответствующие infoоповещения уровня на панели Grafana Alerts, мы бы предпочли не отправлять соответствующие электронные письма.

Есть ли способ отключить все, скажем, оповещения по электронной почте, infoв alertmanager.ymlфайле конфигурации которых указан уровень серьезности?

Все оповещения определяются аналогично этому (скорректированному сhttps://awesome-prometheus-alerts.grep.to/rules.html):

  - alert: HostSwapIsFillingUp
    expr: (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes)) * 100 > 95
    for: 60m
    labels:
      severity: info
    annotations:
      summary: Host swap is filling up (instance {{ $labels.instance }})
      description: "Swap is filling up (>95%)\n  VALUE = {{ $value }}"

и соответствующий раздел в alertmanager.ymlфайле гласит:

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'
    email_configs:
      - to: 'admins@DOMAIN'

Есть ли возможность сделать так, чтобы infoоповещения уровня -никогда не вызывали отправку писем по электронной почте, но при этом продолжали «срабатывать», чтобы Grafana их отображала?

решение1

После некоторых проб и ошибок, похоже, следующее сработало:

  routes:
    - match:
        severity: 'warning'
      repeat_interval: 24h
      continue: true
    - match:
        severity: 'info'
      repeat_interval: 24h
      continue: true
      receiver: dropped

receivers:
  - name: 'admin-mails'
    email_configs:
      - to: 'admins@DOMAIN'
  - name: 'dropped'

Итак, идея заключается в том, чтобы просто не настраивать приемник. При этом письма больше не генерируются, но оповещения по-прежнему отображаются в Grafana.

Я оставлю это здесь на случай, если кто-то еще столкнется с таким же вопросом.

Связанный контент