AlertManager 告警通知优化实战：解决非生产环境告警丢失问题

一、问题背景

在生产环境的 Kubernetes 集群监控体系中，我们使用 Prometheus + AlertManager + 钉钉机器人实现告警通知。系统运行一段时间后发现：

• ✅生产环境告警正常接收
• ❌非生产环境（Dev/Test）告警从未收到

AlertManager Web UI 显示非生产环境有 48 个活跃告警（Test: 30个，Dev: 18个），但钉钉群始终没有收到任何通知。

二、问题排查过程

2.1 确认告警已触发

首先验证 Prometheus 是否正常产生告警：

# 查询当前活跃告警curl-s"https://prometheus.example.com/api/v1/alerts"|jq'.data.alerts[] | select(.state=="firing")'

结果显示告警已正