阈值太灵敏，半夜被叫醒发现是毛刺；太迟钝，事故都结束了才报警。得找平衡点。

操作步骤

# Prometheus 告警规则示例
groups:
  - name: site
    rules:
      - alert: High5xx
        expr: rate(http_requests_total{code=~"5.."}[5m]) > 0.05
        for: 10m

要点速览

  • 用率（rate）而非瞬时值，过滤短暂抖动。
  • for 持续多久才触发，避免脉冲误报。
  • 告警要带上下文（哪个服务/哪个区域），接到就能动手。
告警阈值是一门艺术：太吵没人理，太钝出了事才知道。