外观
Redis 告警策略
告警指标分类
基础监控指标
内存指标
- 内存使用率
- 内存碎片率
- 已使用内存
- 最大内存限制
CPU 指标
- CPU 使用率
- 命令执行延迟
- 慢查询数量
连接指标
- 当前连接数
- 连接数使用率
- 拒绝连接数
命中率指标
- 键空间命中率
- 命令命中率
复制与集群指标
主从复制指标
- 主从复制状态
- 复制偏移量差距
- 从节点延迟
集群指标
- 集群状态
- 槽位分布
- 节点状态
- 脑裂检测
持久化指标
RDB 持久化指标
- RDB 持久化状态
- RDB 持久化耗时
- RDB 持久化频率
AOF 持久化指标
- AOF 重写状态
- AOF 重写耗时
- AOF 缓冲区大小
- AOF 同步延迟
命令与操作指标
命令执行指标
- 命令执行速率
- 命令执行错误率
- 慢查询率
键操作指标
- 键过期率
- 键驱逐率
- 大键数量
告警阈值设置
阈值设置原则
基于历史数据
- 分析过去 7-30 天的指标数据
- 考虑业务高峰期和低谷期的差异
- 设置动态阈值，适应业务变化
基于业务需求
- 根据业务重要性设置不同阈值
- 核心业务设置更严格的阈值
- 非核心业务可以适当放宽阈值
基于资源容量
- 内存使用率阈值通常设置为 80-90%
- 连接数使用率阈值通常设置为 80%
- CPU 使用率阈值通常设置为 70-80%
常用指标阈值参考
| 指标类型 | 指标名称 | 告警阈值 | 建议告警级别 |
|---|---|---|---|
| 内存 | 内存使用率 | > 85% | 警告 |
| 内存 | 内存使用率 | > 95% | 严重 |
| 内存 | 内存碎片率 | > 1.5 | 警告 |
| 内存 | 内存碎片率 | > 2.0 | 严重 |
| CPU | CPU 使用率 | > 70% | 警告 |
| CPU | CPU 使用率 | > 90% | 严重 |
| 连接 | 当前连接数 | > 80% * maxclients | 警告 |
| 连接 | 当前连接数 | > 95% * maxclients | 严重 |
| 连接 | 拒绝连接数 | > 0 | 警告 |
| 命中率 | 键空间命中率 | < 90% | 警告 |
| 命中率 | 键空间命中率 | < 80% | 严重 |
| 复制 | 主从复制状态 | 断开 | 严重 |
| 复制 | 复制偏移量差距 | > 1000000 | 警告 |
| 复制 | 从节点延迟 | > 10s | 严重 |
| 集群 | 集群状态 | 失败 | 严重 |
| 集群 | 槽位分布 | 不均匀 | 警告 |
| 慢查询 | 慢查询数量 | > 10 次/分钟 | 警告 |
| 慢查询 | 慢查询数量 | > 50 次/分钟 | 严重 |
| 持久化 | RDB 持久化失败 | 1 次 | 严重 |
| 持久化 | AOF 重写失败 | 1 次 | 严重 |
告警级别划分
告警级别定义
严重告警（Critical）
- 影响核心业务正常运行
- 需要立即处理
- 通常由 P0 级故障触发
警告告警（Warning）
- 可能影响业务运行
- 需要尽快处理
- 通常由 P1 级故障触发
注意告警（Notice）
- 潜在问题，暂时不影响业务
- 需要关注并计划处理
- 通常由 P2 级故障触发
信息告警（Info）
- 正常操作或状态变更
- 无需立即处理
- 用于记录重要事件
告警级别映射
| 故障等级 | 告警级别 | 响应时间要求 | 处理优先级 |
|---|---|---|---|
| P0 | 严重 | 立即（< 10 分钟） | 最高 |
| P1 | 警告 | 尽快（< 1 小时） | 高 |
| P2 | 注意 | 计划内（< 24 小时） | 中 |
| P3 | 信息 | 记录即可 | 低 |
告警通知方式
通知渠道
即时通讯工具
- 企业微信
- Slack
- 钉钉
- 短信
邮件通知
- 个人邮件
- 团队邮件列表
- 告警邮件组
电话通知
- 严重告警的电话告警
- 轮值人员电话通知
- 多级电话告警
PagerDuty 集成
- 专业的告警管理平台
- 支持告警升级和轮值管理
- 提供详细的告警统计和分析
通知策略
基于告警级别
- 严重告警：电话 + 短信 + 即时通讯 + 邮件
- 警告告警：即时通讯 + 邮件
- 注意告警：邮件
- 信息告警：日志记录
基于时间段
- 工作时间：即时通讯 + 邮件
- 非工作时间：电话 + 短信 + 即时通讯
基于轮值制度
- 实现告警接收人的轮值
- 支持告警升级机制
- 支持请假和替班管理
告警处理流程
告警接收
告警触发
- 监控系统检测到指标超过阈值
- 生成告警事件
- 记录告警详情
告警路由
- 根据告警级别和类型路由到相应人员
- 实现告警过滤和抑制
- 避免告警风暴
告警通知
- 通过配置的渠道发送告警通知
- 包含告警详情、影响范围和建议处理步骤
告警处理
告警确认
- 接收人确认收到告警
- 避免多人重复处理
- 记录确认时间和人员
问题定位
- 根据告警信息定位问题
- 查看相关监控指标和日志
- 分析问题原因
问题处理
- 按照预设的故障处理流程执行
- 记录处理步骤和结果
- 遇到复杂问题及时升级
告警恢复
- 验证问题是否解决
- 确认业务恢复正常
- 关闭告警
告警复盘
告警分析
- 分析告警触发原因
- 评估告警处理过程
- 总结经验教训
告警优化
- 调整告警阈值
- 优化告警规则
- 完善故障处理流程
文档更新
- 更新告警策略文档
- 更新故障处理手册
- 更新监控配置
告警优化建议
减少误告警
优化阈值设置
- 基于历史数据调整阈值
- 设置合理的告警持续时间
- 避免过于敏感的阈值
实现告警抑制
- 主告警触发时抑制相关子告警
- 相同告警短时间内只发送一次
- 基于业务逻辑抑制不必要的告警
告警聚合
- 将相关告警聚合为一个通知
- 减少告警噪音
- 提高告警可读性
提高告警有效性
丰富告警信息
- 包含告警指标、阈值、当前值
- 提供问题定位和处理建议
- 包含相关监控链接
实现智能告警
- 基于机器学习预测异常
- 识别异常模式
- 提前预警潜在问题
告警可视化
- 提供告警仪表盘
- 展示告警趋势和分布
- 支持告警关联分析
告警自动化
自动恢复
- 对于常见问题实现自动恢复
- 减少人工干预
- 提高处理效率
自动扩容
- 基于告警触发自动扩容
- 应对突发流量
- 确保系统稳定性
自动备份
- 异常情况下自动触发备份
- 保护数据安全
- 便于故障恢复
告警平台集成
Prometheus + Alertmanager
配置告警规则
yamlgroups: - name: redis_alerts rules: - alert: RedisMemoryUsageHigh expr: redis_memory_used_bytes / redis_memory_max_bytes * 100 > 85 for: 5m labels: severity: warning annotations: summary: "Redis 内存使用率过高 ({{ $labels.instance }})" description: "Redis 内存使用率达到 {{ $value }}%, 超过阈值 85%"配置 Alertmanager
yamlroute: group_by: ['alertname', 'cluster', 'service'] group_wait: 30s group_interval: 5m repeat_interval: 4h receiver: 'wechat' routes: - match: severity: critical receiver: 'pagerduty'
Zabbix 告警配置
创建告警触发器
- 基于监控项设置触发器
- 配置触发条件和恢复条件
- 设置告警级别
配置动作
- 定义告警通知方式
- 设置通知内容模板
- 配置告警升级规则
配置媒介
- 配置邮件、短信等媒介
- 设置接收人
- 配置轮值制度
常见问题（FAQ）
Q1: 如何确定合适的告警阈值？
A1: 确定告警阈值的方法：
- 分析历史数据，了解正常范围
- 考虑业务需求和 SLA 要求
- 参考行业最佳实践
- 逐步调整，避免误告警
Q2: 如何处理告警风暴？
A2: 处理告警风暴的方法：
- 配置告警抑制规则
- 实现告警聚合
- 调整告警阈值
- 优化监控配置
- 增加告警静默机制
Q3: 如何避免告警疲劳？
A3: 避免告警疲劳的方法：
- 合理设置告警级别
- 优化告警通知方式
- 实现告警分组和聚合
- 定期清理无效告警
- 建立有效的告警处理流程
Q4: 如何实现告警的自动恢复？
A4: 实现告警自动恢复的方法：
- 编写自动化脚本处理常见问题
- 使用配置管理工具（如 Ansible）执行恢复操作
- 集成自动化运维平台
- 实现基于事件的自动化响应
Q5: 如何评估告警策略的有效性？
A5: 评估告警策略有效性的指标：
- 告警准确率：有效告警占总告警的比例
- 告警遗漏率：未检测到的故障比例
- 平均响应时间：从告警触发到处理完成的时间
- 告警处理效率：告警处理的及时性和有效性
Q6: 如何在 Redis Cluster 中设置告警？
A6: Redis Cluster 告警设置方法：
- 监控每个节点的状态和指标
- 监控集群整体状态和槽位分布
- 设置集群脑裂检测告警
- 监控节点间通信状态
Q7: 如何设置 Redis 慢查询告警？
A7: 设置 Redis 慢查询告警的方法：
- 监控 slowlog 数量变化
- 设置慢查询率阈值
- 结合慢查询日志分析工具
- 配置慢查询告警通知
Q8: 如何处理频繁触发的告警？
A8: 处理频繁触发告警的方法：
- 分析告警原因，是否为正常业务波动
- 调整告警阈值或持续时间
- 优化系统配置或架构
- 考虑扩容或优化业务逻辑
Q9: 如何实现告警的分级响应？
A9: 实现告警分级响应的方法：
- 基于告警级别设置不同的通知方式
- 建立告警升级机制
- 实现轮值制度
- 配置不同级别的响应时间要求
Q10: 如何集成多种告警渠道？
A10: 集成多种告警渠道的方法：
- 使用告警管理平台（如 PagerDuty）统一管理
- 配置监控系统的多渠道通知
- 实现自定义告警脚本
- 集成企业内部通讯工具