印刻数据库

外观

DM 告警分级 ​

告警分级的重要性 ​

  • 优先级管理：区分告警的紧急程度，确保重要问题优先处理
  • 资源合理分配：根据告警级别分配适当的处理资源
  • 减少告警疲劳：避免所有告警同等对待，减少运维人员的疲劳
  • 明确责任划分：不同级别告警由不同人员负责处理
  • 符合ITIL规范：遵循IT服务管理最佳实践

1.2 告警分级原则 ​

  • 客观性：基于实际影响而非主观判断
  • 一致性：统一的分级标准，避免因人而异
  • 可操作性：分级标准清晰，易于理解和执行
  • 动态调整：根据业务变化和实际情况调整分级标准
  • 覆盖全面：包含所有类型的告警

1.3 告警分级流程 ​

  1. 确定告警分级的目标和范围
  2. 制定告警分级标准
  3. 根据标准对告警进行分级
  4. 配置告警通知和处理流程
  5. 定期评估和优化分级标准

告警分级标准 ​

2.1 基于影响范围的分级 ​

级别名称影响范围示例
1紧急整个系统不可用或核心功能失效数据库实例宕机、核心业务表损坏
2严重部分系统不可用或性能严重下降表空间满、大量连接失败
3警告系统存在潜在问题，可能影响业务CPU使用率过高、锁等待时间长
4信息一般性通知，不影响业务数据库重启、参数变更

2.2 基于影响程度的分级 ​

级别名称影响程度处理要求
1紧急业务完全中断立即处理，15分钟内响应
2严重业务性能严重下降尽快处理，1小时内响应
3警告业务可能受到影响计划处理，24小时内响应
4信息业务无影响无需立即处理，定期 review

2.3 基于告警类型的分级 ​

2.3.1 实例类告警 ​

级别告警类型示例
1实例故障实例宕机、无法连接
2实例异常实例状态异常、资源耗尽
3实例警告资源使用率高、连接数接近上限
4实例信息实例重启、配置变更

2.3.2 性能类告警 ​

级别告警类型示例
1性能崩溃响应时间超过阈值10倍
2性能严重下降响应时间超过阈值3倍
3性能下降响应时间超过阈值
4性能信息性能趋势变化

2.3.3 存储类告警 ​

级别告警类型示例
1存储耗尽表空间100%满
2存储严重不足表空间使用率超过95%
3存储不足表空间使用率超过85%
4存储信息表空间增长趋势

2.3.4 安全类告警 ​

级别告警类型示例
1安全入侵大量失败登录尝试、权限异常变更
2安全威胁敏感数据访问异常
3安全警告密码即将过期、权限过大
4安全信息登录成功、权限变更

不同级别告警的处理流程 ​

3.1 紧急告警（Level 1）处理流程 ​

3.1.1 告警接收与确认 ​

  1. 告警通过多种渠道（邮件、短信、即时通讯）发送给所有运维人员
  2. 第一个收到告警的人员立即确认
  3. 记录告警接收时间和确认人

3.1.2 告警分析与定位 ​

  1. 立即登录数据库系统，查看详细信息
  2. 分析相关日志和监控指标
  3. 快速定位故障原因
  4. 评估影响范围和恢复时间

3.1.3 告警处理与恢复 ​

  1. 执行紧急恢复操作
  2. 如无法立即恢复，启动应急预案
  3. 通知相关业务部门
  4. 持续监控恢复过程

3.1.4 告警复盘与优化 ​

  1. 24小时内完成故障复盘
  2. 分析根本原因
  3. 提出改进措施
  4. 更新告警规则和处理流程

3.2 严重告警（Level 2）处理流程 ​

3.2.1 告警接收与确认 ​

  1. 告警通过邮件和即时通讯发送给运维负责人和相关人员
  2. 30分钟内确认告警
  3. 记录告警接收时间和确认人

3.2.2 告警分析与定位 ​

  1. 登录数据库系统，查看详细信息
  2. 分析相关日志和监控指标
  3. 定位故障原因
  4. 评估影响范围

3.2.3 告警处理与恢复 ​

  1. 制定处理方案
  2. 执行处理操作
  3. 验证处理效果
  4. 关闭告警

3.2.4 告警复盘与优化 ​

  1. 48小时内完成故障复盘
  2. 分析根本原因
  3. 提出改进措施
  4. 更新告警规则

3.3 警告告警（Level 3）处理流程 ​

3.3.1 告警接收与确认 ​

  1. 告警通过邮件发送给运维人员
  2. 2小时内确认告警
  3. 记录告警接收时间和确认人

3.3.2 告警分析与定位 ​

  1. 定期查看告警信息
  2. 分析相关监控指标
  3. 评估风险

3.3.3 告警处理与恢复 ​

  1. 纳入日常维护计划
  2. 执行处理操作
  3. 验证处理效果
  4. 关闭告警

3.3.4 告警复盘与优化 ​

  1. 每周汇总分析警告级告警
  2. 识别潜在问题
  3. 优化告警规则

3.4 信息告警（Level 4）处理流程 ​

3.4.1 告警接收与确认 ​

  1. 告警通过邮件发送给运维人员
  2. 无需立即确认

3.4.2 告警分析与定位 ​

  1. 定期查看信息级告警
  2. 了解系统状态变化

3.4.3 告警处理与恢复 ​

  1. 无需立即处理
  2. 作为系统状态参考

3.4.4 告警复盘与优化 ​

  1. 每月汇总分析信息级告警
  2. 了解系统运行趋势
  3. 优化告警规则

告警分级配置 ​

4.1 使用 DM 管理工具配置 ​

4.1.1 配置步骤 ​

  1. 登录 DM 管理工具
  2. 选择目标数据库实例
  3. 点击"监控管理" -> "告警配置"
  4. 选择一个告警规则
  5. 点击"编辑"按钮
  6. 在"告警级别"下拉菜单中选择合适的级别
  7. 点击"保存"完成配置

4.1.2 批量配置 ​

  1. 选择多个告警规则
  2. 点击"批量编辑"按钮
  3. 选择统一的告警级别
  4. 点击"保存"完成批量配置

4.2 使用 SQL 语句配置 ​

4.2.1 配置单个告警规则 ​

sql
-- 修改告警规则级别
CALL SP_MODIFY_ALARM_RULE(
    'CPU_USAGE_ALARM', -- 规则名称
    'ALARM_LEVEL', -- 修改项
    '3' -- 告警级别
);

4.2.2 查看告警规则级别 ​

sql
SELECT RULE_NAME, ALARM_LEVEL FROM V$ALARM_RULE;

4.3 第三方监控系统配置 ​

4.3.1 Zabbix 告警分级配置 ​

  1. 登录 Zabbix 管理界面
  2. 选择"配置" -> "动作"
  3. 创建或编辑动作
  4. 在"条件"选项卡中设置不同级别的触发条件
  5. 在"操作"选项卡中设置不同级别的通知方式

4.3.2 Prometheus 告警分级配置 ​

  1. 编辑 Prometheus 告警规则文件
  2. 为不同级别的告警设置不同的严重性
  3. 配置 Alertmanager 路由规则，根据严重性发送不同的通知

告警分级最佳实践 ​

5.1 分级标准制定 ​

5.1.1 业务导向 ​

  • 基于业务影响制定分级标准
  • 与业务部门共同确定告警级别
  • 考虑业务的重要性和敏感性

5.1.2 数据驱动 ​

  • 基于历史告警数据制定分级标准
  • 分析告警的实际影响和处理时间
  • 定期调整分级标准

5.1.3 清晰明确 ​

  • 分级标准易于理解和执行
  • 避免模糊不清的描述
  • 提供具体的示例

5.2 分级调整 ​

5.2.1 定期评估 ​

  • 每季度评估一次告警分级标准
  • 分析告警的处理情况和效果
  • 根据评估结果调整分级标准

5.2.2 动态调整 ​

  • 当业务发生变化时，及时调整分级标准
  • 当系统架构发生变化时，重新评估分级标准
  • 根据告警处理经验，优化分级标准

5.2.3 反馈机制 ​

  • 建立告警分级反馈机制
  • 收集运维人员对告警分级的意见
  • 持续改进分级标准

5.3 告警分级与通知 ​

5.3.1 通知方式 ​

  • 紧急告警：邮件、短信、即时通讯工具
  • 严重告警：邮件、即时通讯工具
  • 警告告警：邮件
  • 信息告警：邮件

5.3.2 通知对象 ​

  • 紧急告警：所有运维人员
  • 严重告警：运维负责人和相关人员
  • 警告告警：相关运维人员
  • 信息告警：运维团队

5.3.3 通知时间 ​

  • 工作时间：所有告警正常通知
  • 非工作时间：仅紧急和严重告警通过短信通知

5.4 告警分级与处理 ​

5.4.1 处理优先级 ​

  • 按照告警级别确定处理优先级
  • 紧急告警优先处理
  • 严重告警次之
  • 警告和信息告警按计划处理

5.4.2 处理资源分配 ​

  • 紧急告警：分配足够的资源，多人协作处理
  • 严重告警：分配主要资源，专人负责
  • 警告告警：纳入日常维护计划
  • 信息告警：定期 review

5.4.3 处理时间要求 ​

  • 紧急告警：15分钟内响应，尽快恢复
  • 严重告警：1小时内响应，4小时内处理
  • 警告告警：24小时内响应，72小时内处理
  • 信息告警：无需立即处理

告警分级效果评估 ​

6.1 评估指标 ​

6.1.1 告警处理效率 ​

  • 平均响应时间：从告警产生到开始处理的时间
  • 平均解决时间：从告警产生到问题解决的时间
  • 超时处理率：超过处理时间要求的告警比例

6.1.2 告警质量 ​

  • 误告警率：误告警数量占总告警数量的比例
  • 漏告警率：未触发告警的问题数量占总问题数量的比例
  • 告警准确率：准确告警数量占总告警数量的比例

6.1.3 业务影响 ​

  • 业务中断时间：因告警处理不及时导致的业务中断时间
  • 业务受影响次数：因告警处理不及时导致的业务受影响次数
  • 业务恢复速度：从业务中断到恢复的时间

6.2 评估方法 ​

6.2.1 定量评估 ​

  • 收集告警处理数据
  • 计算评估指标
  • 与历史数据对比
  • 与行业标准对比

6.2.2 定性评估 ​

  • 收集运维人员的反馈
  • 分析告警处理过程中的问题
  • 评估告警分级对运维效率的影响

6.2.3 持续改进 ​

  • 根据评估结果，优化告警分级标准
  • 调整告警处理流程
  • 改进告警通知方式

告警分级与自动化 ​

7.1 自动化告警处理 ​

7.1.1 紧急告警自动化 ​

  • 对于常见的紧急告警，配置自动恢复脚本
  • 实现告警触发自动恢复
  • 减少人工干预，提高恢复速度

7.1.2 严重告警自动化 ​

  • 对于常见的严重告警，配置自动诊断脚本
  • 自动收集相关信息，辅助人工处理
  • 提高处理效率

7.1.3 警告告警自动化 ​

  • 对于常见的警告告警，配置自动优化脚本
  • 自动调整系统参数，消除潜在问题
  • 减少人工维护工作量

7.1.4 信息告警自动化 ​

  • 自动汇总信息告警
  • 生成定期报告
  • 辅助系统状态分析

7.2 自动化告警分级 ​

7.2.1 基于机器学习的分级 ​

  • 收集历史告警数据
  • 训练机器学习模型
  • 自动为新告警分配级别
  • 持续优化模型

7.2.2 基于规则的自动分级 ​

  • 定义复杂的分级规则
  • 基于多个指标自动分级
  • 提高分级的准确性和一致性

版本差异说明 ​

8.1 DM 7 与 DM 8 的差异 ​

特性DM 7DM 8
告警分级基本的四级分级增强的四级分级，支持更多自定义
分级配置简单的级别设置支持复杂的分级规则
自动化支持有限的自动化支持全面的自动化支持
第三方集成有限的集成支持全面的集成支持
分级报告基本的报告详细的分级报告和分析

8.2 不同版本的注意事项 ​

  • DM 7.6 之前的版本告警分级功能相对简单
  • DM 8.0 开始支持更灵活的告警分级配置
  • 升级数据库版本后，建议重新配置告警分级
  • 不同版本的告警系统视图可能有所不同

常见问题与解决方案 ​

9.1 告警分级不合理 ​

9.1.1 问题：告警级别过高或过低 ​

解决方案：

  • 重新评估告警的实际影响
  • 与业务部门沟通，了解业务影响
  • 调整告警分级标准

9.1.2 问题：告警级别不一致 ​

解决方案：

  • 统一告警分级标准
  • 对相似告警设置相同的级别
  • 定期审查告警分级

9.2 告警处理不及时 ​

9.2.1 问题：紧急告警处理延迟 ​

解决方案：

  • 明确告警处理责任人和流程
  • 配置适当的通知方式
  • 实现告警的自动升级机制
  • 定期培训和演练告警处理流程

9.2.2 问题：警告告警积压 ​

解决方案：

  • 增加运维资源
  • 实现告警的自动化处理
  • 优化告警分级，减少不必要的警告告警

9.3 告警通知问题 ​

9.3.1 问题：告警通知不及时 ​

解决方案：

  • 检查通知配置
  • 测试通知渠道
  • 配置冗余通知方式

9.3.2 问题：通知方式不合适 ​

解决方案：

  • 根据告警级别调整通知方式
  • 考虑不同时间段的通知需求
  • 与运维人员沟通，了解通知偏好

9.4 告警分级维护问题 ​

9.4.1 问题：分级标准过时 ​

解决方案：

  • 定期评估和更新分级标准
  • 与业务部门保持沟通
  • 关注系统变化

9.4.2 问题：分级规则复杂 ​

解决方案：

  • 简化分级规则
  • 提供清晰的分级指南
  • 定期培训运维人员

常见问题（FAQ） ​

Q1: 如何确定合适的告警级别？ ​

A1: 可以通过以下方法确定：

  1. 评估告警对业务的影响范围和程度
  2. 参考行业标准和最佳实践
  3. 与业务部门共同确定
  4. 基于历史数据和经验调整

Q2: 如何避免告警级别设置过高或过低？ ​

A2: 可以通过以下方法避免：

  1. 建立明确的分级标准
  2. 定期评估和调整分级标准
  3. 收集运维人员的反馈
  4. 分析告警的实际影响

Q3: 如何处理不同级别的告警风暴？ ​

A3: 处理流程：

  1. 紧急告警风暴：立即响应，优先恢复核心功能
  2. 严重告警风暴：尽快处理，减少业务影响
  3. 警告告警风暴：分析原因，优化告警规则
  4. 信息告警风暴：调整告警配置，减少不必要的通知

Q4: 如何实现告警分级的自动化？ ​

A4: 可以通过以下方法实现：

  1. 配置基于规则的自动分级
  2. 利用机器学习模型自动分级
  3. 实现不同级别告警的自动处理
  4. 自动生成分级报告

Q5: 如何评估告警分级的效果？ ​

A5: 可以通过以下指标评估：

  1. 告警处理效率（响应时间、解决时间）
  2. 告警质量（误告警率、漏告警率）
  3. 业务影响（中断时间、受影响次数）
  4. 运维人员反馈

Q6: 如何与业务部门沟通告警分级？ ​

A6: 沟通要点：

  1. 解释告警分级的重要性
  2. 基于业务影响制定分级标准
  3. 定期分享告警处理情况
  4. 收集业务部门的反馈

Q7: 如何处理跨级别的关联告警？ ​

A7: 处理方法：

  1. 建立告警关联规则
  2. 当低级别告警与高级别告警关联时，提升级别
  3. 当多个低级别告警关联时，考虑合并处理
  4. 配置告警抑制规则，避免重复通知

Q8: 如何优化告警分级配置？ ​

A8: 优化方法：

  1. 定期审查告警规则和级别
  2. 分析告警处理数据
  3. 收集运维人员反馈
  4. 与业务部门保持沟通
  5. 持续调整和改进

Q9: 如何培训运维人员理解告警分级？ ​

A9: 培训要点：

  1. 讲解告警分级的标准和原则
  2. 提供具体的示例
  3. 演练不同级别的告警处理
  4. 定期更新培训内容

Q10: 如何实现告警分级与ITIL流程的结合？ ​

A10: 结合方法：

  1. 与事件管理流程结合，不同级别告警对应不同的事件优先级
  2. 与问题管理流程结合，通过告警分析识别潜在问题
  3. 与变更管理流程结合，监控变更对系统的影响
  4. 与服务级别管理流程结合，确保告警处理符合SLA要求