印刻数据库

外观

Oracle 灾备演练与恢复测试 ​

灾备演练是验证灾备系统有效性的核心手段，能够确保在灾难发生时，业务能够按照预期快速、可靠地恢复。对于DBA而言，定期进行灾备演练不仅是验证技术方案的关键环节，也是提升团队应急能力的重要途径。

灾备演练的重要性 ​

灾备演练的价值远超过单纯的技术验证，它是保障业务连续性的核心实践：

  • 验证灾备系统有效性：确保Data Guard/GoldenGate等灾备方案在实际场景中能够正常工作
  • 发现潜在问题：提前识别配置错误、性能瓶颈、网络延迟等隐藏问题
  • 优化切换流程：通过实际操作缩短RTO（恢复时间目标），验证RPO（恢复点目标）
  • 提高团队应急能力：让运维团队熟悉故障处理流程，减少实际灾难中的恐慌
  • 满足合规要求：金融、医疗等行业监管明确要求定期进行灾备演练
  • 增强业务信心：向业务部门证明灾备系统的可靠性，降低业务中断风险

灾备演练的类型 ​

根据演练场景和目标的不同，灾备演练可以分为以下几类：

计划内演练（Switchover） ​

计划内演练是在预先安排的时间进行的主备库角色互换，特点是：

  • 主备库数据完全同步，无数据丢失
  • 对业务影响较小，通常在业务低峰期进行
  • 适用于验证正常情况下的灾备切换能力
  • 演练完成后可以轻松恢复到原始状态

计划外演练（Failover） ​

计划外演练模拟主库突发故障的情况，特点是：

  • 模拟真实灾难场景，更接近实际故障情况
  • 对业务影响较大，需要严格控制演练时间和范围
  • 适用于验证灾难情况下的恢复能力
  • 演练后需要重新搭建灾备系统

部分系统演练 ​

仅针对部分业务系统或数据库实例进行的演练，特点是：

  • 风险可控，对整体业务影响小
  • 可以针对关键业务系统重点验证
  • 适合大型企业逐步验证灾备能力
  • 便于定位和解决特定系统的问题

全系统演练 ​

对所有业务系统和数据库实例进行的完整演练，特点是：

  • 验证整个灾备体系的完整性
  • 对业务影响较大，需要精心策划
  • 适合验证整体灾难恢复能力
  • 能够发现跨系统的依赖问题

模拟演练 ​

在隔离环境中模拟灾备切换，特点是：

  • 完全不影响生产环境
  • 可以反复进行，成本较低
  • 适合新团队培训和流程验证
  • 无法完全模拟真实生产环境的复杂性

灾备演练计划制定 ​

确定演练目标 ​

明确的演练目标是成功演练的基础，常见目标包括：

  • 验证RTO是否符合业务要求（如小于4小时）
  • 验证RPO是否在可接受范围内（如小于5分钟）
  • 测试特定灾备技术（如Data Guard、GoldenGate）的切换流程
  • 验证业务系统在灾备切换后的可用性
  • 提高团队的应急响应能力

选择演练类型和范围 ​

根据演练目标和业务影响评估，选择合适的演练类型：

演练类型适用场景业务影响技术要求
计划内演练常规验证、流程优化低基础
计划外演练灾难恢复能力验证高高级
部分系统演练关键系统验证中基础
全系统演练整体灾备能力验证高高级

制定详细演练计划 ​

演练计划应包括以下核心内容：

  • 演练时间：选择业务低峰期，如周末凌晨或节假日
  • 参与人员：明确DBA、系统管理员、网络管理员、业务验证人员的职责
  • 执行步骤：详细的切换流程，包括每一步操作、执行人员和预期结果
  • 验证标准：明确数据库和业务层面的验证指标
  • 回滚计划：万一演练失败，如何快速恢复到原始状态
  • 沟通机制：明确演练过程中的沟通渠道和升级流程

准备演练环境 ​

演练前的环境准备至关重要，包括：

  • 检查灾备系统状态：验证主备库同步状态、网络连接、监控告警
  • 备份关键数据：对主库进行全量备份，确保可以快速回滚
  • 准备工具和文档：如SQL脚本、监控工具、切换流程文档
  • 通知相关部门：获得业务部门授权，通知运维团队和管理层
  • 隔离测试环境：如果是模拟演练，确保测试环境与生产环境隔离

灾备演练执行步骤 ​

演练前准备 ​

  1. 召开启动会议

    • 向所有参与人员介绍演练目标、计划和风险
    • 明确各人员职责和分工
    • 确认沟通渠道和升级流程

  2. 验证灾备系统状态

    sql
    -- Data Guard环境检查
-- 主库状态检查
SELECT NAME, OPEN_MODE, DATABASE_ROLE, LOG_MODE FROM V$DATABASE;
SELECT PROCESS, STATUS, THREAD#, SEQUENCE# FROM V$MANAGED_STANDBY WHERE PROCESS LIKE 'R%';

-- 备库状态检查
SELECT NAME, OPEN_MODE, DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE;
SELECT PROCESS, STATUS, THREAD#, SEQUENCE# FROM V$MANAGED_STANDBY;

-- 检查延迟情况
SELECT NAME, VALUE/60/60 AS HOURS_DELAY FROM V$DATAGUARD_STATS WHERE NAME = 'apply lag';

  3. 备份关键数据

    bash
    # 使用RMAN备份主库
rman target / <<EOF
RUN {
  ALLOCATE CHANNEL c1 DEVICE TYPE DISK;
  BACKUP DATABASE PLUS ARCHIVELOG;
  RELEASE CHANNEL c1;
}
EOF

# 备份灾备配置文件
cp -p /u01/app/oracle/product/19.3.0/dbhome_1/dbs/orapworcl /backup/config/
cp -p /u01/app/oracle/product/19.3.0/dbhome_1/dbs/spfileorcl.ora /backup/config/

演练执行 ​

计划内演练（Data Guard Switchover） ​

  1. 主库切换准备

    sql
    -- 检查主库是否可以切换
SELECT SWITCHOVER_STATUS FROM V$DATABASE;
-- 预期结果：TO STANDBY或SESSIONS ACTIVE

-- 如果是SESSIONS ACTIVE，先终止活动会话
ALTER DATABASE COMMIT TO SWITCHOVER TO PHYSICAL STANDBY WITH SESSION SHUTDOWN;

  2. 原主库转换为备库

    sql
    -- 关闭并重新启动原主库
SHUTDOWN IMMEDIATE;
STARTUP MOUNT;

-- 启动日志应用
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE DISCONNECT FROM SESSION;

  3. 备库转换为主库

    sql
    -- 在备库上执行
ALTER DATABASE COMMIT TO SWITCHOVER TO PRIMARY WITH SESSION SHUTDOWN;
ALTER DATABASE OPEN;

  4. 验证新主库状态

    sql
    SELECT NAME, OPEN_MODE, DATABASE_ROLE FROM V$DATABASE;
-- 预期结果：DATABASE_ROLE = PRIMARY

-- 检查监听和服务状态
lsnrctl status

计划外演练（Data Guard Failover） ​

  1. 确认主库故障

    • 尝试连接主库，确认无法访问
    • 检查主库服务器状态，确认故障
    • 记录故障时间和现象

  2. 备库准备

    sql
    -- 检查备库日志应用情况
SELECT PROCESS, STATUS, THREAD#, SEQUENCE# FROM V$MANAGED_STANDBY;

-- 停止日志应用
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE CANCEL;

  3. 执行Failover

    sql
    -- 完成日志应用
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE FINISH FORCE;

-- 转换为初级
ALTER DATABASE COMMIT TO SWITCHOVER TO PRIMARY WITH SESSION SHUTDOWN;

-- 打开数据库
ALTER DATABASE OPEN;

  4. 处理裂脑问题

    • 确保原主库无法访问网络
    • 修改原主库IP地址或关闭监听
    • 待原主库恢复后，重建为备库

业务验证 ​

演练成功的关键是业务系统能够正常运行，业务验证应包括：

  1. 数据库连接验证

    • 应用系统能否正常连接到新主库
    • 数据库服务是否正常提供
    • 连接池是否正常工作

  2. 业务功能验证

    • 核心业务流程测试（如订单提交、支付等）
    • 数据查询和修改操作
    • 报表生成和数据分析

  3. 数据一致性验证

    • 比较关键表的记录数
    • 验证最近业务数据是否完整
    • 检查数据完整性约束

  4. 性能验证

    • 测试业务响应时间
    • 检查数据库资源使用率
    • 验证并发处理能力

演练后处理 ​

  1. 恢复原始状态

    • 计划内演练：将主备库角色切换回原始状态
    • 计划外演练：重新搭建灾备系统，将原主库恢复为备库
    • 确保所有系统恢复正常运行

  2. 记录演练结果

    • 记录实际RTO和RPO
    • 记录演练过程中的问题和解决方案
    • 记录业务验证结果
    • 拍摄关键步骤的截图作为证据

  3. 召开总结会议

    • 分析演练过程中的问题和不足
    • 评估演练是否达到预期目标
    • 提出改进建议
    • 形成演练报告

  4. 更新文档和流程

    • 根据演练结果更新灾备切换文档
    • 优化应急预案
    • 更新监控和告警配置
    • 完善回滚计划

Oracle 19c与21c灾备演练差异 ​

特性Oracle 19cOracle 21c
Data Guard Broker支持基本的GUI界面增强的GUI界面，提供可视化演练流程
自动化演练工具基础的命令行工具增强的自动化演练功能，支持一键演练
演练报告生成需手动生成自动生成详细的演练报告，包含RTO/RPO统计
多租户环境支持支持PDB级别的切换增强的PDB级演练支持，简化多租户环境演练
演练验证机制基础的状态验证增强的验证机制，提供更全面的系统检查
GoldenGate集成独立工具与Data Guard更紧密集成，支持统一演练
云环境支持基础云支持增强的云环境演练支持，如OCI与AWS跨云演练
自动化回滚手动操作支持自动化回滚，降低演练风险

灾备演练最佳实践 ​

1. 定期演练 ​

  • 计划内演练：每季度至少一次
  • 计划外演练：每年至少一次
  • 重大系统变更后：立即进行一次演练
  • 新团队成员加入：进行模拟演练培训

2. 制定详细的演练文档 ​

演练文档应包括：

  • 详细的执行步骤，包括每一条命令
  • 明确的验证标准和预期结果
  • 完整的回滚计划
  • 常见问题和解决方案
  • 联系人列表和沟通方式

3. 充分准备和测试 ​

  • 演练前详细检查灾备系统状态
  • 在测试环境中预演整个流程
  • 准备好所需的工具和资源
  • 确保所有参与人员熟悉流程

4. 严格控制演练范围和时间 ​

  • 明确演练的开始和结束时间
  • 严格控制演练影响范围
  • 演练过程中实时监控业务影响
  • 超出预期影响时立即终止演练

5. 重视业务验证 ​

  • 邀请业务人员参与验证
  • 测试核心业务流程
  • 验证数据完整性和一致性
  • 测试业务性能是否符合要求

6. 持续改进 ​

  • 每次演练后更新文档和流程
  • 针对问题制定改进措施
  • 定期培训团队成员
  • 跟踪改进措施的执行情况

7. 使用自动化工具 ​

  • 利用Data Guard Broker简化切换流程
  • 使用监控工具实时跟踪演练进度
  • 采用自动化脚本执行重复操作
  • 使用报告工具生成演练报告

常见问题（FAQ） ​

Q：灾备演练应该由谁主导？ ​

A：灾备演练通常由DBA团队主导，需要业务部门、系统管理员、网络管理员等多个团队协作。建议成立专门的灾备演练小组，明确各成员职责。

Q：如何降低灾备演练对业务的影响？ ​

A：可以通过以下方式降低影响：

  • 选择业务低峰期进行演练
  • 先进行部分系统演练，再进行全系统演练
  • 使用模拟演练环境进行预演
  • 制定详细的演练计划，严格控制时间
  • 准备快速回滚方案

Q：灾备演练失败了怎么办？ ​

A：立即执行回滚计划，恢复到原始状态；分析失败原因，解决问题；更新演练文档和流程；重新安排演练。

Q：如何验证灾备演练的效果？ ​

A：通过以下指标验证演练效果：

  • 实际RTO是否达到预期目标
  • 实际RPO是否在可接受范围内
  • 业务系统是否正常运行
  • 数据是否完整一致
  • 团队响应是否及时有效

Q：Oracle 21c的自动化演练工具如何使用？ ​

A：Oracle 21c提供了增强的Data Guard Broker GUI界面，可以通过以下步骤使用：

  1. 登录Enterprise Manager Cloud Control
  2. 导航到Data Guard Broker控制台
  3. 选择"自动化演练"选项
  4. 按照向导配置演练参数
  5. 启动演练并监控进度
  6. 查看自动生成的演练报告

Q：如何处理灾备演练中的裂脑问题？ ​

A：处理裂脑问题的关键是确保只有一个主库在提供服务：

  • 演练前断开原主库的网络连接
  • 修改原主库的监听配置
  • 关闭原主库的数据库服务
  • 使用第三方集群软件管理主备库状态

Q：GoldenGate灾备演练与Data Guard有什么不同？ ​

A：GoldenGate演练的主要区别：

  • 数据复制是逻辑级别的，切换流程不同
  • 通常需要手动启动和停止抽取、应用进程
  • 可能需要验证数据一致性
  • 切换时间较长，RTO通常比Data Guard大

Q：如何进行跨云灾备演练？ ​

A：跨云演练需要注意：

  • 考虑云之间的网络延迟
  • 验证云服务商的网络稳定性
  • 确保跨云数据传输的安全性
  • 熟悉不同云平台的操作界面和工具
  • 制定跨云回滚计划

总结 ​

灾备演练是确保灾备系统有效性的关键环节，对于DBA而言，它不仅是技术验证，更是保障业务连续性的核心实践。通过定期、规范的灾备演练，可以：

  • 验证灾备系统的可用性和可靠性
  • 发现和解决潜在问题
  • 优化灾备切换流程，缩短RTO
  • 提高团队的应急响应能力
  • 满足合规要求
  • 增强业务部门对灾备系统的信心

在进行灾备演练时，需要结合Oracle版本特性，制定详细的演练计划，严格执行演练流程，重视业务验证，并持续改进。只有这样，才能确保在真正的灾难来临时，能够快速、可靠地恢复业务，最大限度地减少损失。