印刻数据库

外观

Oracle 切换测试流程 ​

切换测试基础 ​

什么是切换测试 ​

  • 定义：切换测试是验证Oracle Data Guard环境中主数据库与备数据库之间切换（switchover）操作的过程，确保在计划内维护或故障情况下能够安全、可靠地完成角色转换
  • 目的：验证Data Guard配置的正确性、测试切换操作的可行性、确保业务连续性、训练运维人员的操作熟练度
  • 类型：计划内切换测试（switchover）和故障切换测试（failover）
  • 重要性：是高可用性环境中的关键测试，确保在实际故障发生时能够快速响应

切换测试的必要性 ​

  • 验证配置：确认Data Guard配置是否正确
  • 发现问题：在实际故障前发现并解决潜在问题
  • 业务连续性：确保切换过程中业务中断时间最小化
  • 合规要求：满足行业合规性要求
  • 人员培训：提高运维人员的操作技能

切换测试的频率 ​

环境类型建议测试频率测试类型注意事项
生产环境每季度一次Switchover选择业务低峰期
预生产环境每月一次Switchover + Failover模拟各种故障场景
测试环境每两周一次Switchover + Failover频繁测试，发现问题

切换测试前准备 ​

环境准备 ​

  1. Data Guard 状态检查：

    sql
    -- 检查主库状态
SELECT DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE;

-- 检查备库状态
SELECT DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE@standby_link;

-- 检查日志应用状态
SELECT SEQUENCE#, APPLIED FROM V$ARCHIVED_LOG ORDER BY SEQUENCE# DESC;

  2. 网络连接检查：

    bash
    # 测试主备库之间的网络连接
ping standby_host

# 测试监听器状态
lsnrctl status

  3. 存储空间检查：

    sql
    -- 检查表空间使用情况
SELECT TABLESPACE_NAME, USED_PERCENT FROM DBA_TABLESPACE_USAGE_METRICS;

-- 检查归档日志空间
SELECT * FROM V$RECOVERY_FILE_DEST;

  4. 备份确认：

    sql
    -- 确认最近的备份
SELECT * FROM V$RMAN_BACKUP_JOB_DETAILS ORDER BY END_TIME DESC;

文档准备 ​

  1. 切换测试计划：

    • 测试目的和范围
    • 测试时间和窗口
    • 测试步骤和顺序
    • 角色和职责
    • 风险评估和缓解措施
    • 回滚计划

  2. 切换测试 checklist：

    • 前置条件检查项
    • 执行步骤检查项
    • 验证测试检查项
    • 回滚步骤检查项

  3. 应急预案：

    • 切换失败的处理流程
    • 业务中断的应对措施
    • 数据不一致的处理方法

人员准备 ​

  1. 测试团队：

    • 数据库管理员：执行切换操作
    • 应用管理员：验证应用功能
    • 网络管理员：确保网络连接
    • 业务代表：验证业务功能
    • 协调人员：沟通和协调

  2. 培训：

    • 切换操作培训
    • 应急处理培训
    • 沟通流程培训

  3. 沟通计划：

    • 内部沟通渠道
    • 外部沟通渠道
    • 沟通时间点和内容

Switchover 测试流程 ​

主库准备 ​

  1. 检查主库状态：

    sql
    -- 检查主库角色和切换状态
SELECT DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE;

-- 确保切换状态为 TO STANDBY
-- 如果为 SESSIONS ACTIVE，需要终止会话或等待

  2. 检查日志应用：

    sql
    -- 检查备库是否应用了所有归档日志
SELECT MAX(SEQUENCE#) FROM V$ARCHIVED_LOG WHERE APPLIED = 'YES';

  3. 停止应用：

    • 通知应用团队停止相关应用
    • 确保没有活跃的事务

  4. 执行切换操作：

    sql
    -- 将主库转换为备库
ALTER DATABASE COMMIT TO SWITCHOVER TO PHYSICAL STANDBY WITH SESSION SHUTDOWN;

-- 关闭并重启为备库
SHUTDOWN IMMEDIATE;
STARTUP MOUNT;

-- 启动日志应用
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE USING CURRENT LOGFILE DISCONNECT FROM SESSION;

备库操作 ​

  1. 检查备库状态：

    sql
    -- 检查备库角色和切换状态
SELECT DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE;

-- 确保切换状态为 TO PRIMARY

  2. 将备库转换为主库：

    sql
    -- 将备库转换为主库
ALTER DATABASE COMMIT TO SWITCHOVER TO PRIMARY;

-- 打开数据库
ALTER DATABASE OPEN;

-- 启用闪回数据库（如果需要）
ALTER DATABASE FLASHBACK ON;

  3. 验证新主库状态：

    sql
    -- 检查新主库状态
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;

-- 检查归档日志配置
SELECT DEST_NAME, STATUS, TARGET FROM V$ARCHIVE_DEST;

原主库（新备库）操作 ​

  1. 验证新备库状态：

    sql
    -- 检查新备库状态
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;

-- 检查日志应用状态
SELECT PROCESS, STATUS FROM V$MANAGED_STANDBY;

  2. 调整网络配置：

    • 更新DNS或主机文件
    • 调整连接字符串
    • 测试连接

  3. 启动应用：

    • 通知应用团队启动应用
    • 验证应用连接

Failover 测试流程 ​

模拟故障 ​

  1. 准备工作：

    • 确保备库已应用所有可用的归档日志
    • 记录当前的SCN和日志序列号

  2. 模拟主库故障：

    • 方式1：关闭主库并断开网络连接
    • 方式2：模拟存储故障
    • 方式3：模拟网络故障

执行 Failover ​

  1. 检查备库状态：

    sql
    -- 检查备库状态
SELECT DATABASE_ROLE, SWITCHOVER_STATUS FROM V$DATABASE;

-- 检查已应用的日志
SELECT MAX(SEQUENCE#) FROM V$ARCHIVED_LOG WHERE APPLIED = 'YES';

  2. 执行故障切换：

    sql
    -- 停止日志应用
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE CANCEL;

-- 执行故障切换
ALTER DATABASE COMMIT TO SWITCHOVER TO PRIMARY FORCE;

-- 打开数据库
ALTER DATABASE OPEN;

-- 重置日志（如果需要）
ALTER DATABASE OPEN RESETLOGS;

  3. 验证新主库：

    sql
    -- 检查新主库状态
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;

重建备库 ​

  1. 原主库恢复：

    • 修复原主库的故障
    • 启动到挂载状态

  2. 重建备库：

    sql
    -- 将原主库转换为备库
ALTER DATABASE CONVERT TO PHYSICAL STANDBY;

-- 关闭并重启
SHUTDOWN IMMEDIATE;
STARTUP MOUNT;

-- 同步数据
ALTER DATABASE RECOVER MANAGED STANDBY DATABASE USING CURRENT LOGFILE DISCONNECT FROM SESSION;

  3. 验证 Data Guard 配置：

    sql
    -- 检查新的主备库状态
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE@standby_link;

切换测试验证 ​

数据库层面验证 ​

  1. 基本状态验证：

    sql
    -- 检查数据库角色
SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;

-- 检查实例状态
SELECT STATUS FROM V$INSTANCE;

-- 检查Data Guard状态
SELECT DEST_NAME, STATUS, ERROR FROM V$ARCHIVE_DEST WHERE TARGET='STANDBY';

  2. 数据一致性验证：

    sql
    -- 检查关键表的数据
SELECT COUNT(*) FROM critical_table;

-- 检查最新数据
SELECT MAX(last_updated) FROM critical_table;

  3. 性能验证：

    sql
    -- 检查系统负载
SELECT * FROM V$SYSTEM_LOAD; 

-- 检查等待事件
SELECT EVENT, COUNT(*) FROM V$SESSION_WAIT GROUP BY EVENT ORDER BY COUNT(*) DESC;

应用层面验证 ​

  1. 连接验证：

    • 测试应用连接
    • 验证连接池状态
    • 检查连接响应时间

  2. 功能验证：

    • 测试核心业务功能
    • 执行常规操作
    • 验证报表生成

  3. 性能验证：

    • 测试应用响应时间
    • 验证批处理作业
    • 检查应用日志

业务层面验证 ​

  1. 业务流程验证：

    • 执行端到端业务流程测试
    • 验证数据完整性
    • 确认业务规则执行

  2. 用户体验验证：

    • 测试用户登录
    • 验证页面响应
    • 检查业务操作

  3. 业务连续性验证：

    • 确认业务中断时间
    • 验证数据一致性
    • 检查业务影响

切换测试的回滚 ​

回滚条件 ​

  • 切换失败：切换过程中出现错误
  • 应用异常：应用无法正常运行
  • 性能问题：新主库性能严重下降
  • 数据不一致：发现数据不一致问题

回滚步骤 ​

  1. 准备工作：

    • 确认回滚的必要性
    • 通知相关团队
    • 准备回滚脚本

  2. 执行回滚：

    • 按照相反的顺序执行切换操作
    • 验证回滚结果
    • 启动应用

  3. 回滚验证：

    • 检查数据库状态
    • 验证应用功能
    • 确认业务连续性

回滚后的处理 ​

  • 分析失败原因：找出切换失败的原因
  • 解决问题：修复发现的问题
  • 重新测试：在修复后重新测试
  • 更新文档：更新测试文档和流程

切换测试的最佳实践 ​

测试前准备 ​

  1. 充分规划：

    • 详细的测试计划
    • 明确的角色和职责
    • 完整的检查清单

  2. 环境准备：

    • 确保Data Guard配置正确
    • 检查网络连接
    • 验证存储空间

  3. 风险评估：

    • 识别潜在风险
    • 制定缓解措施
    • 准备应急预案

测试执行 ​

  1. 严格按照流程：

    • 遵循预定的测试流程
    • 记录每一步操作
    • 验证每一步结果

  2. 实时监控：

    • 监控数据库状态
    • 跟踪应用性能
    • 观察系统资源

  3. 及时沟通：

    • 保持团队沟通
    • 及时报告问题
    • 协调解决措施

测试后处理 ​

  1. 详细记录：

    • 记录测试过程和结果
    • 文档化发现的问题
    • 记录解决方法

  2. 全面评估：

    • 评估切换操作的成功度
    • 分析业务中断时间
    • 评估团队表现

  3. 持续改进：

    • 更新测试流程
    • 改进操作步骤
    • 加强培训

切换测试的自动化 ​

自动化工具 ​

  1. Oracle Enterprise Manager：

    • 提供图形化的切换测试向导
    • 自动执行预检查和后验证
    • 生成测试报告

  2. 自定义脚本：

    • 使用Shell或Python脚本
    • 自动化执行测试步骤
    • 生成详细的测试报告

  3. 第三方工具：

    • 监控和自动化工具
    • 提供更丰富的测试功能

自动化测试流程 ​

  1. 测试准备自动化：

    • 自动检查环境状态
    • 生成测试计划
    • 通知相关人员

  2. 测试执行自动化：

    • 自动执行切换操作
    • 实时监控状态
    • 处理常见错误

  3. 测试验证自动化：

    • 自动验证数据库状态
    • 测试应用连接
    • 生成验证报告

  4. 测试报告自动化：

    • 生成详细的测试报告
    • 分析测试结果
    • 提供改进建议

切换测试的监控与审计 ​

测试过程监控 ​

  1. 实时监控：

    • 数据库状态监控
    • 应用性能监控
    • 系统资源监控

  2. 日志分析：

    • 审计切换操作日志
    • 分析错误信息
    • 跟踪操作顺序

测试后审计 ​

  1. 合规审计：

    • 验证测试是否符合合规要求
    • 检查测试文档的完整性
    • 确认测试频率符合规定

  2. 安全审计：

    • 检查切换过程中的安全操作
    • 验证权限使用
    • 确认数据保护措施

  3. 性能审计：

    • 评估切换对性能的影响
    • 分析响应时间变化
    • 提出性能优化建议

常见问题与解决方案 ​

1. 切换过程中出现错误 ​

症状 ​

  • 切换命令执行失败
  • 数据库状态异常
  • 日志应用中断

解决方案 ​

  • 检查错误信息：详细阅读错误信息
  • 查看告警日志：分析告警日志中的详细信息
  • 执行回滚：如果无法解决，执行回滚操作
  • 联系Oracle支持：获取技术支持

2. 应用无法连接新主库 ​

症状 ​

  • 应用连接超时
  • 连接字符串错误
  • 网络连接失败

解决方案 ​

  • 检查网络连接：验证网络连通性
  • 更新连接字符串：确保连接字符串正确
  • 检查监听器：确保监听器正常运行
  • 验证服务名：确认服务名配置正确

3. 数据不一致 ​

症状 ​

  • 主备库数据不一致
  • 应用查询结果不同
  • 事务丢失

解决方案 ​

  • 检查归档日志：确保所有归档日志已应用
  • 验证SCN：比较主备库的SCN
  • 执行验证：使用DBMS_COMPARISON验证数据一致性
  • 重新同步：如果差异较大，重新同步备库

4. 性能下降 ​

症状 ​

  • 新主库性能明显下降
  • 查询响应时间变长
  • 系统资源使用率高

解决方案 ​

  • 分析性能数据：使用AWR报告分析性能
  • 检查执行计划：确认SQL执行计划是否变化
  • 调整参数：根据新环境调整数据库参数
  • 优化配置：优化新主库的配置

5. 切换时间过长 ​

症状 ​

  • 切换过程耗时过长
  • 业务中断时间超过预期
  • 应用无法及时恢复

解决方案 ​

  • 分析瓶颈：找出切换过程中的瓶颈
  • 优化步骤：简化切换步骤
  • 并行操作：优化操作顺序，并行执行可并行的任务
  • 预准备：提前完成可能的准备工作

常见问题（FAQ） ​

Q1: Switchover 和 Failover 有什么区别？ ​

A1: Switchover 和 Failover 的主要区别：

特性SwitchoverFailover
触发方式计划内，手动触发计划外，主库故障时触发
数据完整性完全数据一致可能丢失未传输的事务
操作顺序先转换主库，再转换备库直接将备库转换为主库
可回滚性可以回滚不可回滚，需要重建备库
应用影响最小化中断可能有数据丢失
适用场景计划内维护主库故障应急

Q2: 如何减少切换过程中的业务中断时间？ ​

A2: 减少业务中断时间的方法：

  • 提前准备：在切换前完成所有准备工作
  • 优化流程：简化切换步骤，减少不必要的操作
  • 并行操作：并行执行可并行的任务
  • 应用设计：设计支持快速切换的应用
  • 网络配置：使用VIP或负载均衡，实现IP地址漂移
  • 自动切换：配置自动切换机制

Q3: 切换测试需要停止应用吗？ ​

A3: 是的，切换测试通常需要停止应用：

  • 计划内切换：需要在切换前停止应用，切换完成后重启
  • 故障切换测试：模拟故障时应用会自动断开，切换完成后重启
  • 最小化影响：选择业务低峰期进行测试
  • 通知用户：提前通知相关用户

Q4: 如何验证切换后的数据库状态？ ​

A4: 验证切换后数据库状态的方法：

  • 检查数据库角色：

    sql
    SELECT DATABASE_ROLE, OPEN_MODE FROM V$DATABASE;

  • 检查归档日志配置：

    sql
    SELECT DEST_NAME, STATUS, TARGET FROM V$ARCHIVE_DEST;

  • 检查日志应用状态：

    sql
    SELECT PROCESS, STATUS FROM V$MANAGED_STANDBY;

  • 验证数据一致性：

    sql
    -- 检查关键表数据
SELECT COUNT(*) FROM critical_table;

Q5: 切换测试失败后如何处理？ ​

A5: 切换测试失败后的处理方法：

  1. 执行回滚：按照回滚计划执行回滚操作
  2. 分析原因：详细分析失败原因
  3. 解决问题：修复导致失败的问题
  4. 重新测试：在修复后重新进行测试
  5. 更新文档：更新测试文档，记录失败原因和解决方案

Q6: 如何在RAC环境中执行切换测试？ ​

A6: RAC环境中执行切换测试的方法：

  1. 检查所有节点：确保RAC所有节点状态正常
  2. 执行切换操作：在主库的一个节点上执行切换命令
  3. 验证所有节点：确认所有节点都正确切换角色
  4. 检查服务状态：确保RAC服务在新主库上正常运行
  5. 测试连接：验证从所有节点的连接

Q7: 如何处理切换过程中的网络问题？ ​

A7: 处理切换过程中网络问题的方法：

  • 检查网络连接：使用ping、traceroute等工具检查网络
  • 验证监听器：确保监听器正常运行
  • 检查TNS配置：确认TNS配置正确
  • 使用备用网络：如果有冗余网络，切换到备用网络
  • 联系网络团队：获取网络团队的支持

Q8: 切换测试对性能有什么影响？ ​

A8: 切换测试对性能的影响：

  • 短期影响：

    • 切换过程中数据库性能下降
    • 应用短暂中断
    • 系统资源使用率增加

  • 长期影响：

    • 验证系统的性能表现
    • 发现潜在的性能问题
    • 为性能优化提供依据

  • 缓解措施：

    • 选择业务低峰期测试
    • 提前通知用户
    • 准备性能监控

Q9: 如何自动化切换测试？ ​

A9: 自动化切换测试的方法：

  1. 使用Enterprise Manager：

    • 使用EM的切换测试向导
    • 配置自动测试任务

  2. 编写自定义脚本：

    • 使用Shell或Python脚本
    • 自动化执行测试步骤
    • 生成测试报告

  3. 使用第三方工具：

    • 一些监控工具支持自动化切换测试
    • 配置测试计划和执行

  4. 集成到CI/CD：

    • 将切换测试集成到CI/CD流程
    • 定期自动执行测试

Q10: 如何制定切换测试的频率？ ​

A10: 制定切换测试频率的方法：

  • 根据环境重要性：

    • 生产环境：每季度一次
    • 预生产环境：每月一次
    • 测试环境：每两周一次

  • 考虑业务需求：

    • 业务关键系统：更频繁测试
    • 非关键系统：适当减少测试频率

  • 法规要求：

    • 某些行业有特定的测试频率要求
    • 满足合规性要求

  • 系统变更：

    • 系统变更后增加测试频率
    • 验证变更对切换的影响

通过定期的切换测试，可以确保Data Guard环境的可靠性，提高运维人员的操作熟练度，为实际故障发生时的快速响应做好准备。