印刻数据库

外观

DM 备份与恢复最佳实践 ​

DM数据库提供了丰富的备份恢复功能，包括全量备份、增量备份、日志备份、时间点恢复等。本文将介绍DM数据库备份与恢复的最佳实践，帮助数据库管理员设计和实施可靠的备份恢复策略。

备份策略设计 ​

1. 备份类型选择 ​

DM数据库支持多种备份类型，应根据业务需求和恢复目标选择合适的备份类型：

备份类型特点适用场景
全量备份完整备份整个数据库，恢复速度快，备份时间长，占用空间大定期执行，作为基础备份
增量备份仅备份自上次备份以来变化的数据，备份时间短，占用空间小频繁执行，减少备份窗口
日志备份备份归档日志，支持时间点恢复实时或定期执行，确保数据不丢失
表空间备份仅备份指定表空间，备份时间短表空间级别的备份和恢复
表备份仅备份指定表，备份时间短表级别的备份和恢复

2. 备份频率设计 ​

备份频率应根据数据变更频率、业务重要性和恢复时间目标（RTO）来确定：

  • 全量备份：每周1-2次，建议在业务低峰期执行
  • 增量备份：每天1-2次，建议在业务低峰期执行
  • 日志备份：实时或每小时1次，确保数据丢失量最小

3. 备份存储策略 ​

  • 存储介质：

    • 本地磁盘：用于快速恢复，建议使用SSD提高性能
    • 网络存储：用于长期保存，建议使用NAS或SAN
    • 离线存储：用于灾难恢复，建议使用磁带或云存储

  • 存储位置：

    • 备份文件应存储在与数据库不同的物理位置
    • 重要备份应存储在异地，防止本地灾难
    • 云存储应选择可靠的云服务提供商

  • 存储周期：

    • 全量备份：保留3-6个月
    • 增量备份：保留1-2周
    • 日志备份：保留1-3个月
    • 根据业务需求和合规要求调整存储周期

4. 备份验证策略 ​

  • 定期验证备份的完整性和可恢复性
  • 每月至少执行一次恢复测试
  • 验证内容包括：
    • 备份文件的完整性检查
    • 恢复流程的可行性测试
    • 恢复数据的完整性验证
    • 恢复时间的验证

恢复策略设计 ​

1. 恢复目标设计 ​

  • 恢复时间目标（RTO）：从故障发生到系统恢复正常运行的时间

    • 核心业务：RTO < 4小时
    • 重要业务：RTO < 8小时
    • 一般业务：RTO < 24小时

  • 恢复点目标（RPO）：故障发生后，数据可以恢复到的最近时间点

    • 核心业务：RPO < 15分钟
    • 重要业务：RPO < 1小时
    • 一般业务：RPO < 4小时

2. 恢复场景设计 ​

针对不同的故障场景，设计相应的恢复策略：

故障场景恢复策略
逻辑错误（误删除、误更新）使用时间点恢复到故障前的状态
物理损坏（磁盘故障）使用全量备份+增量备份+日志备份恢复
系统崩溃使用全量备份+日志备份恢复
站点灾难使用异地备份恢复到备用站点
数据库升级失败使用备份恢复到升级前的状态

3. 恢复流程设计 ​

  • 制定详细的恢复流程文档
  • 明确恢复责任人和联系方式
  • 建立恢复演练机制
  • 定期更新恢复流程

备份操作最佳实践 ​

1. 备份前准备 ​

  • 检查数据库状态，确保数据库正常运行
  • 检查磁盘空间，确保有足够的空间存储备份文件
  • 检查归档日志模式，确保已启用归档日志
  • 停止不必要的业务操作，减少备份期间的数据变更

2. 备份执行 ​

  • 使用自动化工具执行备份，避免人工操作错误
  • 在业务低峰期执行备份，减少对业务的影响
  • 备份过程中监控系统资源使用情况
  • 记录备份执行结果，包括备份时间、备份大小、备份状态等

3. 备份命令示例 ​

shell
# 使用dmrman执行全量备份
./dmrman
BACKUP DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' FULL TO BACKUPSET '/opt/dmdbms/backup/full_backup_20230101'

# 执行增量备份
BACKUP DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' INCREMENT WITH BACKUPDIR '/opt/dmdbms/backup' TO BACKUPSET '/opt/dmdbms/backup/incremental_backup_20230102'

# 执行日志备份
BACKUP ARCHIVE LOG ALL DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' TO BACKUPSET '/opt/dmdbms/backup/log_backup_20230102'

4. 备份后操作 ​

  • 验证备份文件的完整性
  • 检查备份日志，确认备份成功
  • 将备份文件复制到异地存储
  • 更新备份记录，包括备份时间、备份类型、备份位置等
  • 释放临时资源

恢复操作最佳实践 ​

1. 恢复前准备 ​

  • 确认故障原因和影响范围
  • 制定恢复计划，包括恢复时间、恢复步骤、验证方法等
  • 通知相关业务部门，做好业务中断准备
  • 准备必要的工具和资源，包括备份文件、恢复工具、技术支持等

2. 恢复执行 ​

  • 严格按照恢复流程执行
  • 恢复过程中监控系统资源使用情况
  • 记录恢复执行结果，包括恢复时间、恢复步骤、恢复状态等
  • 遇到问题及时调整恢复策略

3. 恢复命令示例 ​

shell
# 使用dmrman执行全量恢复
./dmrman
RESTORE DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbms/backup/full_backup_20230101'
RECOVER DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' FROM BACKUPSET '/opt/dmdbms/backup/incremental_backup_20230102'
RECOVER DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' WITH ARCHIVEDIR '/opt/dmdbms/arch'
RECOVER DATABASE '/opt/dmdbms/data/DAMENG/dm.ini' UPDATE DB_MAGIC

4. 恢复后验证 ​

  • 检查数据库状态，确认数据库正常运行
  • 验证数据完整性，包括数据量、数据内容等
  • 验证业务功能，确保业务可以正常运行
  • 检查数据库性能，确保性能符合要求
  • 更新恢复记录，包括恢复时间、恢复原因、恢复结果等

监控与维护 ​

1. 备份监控 ​

  • 监控备份作业的执行状态，包括成功、失败、超时等
  • 监控备份存储的使用情况，及时清理过期备份
  • 监控备份执行时间，及时调整备份策略
  • 建立备份告警机制，备份失败时及时通知管理员

2. 日志管理 ​

  • 定期清理归档日志，避免磁盘空间不足
  • 监控归档日志的生成速度，及时调整日志备份策略
  • 验证归档日志的完整性，确保可以用于恢复
  • 归档日志应存储在与数据库不同的物理位置

3. 备份设备维护 ​

  • 定期检查备份存储设备的健康状态
  • 定期清理过期备份文件，释放存储空间
  • 定期测试备份设备的读写性能
  • 建立备份设备故障应急预案

不同场景的最佳实践 ​

1. 单机环境 ​

  • 采用全量备份+增量备份+日志备份的组合策略
  • 备份文件应存储在与数据库不同的磁盘或分区
  • 定期执行恢复测试，验证备份的可恢复性
  • 建议使用自动化工具管理备份作业

2. 集群环境 ​

  • DMDSC集群：

    • 每个节点应独立执行备份
    • 备份文件应存储在共享存储或各自节点的本地存储
    • 恢复时应先恢复主节点，再恢复备节点

  • DMDataWatch：

    • 在主库执行备份，备库可以作为备份的验证环境
    • 恢复时应先恢复主库，再重新配置DataWatch

  • DMRAC：

    • 可以在任意节点执行备份
    • 备份文件应存储在共享存储
    • 恢复时应按照RAC的恢复流程执行

3. 云环境 ​

  • 利用云存储的高可用性和可扩展性
  • 采用全量备份+日志备份的组合策略
  • 定期将备份文件复制到不同的云区域
  • 利用云服务提供商的备份服务，如对象存储、快照等

4. 大规模数据库 ​

  • 采用分层备份策略，将数据库分为不同的备份组
  • 使用并行备份功能，提高备份速度
  • 采用增量备份和日志备份，减少备份窗口
  • 考虑使用备份压缩功能，减少备份文件大小

不同版本的差异 ​

DM 7 vs DM 8 ​

特性DM 7DM 8
并行备份不支持支持，可配置并行度
备份压缩基本支持增强支持，提供多种压缩算法
增量备份支持差异增量支持差异增量和累积增量
备份加密不支持支持，提供多种加密算法
备份验证基本支持增强支持，提供更详细的验证信息
云存储支持不支持支持，可直接备份到云存储

DM 8.1 新特性 ​

  • 支持备份到对象存储（如AWS S3、阿里云OSS等）
  • 提供更灵活的备份策略配置
  • 增强的备份监控和告警功能
  • 支持备份集的合并和拆分
  • 提供更详细的备份报告

常见问题（FAQ） ​

Q1: 如何选择合适的备份类型？ ​

A1: 选择备份类型应考虑以下因素：

  • 数据变更频率：变更频繁的数据建议使用增量备份
  • 恢复时间目标：要求快速恢复的场景建议使用全量备份
  • 存储资源：存储资源有限的场景建议使用增量备份和压缩
  • 恢复粒度：需要细粒度恢复的场景建议使用日志备份

Q2: 备份文件应该存储在哪里？ ​

A2: 备份文件的存储位置应遵循以下原则：

  • 本地存储：用于快速恢复，建议使用SSD
  • 网络存储：用于长期保存，建议使用NAS或SAN
  • 离线存储：用于灾难恢复，建议使用磁带或云存储
  • 重要备份应存储在异地，防止本地灾难

Q3: 如何验证备份的可恢复性？ ​

A3: 验证备份可恢复性的方法：

  • 定期执行恢复测试，至少每月一次
  • 在测试环境中恢复备份，验证数据完整性
  • 记录恢复时间，确保符合RTO要求
  • 验证业务功能，确保业务可以正常运行

Q4: 如何减少备份对业务的影响？ ​

A4: 减少备份对业务影响的方法：

  • 在业务低峰期执行备份
  • 使用增量备份和日志备份，减少备份窗口
  • 启用备份压缩功能，减少备份时间和存储空间
  • 使用并行备份功能，提高备份速度
  • 考虑使用存储快照技术，减少备份对数据库的影响

Q5: 如何处理备份失败？ ​

A5: 处理备份失败的步骤：

  • 查看备份日志，定位失败原因
  • 检查数据库状态，确保数据库正常运行
  • 检查备份存储的可用性和空间
  • 重新执行备份，必要时调整备份策略
  • 分析失败原因，采取预防措施

Q6: 如何设计灾难恢复策略？ ​

A6: 设计灾难恢复策略的步骤：

  • 评估灾难风险，包括自然灾难、人为灾难等
  • 确定恢复目标，包括RTO和RPO
  • 选择灾难恢复方案，包括异地备份、备用站点等
  • 定期测试灾难恢复流程，验证方案的可行性
  • 建立灾难恢复团队，明确责任和流程

Q7: 如何管理大量的备份文件？ ​

A7: 管理大量备份文件的方法：

  • 建立备份文件命名规范，便于识别和管理
  • 定期清理过期备份文件，释放存储空间
  • 使用备份管理工具，自动化管理备份作业和文件
  • 建立备份文件索引，便于快速查找和恢复

Q8: 如何提高恢复速度？ ​

A8: 提高恢复速度的方法：

  • 使用高性能存储设备，如SSD
  • 采用并行恢复功能（DM 8及以上版本）
  • 优化恢复参数配置
  • 减少需要恢复的数据量，如使用增量恢复
  • 考虑使用存储快照技术，快速恢复数据