印刻数据库

外观

KingBaseES 跨平台迁移 ​

迁移概述 ​

跨平台迁移是指将 KingBaseES 数据库从一种操作系统环境迁移到另一种操作系统环境，例如从 Windows 迁移到 Linux，或从 Linux 迁移到 Windows。生产环境中，跨平台迁移通常用于基础设施升级、云化改造或架构调整等场景。迁移过程中需要重点关注操作系统差异、文件系统差异、字节序差异等核心问题，确保数据完整性和业务连续性。

迁移前准备 ​

环境评估 ​

源环境评估 ​

  • 版本确认：使用 select version(); 查询源数据库版本，记录完整版本号（如 V8 R6C5、V8 R7C3）
  • 规模评估：统计数据库大小、表数量、大表分布（大于100GB的表）和大对象存储情况
  • 性能基线：使用 ksar 或监控工具记录源库一周的性能数据，包括CPU、内存、IO和网络使用率
  • 架构梳理：绘制源库架构图，标注主从关系、读写分离、归档配置等关键信息

目标环境规划 ​

  • 硬件配置：根据源库性能基线，配置目标环境CPU、内存、存储（建议存储IOPS不低于源环境）
  • 操作系统选择：优先选择长期支持版本（如 RHEL 7.6+、Windows Server 2016+）
  • 版本兼容性：确认目标库版本与源库版本的兼容性，建议目标库版本不低于源库

兼容性检查 ​

  • 执行 ks_compat_check 工具检查源库与目标库的兼容性
  • 验证目标环境操作系统是否在 KingBaseES 官方支持列表中
  • 测试目标环境网络连通性和端口可用性

迁移工具选择 ​

迁移工具适用场景优点缺点生产建议
逻辑备份恢复跨平台、跨版本兼容性好，可处理版本差异数据量大时速度慢适合中小型数据库（<500GB）或跨版本迁移
物理备份恢复同版本跨平台速度快，适合大数据量版本必须一致适合大型数据库（>500GB）或对停机时间敏感的场景
第三方迁移工具复杂场景功能丰富，支持多种数据源成本高，学习曲线陡峭仅建议用于复杂异构迁移场景

迁移计划制定 ​

时间窗口规划 ​

  • 选择业务低峰期（如周末凌晨2-6点）执行迁移
  • 预留至少2倍预估迁移时间作为缓冲
  • 明确回滚时间点和决策机制

人员职责分配 ​

  • 项目经理：整体协调和风险把控
  • DBA：负责迁移实施和技术支持
  • 业务代表：负责业务验证和回归测试
  • 运维人员：负责服务器和网络支持

回滚计划 ​

  • 备份源库完整状态（逻辑+物理）
  • 记录源库关键配置文件（kingbase.conf、sys_hba.conf）
  • 准备回滚脚本和验证步骤

迁移实施 ​

基于逻辑备份的迁移 ​

源库操作 ​

  1. 清理无效数据：删除过期日志、临时表和无效索引，减少备份数据量
  2. 创建逻辑备份：
    bash
    # 全量逻辑备份（包含大对象）
sys_dump -h 源库IP -p 54321 -U system -d 数据库名 -f 备份文件名.dmp -F c -b -v
    参数说明：
    • -F c：自定义归档格式，压缩率高
    • -b：包含大对象
    • -v： verbose模式，输出详细信息
  3. 验证备份完整性：
    bash
    sys_dump -h 源库IP -p 54321 -U system -d 数据库名 -t 关键表名 -F p | head -20

备份传输 ​

  • 使用 rsync 或 scp 传输备份文件到目标环境
    bash
    # Linux间传输
rsync -avz 备份文件名.dmp 目标IP:/backup/

# Windows到Linux传输（使用WinSCP命令行）
winscp.com /command "open sftp://用户名:密码@目标IP/" "put 备份文件名.dmp /backup/" "exit"
  • 传输完成后验证文件MD5值一致性

目标库操作 ​

  1. 初始化数据库实例：
    bash
    initdb -D /data/kingbase/data -U system -W -E UTF8
  2. 启动数据库服务：
    bash
    sys_ctl start -D /data/kingbase/data
  3. 创建目标数据库：
    bash
    createdb -h localhost -p 54321 -U system 数据库名
  4. 恢复逻辑备份：
    bash
    # 全量恢复
sys_restore -h localhost -p 54321 -U system -d 数据库名 -F c -j 4 备份文件名.dmp
    参数说明：
    • -j 4：并行恢复，根据CPU核心数调整
  5. 恢复后检查：
    sql
    -- 检查数据库对象数量
select count(*) from information_schema.tables where table_schema not in ('sys_catalog', 'information_schema');

-- 检查关键表记录数
select count(*) from 关键表名;

基于物理备份的迁移 ​

源库操作 ​

  1. 切换到归档模式（如未开启）：
    sql
    alter system set archive_mode = on;
alter system set archive_command = 'cp %p /archive/%f';
select sys_reload_conf();
  2. 执行物理备份：
    bash
    # 使用 ks_backup 工具创建全量物理备份
ks_backup -B /backup -D /data/kingbase/data -F t -b full -v
  3. 备份配置文件：
    bash
    cp /data/kingbase/data/kingbase.conf /backup/
cp /data/kingbase/data/sys_hba.conf /backup/

备份传输 ​

  • 传输物理备份文件和配置文件到目标环境
  • 确保目标环境目录权限与源环境一致

目标库操作 ​

  1. 准备数据目录：
    bash
    mkdir -p /data/kingbase/data
chown kingbase:kingbase /data/kingbase -R
  2. 恢复物理备份：
    bash
    ks_restore -B /backup -D /data/kingbase/data -F t
  3. 修改配置文件：
    • 根据目标环境调整 kingbase.conf 中的参数（如 listen_addresses、port、shared_buffers 等）
    • 调整 sys_hba.conf 中的访问控制规则
  4. 启动数据库服务：
    bash
    sys_ctl start -D /data/kingbase/data
  5. 执行恢复后检查：
    bash
    sys_checkdb -D /data/kingbase/data

迁移后验证 ​

数据完整性验证 ​

自动验证 ​

  • 使用 ks_verify 工具进行数据一致性检查
    bash
    ks_verify -s 源库IP:54321 -t 目标库IP:54321 -d 数据库名 -U system

手动验证 ​

  • 表数量对比：源库和目标库执行相同的表数量统计SQL
  • 关键表记录数对比：选择10-20张核心业务表，对比记录数
  • 数据抽样验证：对核心表执行随机抽样查询，对比结果
  • 大对象验证：检查大对象数量和大小是否一致
    sql
    select count(*) from pg_largeobject_metadata;

性能验证 ​

基准测试 ​

  • 使用 pgbench 工具执行基准测试
    bash
    # 初始化测试数据
pgbench -i -h 目标库IP -p 54321 -U system 数据库名

# 执行基准测试（16线程，300秒）
pgbench -c 16 -j 16 -T 300 -h 目标库IP -p 54321 -U system 数据库名

业务SQL测试 ​

  • 收集源库TOP 20慢SQL，在目标库执行并对比执行时间
  • 检查执行计划是否合理，重点关注全表扫描和索引使用情况

功能验证 ​

业务应用验证 ​

  • 启动测试环境应用，连接目标库执行完整业务流程测试
  • 验证事务处理、存储过程、触发器和函数的正常执行
  • 测试备份恢复、归档和监控等管理功能

权限验证 ​

  • 验证数据库用户权限是否正确迁移
  • 测试关键操作的权限控制是否生效

版本差异处理 ​

V8 R6 迁移要点 ​

  • 支持平台：Windows、Linux、AIX、HP-UX 等主流操作系统
  • 工具限制：物理备份恢复工具仅支持同版本跨平台
  • 注意事项：
    • 迁移前需手动检查并调整 kingbase.conf 中的平台特定参数
    • 大对象迁移建议使用逻辑备份方式
    • Windows到Linux迁移需注意文件权限设置

V8 R7 迁移要点 ​

  • 性能优化：增强了跨平台迁移的性能和稳定性
  • 并行支持：逻辑备份恢复工具支持并行操作，大幅提升迁移速度
  • 新功能：
    • 提供了更完善的迁移监控工具 ks_migrate_monitor
    • 增加了对更多操作系统的支持（如国产化操作系统）
    • 优化了大对象迁移性能
  • 注意事项：
    • 充分利用并行备份恢复功能缩短迁移时间
    • 使用 ks_migrate_check 工具进行迁移前预检查

生产环境最佳实践 ​

  • 充分测试：在与生产环境一致的测试环境中进行至少2次完整迁移测试
  • 增量迁移：对于超大型数据库，考虑采用"全量+增量"的迁移策略
  • 监控到位：迁移过程中实时监控CPU、内存、IO和网络使用率
  • 文档记录：详细记录迁移过程中的每一步操作、命令和结果
  • 回滚演练：正式迁移前进行至少1次回滚演练，确保回滚方案可行
  • 业务协同：提前与业务方沟通迁移计划，确保业务测试资源到位

常见问题 ​

迁移过程中备份失败怎么办？ ​

  • 检查源库连接是否正常，确保备份用户有足够权限
  • 检查磁盘空间是否充足，备份目录需预留至少2倍数据库大小的空间
  • 查看备份日志，定位具体错误信息
  • 对于超大型数据库，考虑分库分表备份

跨平台迁移后字符集不一致如何处理？ ​

  • 迁移前使用 show server_encoding; 确认源库字符集
  • 目标库初始化时指定相同字符集：initdb -E 字符集
  • 如已出现字符集不一致，使用 sys_dump 和 sys_restore 进行字符集转换：
    bash
    sys_dump -E 源字符集 -f 备份文件.sql 源库
sys_restore -E 目标字符集 -d 目标库 备份文件.sql

物理迁移后数据库无法启动怎么办？ ​

  • 检查数据目录权限是否正确（kingbase用户需有读写权限）
  • 查看日志文件 /data/kingbase/data/sys_log/kingbase-*.log，定位具体错误
  • 验证kingbase.conf配置是否符合目标环境要求
  • 如出现"invalid magic number"错误，说明备份文件损坏或版本不匹配

迁移后部分功能无法使用怎么办？ ​

  • 检查源库和目标库版本差异，确认是否存在功能兼容性问题
  • 验证扩展插件是否正确迁移，使用 select * from pg_extension; 检查
  • 测试存储过程和函数的语法兼容性，V8 R7对部分语法进行了优化

迁移后性能下降明显怎么办？ ​

  • 检查目标环境硬件配置是否达到源环境水平
  • 优化目标库参数，重点调整 shared_buffers、work_mem、maintenance_work_mem 等
  • 重新收集统计信息：analyze verbose;
  • 检查索引是否有效，重建无效索引
  • 对比源库和目标库的执行计划，调整不合理的查询

跨平台迁移时如何处理操作系统路径差异？ ​

  • 使用相对路径或环境变量配置归档目录、备份目录等
  • Windows到Linux迁移时，将配置文件中的 \ 替换为 /
  • 迁移后验证所有路径相关配置是否正确

如何评估迁移对业务的影响？ ​

  • 统计源库业务高峰期的TPS和QPS
  • 基于测试环境的迁移结果，估算正式迁移的时间窗口
  • 制定业务切换方案，包括停机通知、切换步骤和验证标准
  • 准备应急方案，应对迁移过程中的突发情况