印刻数据库

外观

KingBaseES 第三方工具 ​

监控工具 ​

Prometheus + Grafana ​

Prometheus 是一款开源的监控系统，Grafana 是一款开源的数据可视化工具，两者结合可以实现对 KingBaseES 的全面监控，适合大规模集群监控场景。

架构设计 ​

KingBaseES 实例 → Exporter → Prometheus → Grafana

生产环境安装配置 ​

  1. 安装 KingBaseES Exporter

    • 下载地址：KingBaseES Exporter
    • 编译安装（生产环境建议使用指定版本）：
      bash
      git clone -b v1.0.0 https://github.com/kingbase/kingbase-exporter.git
cd kingbase-exporter
make build
# 移动到生产目录
sudo mv kingbase_exporter /usr/local/bin/
sudo chmod +x /usr/local/bin/kingbase_exporter

  2. 创建系统服务（生产环境推荐）

    • 创建服务文件 /etc/systemd/system/kingbase_exporter.service：
      ini
      [Unit]
Description=KingBaseES Exporter
After=network.target

[Service]
User=kingbase
Group=kingbase
Type=simple
ExecStart=/usr/local/bin/kingbase_exporter --config.file=/etc/kingbase_exporter/kingbase_exporter.yml --web.listen-address=:9187
Restart=on-failure

[Install]
WantedBy=multi-user.target

  3. 生产环境配置 Exporter

    • 创建配置目录：sudo mkdir -p /etc/kingbase_exporter
    • 创建配置文件 /etc/kingbase_exporter/kingbase_exporter.yml：
      yaml
      kingbase:
  host: 127.0.0.1
  port: 54321
  username: exporter
  password: secure_password_123 # 生产环境使用强密码
  database: template1
  ssl_mode: require # 生产环境建议启用 SSL
    • 设置权限：sudo chown -R kingbase:kingbase /etc/kingbase_exporter

  4. 启动服务并设置开机自启

    bash
    sudo systemctl daemon-reload
sudo systemctl start kingbase_exporter
sudo systemctl enable kingbase_exporter
# 验证服务状态
sudo systemctl status kingbase_exporter

  5. 生产环境 Prometheus 配置

    • 在 prometheus.yml 中添加（支持多个实例和标签）：
      yaml
      scrape_configs:
  - job_name: 'kingbase'
    static_configs:
      - targets: ['192.168.1.100:9187']
        labels:
          instance: 'kingbase-prod-01'
          environment: 'production'
      - targets: ['192.168.1.101:9187']
        labels:
          instance: 'kingbase-prod-02'
          environment: 'production'
    scrape_interval: 15s # 生产环境根据需求调整采集间隔
    scrape_timeout: 10s

  6. Grafana 生产配置

    • 导入 KingBaseES 仪表板模板（ID: 12345，可从 Grafana 官网获取）
    • 设置数据源为 Prometheus，启用 HTTPS
    • 配置告警规则，例如：
      • 连接数超过阈值（如 80% 最大连接数）
      • 慢查询数量突然增加
      • 缓冲区命中率低于 95%
    • 配置告警通知（邮件、Slack、企业微信等）

Zabbix ​

Zabbix 是一款企业级的开源监控解决方案，适合需要集中管理多种监控对象的企业环境，可以全面监控 KingBaseES 数据库的各种指标。

生产环境配置步骤 ​

  1. 安装 Zabbix Agent

    • 在 KingBaseES 服务器上安装 Zabbix Agent（与 Zabbix Server 版本保持一致）：
      bash
      # CentOS/RHEL
rpm -Uvh https://repo.zabbix.com/zabbix/6.0/rhel/7/x86_64/zabbix-release-6.0-1.el7.noarch.rpm
yum install -y zabbix-agent

# Ubuntu/Debian
wget https://repo.zabbix.com/zabbix/6.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_6.0-4+ubuntu20.04_all.deb
dpkg -i zabbix-release_6.0-4+ubuntu20.04_all.deb
apt update
apt install -y zabbix-agent

  2. 生产环境 Zabbix Agent 配置

    • 编辑 /etc/zabbix/zabbix_agentd.conf：
      ini
      # 基本配置
Server=192.168.1.200 # Zabbix Server IP
ServerActive=192.168.1.200
Hostname=kingbase-prod-01 # 唯一主机名
HostMetadata=kingbase # 用于自动发现

# 安全配置
AllowRoot=0
User=zabbix
Group=zabbix

# 性能优化
StartAgents=5
Timeout=30
BufferSize=100
MaxLinesPerSecond=200

# 日志配置
LogType=file
LogFile=/var/log/zabbix/zabbix_agentd.log
LogFileSize=100
DebugLevel=3

  3. 创建 KingBaseES 监控脚本

    • 创建专用监控用户：
      sql
      CREATE USER zabbix_monitor WITH PASSWORD 'secure_password' CONNECTION LIMIT 5;
GRANT CONNECT ON DATABASE template1 TO zabbix_monitor;
GRANT SELECT ON pg_stat_database TO zabbix_monitor;
GRANT SELECT ON pg_stat_bgwriter TO zabbix_monitor;
GRANT SELECT ON pg_stat_user_tables TO zabbix_monitor;
    • 创建监控脚本 /etc/zabbix/scripts/kingbase_monitor.sh：
      bash
      #!/bin/bash
# KingBaseES Zabbix 监控脚本

KINGBASE_BIN=/opt/Kingbase/ES/V8R6/Server/bin
KINGBASE_HOST=127.0.0.1
KINGBASE_PORT=54321
KINGBASE_USER=zabbix_monitor
KINGBASE_PASS=secure_password

case $1 in
  connection_count)
    $KINGBASE_BIN/ksql -h $KINGBASE_HOST -p $KINGBASE_PORT -U $KINGBASE_USER -d template1 -t -c "SELECT count(*) FROM pg_stat_activity;"
    ;;
  buffer_hit_ratio)
    $KINGBASE_BIN/ksql -h $KINGBASE_HOST -p $KINGBASE_PORT -U $KINGBASE_USER -d template1 -t -c "SELECT 100 * (1 - (sum(blks_read) / sum(blks_hit + blks_read))) FROM pg_stat_database;"
    ;;
  lock_count)
    $KINGBASE_BIN/ksql -h $KINGBASE_HOST -p $KINGBASE_PORT -U $KINGBASE_USER -d template1 -t -c "SELECT count(*) FROM pg_locks WHERE granted = false;"
    ;;
  slow_query_count)
    $KINGBASE_BIN/ksql -h $KINGBASE_HOST -p $KINGBASE_PORT -U $KINGBASE_USER -d template1 -t -c "SELECT count(*) FROM pg_stat_statements WHERE mean_exec_time > 1000;"
    ;;
  *)
    echo "Usage: $0 {connection_count|buffer_hit_ratio|lock_count|slow_query_count}"
    exit 1
    ;;
esac
    • 设置权限：
      bash
      sudo chmod +x /etc/zabbix/scripts/kingbase_monitor.sh
sudo chown zabbix:zabbix /etc/zabbix/scripts/kingbase_monitor.sh

  4. 配置 Zabbix Agent 自定义监控项

    • 编辑 /etc/zabbix/zabbix_agentd.d/kingbase.conf：
      ini
      # KingBaseES 自定义监控项
UserParameter=kingbase.connection_count,/etc/zabbix/scripts/kingbase_monitor.sh connection_count
UserParameter=kingbase.buffer_hit_ratio,/etc/zabbix/scripts/kingbase_monitor.sh buffer_hit_ratio
UserParameter=kingbase.lock_count,/etc/zabbix/scripts/kingbase_monitor.sh lock_count
UserParameter=kingbase.slow_query_count,/etc/zabbix/scripts/kingbase_monitor.sh slow_query_count

  5. 重启 Zabbix Agent

    bash
    sudo systemctl restart zabbix-agent
sudo systemctl enable zabbix-agent

  6. 导入 Zabbix KingBaseES 模板

    • 导入 KingBaseES 监控模板（包含常用监控项、触发器和图形）
    • 配置模板宏：
      • {$KINGBASE_HOST}：数据库主机地址
      • {$KINGBASE_PORT}：数据库端口
      • {$KINGBASE_USER}：监控用户名
      • {$KINGBASE_PASSWORD}：监控用户密码

  7. 生产环境监控指标与触发器

    • 关键监控指标：
      • 连接数（阈值：超过最大连接数的 80%）
      • 缓冲区命中率（阈值：低于 95%）
      • 锁等待数量（阈值：大于 5）
      • 慢查询数量（阈值：1 分钟内超过 10 个）
      • 事务回滚率（阈值：超过 10%）
      • 磁盘空间使用率（阈值：超过 85%）
    • 配置合理的触发器级别（信息、警告、严重、灾难）

  8. 监控数据可视化

    • 创建 KingBaseES 专用仪表板
    • 添加关键指标图形和拓扑图
    • 配置数据聚合和趋势分析

管理工具 ​

pgAdmin 4 ​

pgAdmin 4 是一款功能强大的开源 PostgreSQL 管理工具，由于 KingBaseES 兼容 PostgreSQL 协议，可以使用 pgAdmin 4 进行数据库管理、查询开发和性能监控，适合图形化管理场景。

生产环境安装配置 ​

  1. 下载安装 pgAdmin 4

    • 下载地址：pgAdmin 4
    • 生产环境建议使用 Web 模式部署：
      bash
      # CentOS/RHEL 安装
rpm -i https://ftp.postgresql.org/pub/pgadmin/pgadmin4/yum/pgadmin4-redhat-repo-2-1.noarch.rpm
yum install -y pgadmin4-web

# 初始化配置
/usr/pgadmin4/bin/setup-web.sh

  2. Web 模式安全配置

    • 编辑 /etc/httpd/conf.d/pgadmin4.conf，添加访问控制：
      apache
      # 允许特定 IP 访问
Require ip 192.168.1.0/24 10.0.0.0/8

# 启用 HTTPS
SSLEngine on
SSLCertificateFile /etc/pki/tls/certs/pgadmin.crt
SSLCertificateKeyFile /etc/pki/tls/private/pgadmin.key

  3. 生产环境连接配置

    • 打开 pgAdmin 4 Web 界面，添加新服务器组 "KingBaseES-Prod"
    • 添加 KingBaseES 服务器，配置连接参数：
      • 常规：
        • 名称：kingbase-prod-01
        • 组：KingBaseES-Prod
      • 连接：
        • 主机名/地址：192.168.1.100
        • 端口：54321
        • 维护数据库：template1
        • 用户名：pgadmin_user
        • 密码：secure_password
        • 保存密码：勾选（生产环境建议使用 PAM 或 LDAP 认证）
      • SSL：
        • SSL 模式：require
        • 根证书：/path/to/ca.crt
      • 高级：
        • 连接超时：30
        • 保持活动：60
        • 应用名称：pgAdmin4

  4. 创建专用管理用户

    sql
    -- 创建 pgAdmin 专用用户
CREATE USER pgadmin_user WITH PASSWORD 'secure_password';
GRANT SELECT ON ALL TABLES IN SCHEMA public TO pgadmin_user;
GRANT USAGE, SELECT ON ALL SEQUENCES IN SCHEMA public TO pgadmin_user;
GRANT CONNECT ON DATABASE mydb TO pgadmin_user;
-- 根据需要授予更多权限，但遵循最小权限原则

  5. 生产环境功能使用

    • 数据库对象管理：通过图形界面创建、修改、删除表、索引、视图等
    • SQL 查询编辑器：支持语法高亮、自动补全、执行计划分析
    • 备份恢复：
      • 定期备份：使用 pgAdmin 调度作业功能，配置每周全备和每日增量备份
      • 恢复测试：在测试环境验证备份的可用性
    • 性能监控：
      • 查看实时连接数和锁状态
      • 分析慢查询和执行计划
      • 监控表和索引大小
    • 角色权限管理：可视化管理用户权限，遵循最小权限原则

  6. 生产环境最佳实践

    • 使用专用管理用户，避免直接使用 system 账户
    • 配置强密码策略和定期密码轮换
    • 启用 SSL 加密连接
    • 限制 pgAdmin 访问 IP 地址
    • 定期审计 pgAdmin 操作日志
    • 配置会话超时，增强安全性

DBeaver ​

DBeaver 是一款通用的数据库管理工具，支持多种数据库，包括 KingBaseES，适合需要管理多种数据库的场景，提供强大的 SQL 开发和数据可视化功能。

生产环境安装配置 ​

  1. 下载安装 DBeaver

    • 下载地址：DBeaver
    • 生产环境建议使用企业版，提供更多高级功能和支持
    • 安装完成后，配置 Java 运行环境：
      bash
      # 设置 JAVA_HOME 为稳定版本
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export PATH=$JAVA_HOME/bin:$PATH

  2. 配置 PostgreSQL 驱动

    • 打开 DBeaver，进入 数据库 → 驱动管理器
    • 选择 PostgreSQL，点击 编辑
    • 更新驱动版本至最新稳定版
    • 添加 KingBaseES 特定配置：
      • URL 模板：jdbc:postgresql://{host}:{port}/{database}?currentSchema={schema}&sslmode={sslmode}
      • 驱动类：org.postgresql.Driver
      • 类路径：确保包含最新的 PostgreSQL JDBC 驱动 jar 包

  3. 生产环境连接配置

    • 打开 DBeaver，创建新连接，选择 PostgreSQL
    • 配置连接参数：
      • 主要：
        • 主机：192.168.1.100
        • 端口：54321
        • 数据库：template1
        • 用户名：dbeaver_user
        • 密码：secure_password
        • 保存密码：勾选（生产环境建议使用凭证管理器）
      • SSL：
        • SSL 模式：require
        • 信任服务器证书：取消勾选
        • CA 证书：/path/to/ca.crt
      • 高级：
        • 连接超时：30
        • 登录超时：10
        • 网络超时：60
        • 应用名称：DBeaver-Prod

  4. 创建专用管理用户

    sql
    -- 创建 DBeaver 专用用户
CREATE USER dbeaver_user WITH PASSWORD 'secure_password';
GRANT SELECT ON ALL TABLES IN SCHEMA public TO dbeaver_user;
GRANT SELECT ON pg_stat_database TO dbeaver_user;
GRANT SELECT ON pg_stat_user_tables TO dbeaver_user;
-- 仅授予必要的权限

  5. 生产环境功能使用

    • 多数据库管理：在同一界面管理 KingBaseES、PostgreSQL、MySQL 等多种数据库
    • SQL 开发：
      • 语法高亮和自动补全
      • 执行计划分析和优化建议
      • 查询历史记录和版本控制
    • 数据可视化：
      • ER 图生成：可视化数据库结构
      • 数据透视表：分析大量数据
      • 图表生成：创建柱状图、折线图等
    • 数据导入导出：
      • 支持多种格式：CSV、Excel、JSON、XML
      • 批量导入：适合大规模数据迁移
      • 导入验证：确保数据完整性

  6. 生产环境最佳实践

    • 连接管理：
      • 使用连接池：减少连接创建开销
      • 限制并发连接数：避免数据库过载
      • 自动断开空闲连接：节省资源
    • 安全配置：
      • 使用 GPG 加密存储密码
      • 启用主密码保护
      • 定期清理敏感数据
    • 性能优化：
      • 调整查询结果集大小限制
      • 禁用自动刷新：减少数据库负载
      • 使用本地缓存：提高查询速度
    • 团队协作：
      • 导出/导入连接配置：方便团队共享
      • 使用版本控制管理 SQL 脚本
      • 配置统一的 SQL 格式化规则

优化工具 ​

pgbadger ​

pgbadger 是一款高性能的 PostgreSQL 日志分析工具，可以快速分析 KingBaseES 的慢查询日志，生成详细的 HTML 性能报告，适合生产环境中的慢查询分析和性能优化。

生产环境安装配置 ​

  1. 安装 pgbadger

    • 使用包管理器安装（推荐）：
      bash
      # CentOS/RHEL
yum install -y pgbadger

# Ubuntu/Debian
apt update && apt install -y pgbadger

# 从源码安装最新版本
wget https://github.com/darold/pgbadger/archive/refs/tags/v12.0.tar.gz
tar -xzf v12.0.tar.gz
cd pgbadger-12.0
perl Makefile.PL
make && make install

  2. 配置 KingBaseES 慢查询日志

    • 编辑 kingbase.conf：
      ini
      # 启用慢查询日志
log_min_duration_statement = 1000 # 记录执行时间超过 1 秒的查询
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h ' # 日志格式
log_statement = 'none' # 仅记录慢查询
log_duration = on
log_lock_waits = on
log_temp_files = 0 # 记录所有临时文件
log_autovacuum_min_duration = 0 # 记录所有自动 vacuum 操作
    • 重启数据库使配置生效：
      bash
      systemctl restart kingbase

  3. 生产环境日志分析

    • 单次分析：
      bash
      pgbadger -o kingbase_slow_report_$(date +%Y%m%d).html /opt/Kingbase/ES/V8R6/Server/log/slow.log
    • 定期分析脚本：
      bash
      #!/bin/bash
# 每日慢查询日志分析脚本

LOG_DIR="/opt/Kingbase/ES/V8R6/Server/log"
REPORT_DIR="/var/www/html/pgbadger_reports"
DATE=$(date +%Y%m%d)
YESTERDAY=$(date -d "yesterday" +%Y%m%d)

# 创建报告目录
mkdir -p $REPORT_DIR

# 分析昨天的慢查询日志
pgbadger -o $REPORT_DIR/kingbase_slow_report_$YESTERDAY.html $LOG_DIR/slow.log.$YESTERDAY

# 压缩旧报告（保留 30 天）
find $REPORT_DIR -name "*.html" -mtime +30 -exec gzip {} \;

# 设置报告权限
chmod -R 755 $REPORT_DIR
    • 添加到 crontab 定期执行：
      bash
      # 每天凌晨 2 点执行
0 2 * * * /path/to/pgbadger_daily.sh

  4. 高级分析选项

    bash
    # 分析多个日志文件
pgbadger -o kingbase_combined_report.html /opt/Kingbase/ES/V8R6/Server/log/slow.log.*

# 按时间范围分析
pgbadger -o kingbase_hourly_report.html -b "$(date -d "1 hour ago" +%Y-%m-%d%H:%M:%S)" /opt/Kingbase/ES/V8R6/Server/log/slow.log

# 生成 JSON 格式报告（便于自动化处理）
pgbadger -o kingbase_report.json -f json /opt/Kingbase/ES/V8R6/Server/log/slow.log

  5. 报告内容解读

    • 概览：总查询数、慢查询数、平均执行时间
    • 慢查询统计：按执行时间、调用次数、锁等待时间等排序
    • 查询执行计划分析：识别全表扫描、索引缺失等问题
    • 索引使用情况：分析索引命中率和未使用索引
    • 锁等待分析：识别锁竞争严重的查询
    • 临时文件分析：识别需要优化的复杂查询

  6. 生产环境最佳实践

    • 设置合理的慢查询阈值：根据业务场景调整 log_min_duration_statement
    • 定期分析慢查询日志：建议每日或每周分析
    • 结合应用场景优化：针对报告中的慢查询，结合业务逻辑进行优化
    • 监控报告变化趋势：关注慢查询数量和平均执行时间的变化
    • 与开发团队共享报告：促进开发人员编写更高效的 SQL

pg_stat_statements ​

pg_stat_statements 是 PostgreSQL 的一个核心扩展，可以实时收集和统计 SQL 查询的执行信息，包括执行次数、总时间、平均时间、临时文件使用等，是 KingBaseES 生产环境中进行查询性能优化的重要工具。

生产环境安装配置 ​

  1. 安装扩展

    • 首先修改 kingbase.conf，添加扩展到预加载库：
      ini
      shared_preload_libraries = 'pg_stat_statements' # 可以与其他扩展一起使用，用逗号分隔
    • 重启数据库使配置生效：
      bash
      systemctl restart kingbase
    • 在需要监控的数据库中创建扩展：
      sql
      CREATE EXTENSION pg_stat_statements;

  2. 生产环境优化配置

    • 编辑 kingbase.conf，配置 pg_stat_statements 参数：
      ini
      # pg_stat_statements 配置
pg_stat_statements.max = 10000 # 最多保存 10000 条查询记录
pg_stat_statements.track = top # 仅跟踪顶级查询（不跟踪嵌套查询）
pg_stat_statements.track_utility = on # 跟踪工具命令（如 CREATE、DROP 等）
pg_stat_statements.save = on # 重启后保存统计信息

# 性能优化
track_io_timing = on # 启用 I/O 时间跟踪
track_activity_query_size = 4096 # 增加查询大小限制
    • 重新加载配置（无需重启数据库）：
      bash
      /opt/Kingbase/ES/V8R6/Server/bin/sys_ctl reload -D /opt/Kingbase/ES/V8R6/Data

  3. 生产环境查询示例

    • 查询最耗时的 10 条 SQL：
      sql
      SELECT queryid, query, calls, total_exec_time, mean_exec_time, rows
FROM pg_stat_statements
ORDER BY total_exec_time DESC
LIMIT 10;
    • 查询执行次数最多的 SQL：
      sql
      SELECT queryid, query, calls, total_exec_time, mean_exec_time
FROM pg_stat_statements
ORDER BY calls DESC
LIMIT 10;
    • 查询产生临时文件最多的 SQL：
      sql
      SELECT queryid, query, calls, temp_blks_written, mean_temp_blks_written
FROM pg_stat_statements
WHERE temp_blks_written > 0
ORDER BY temp_blks_written DESC
LIMIT 10;
    • 查询平均执行时间最长的 SQL：
      sql
      SELECT queryid, query, calls, total_exec_time, mean_exec_time
FROM pg_stat_statements
WHERE calls > 10 # 排除执行次数过少的查询
ORDER BY mean_exec_time DESC
LIMIT 10;

  4. 生产环境监控脚本

    • 创建定期监控脚本 pg_stat_monitor.sh：
      bash
      #!/bin/bash
# pg_stat_statements 定期监控脚本

KINGBASE_BIN=/opt/Kingbase/ES/V8R6/Server/bin
KINGBASE_USER=monitor_user
KINGBASE_PASS=secure_password
REPORT_FILE=/var/log/kingbase/pg_stat_report_$(date +%Y%m%d).txt

$KINGBASE_BIN/ksql -U $KINGBASE_USER -d template1 -t -c "
SELECT 
  to_char(now(), 'YYYY-MM-DD HH24:MI:SS') as report_time,
  query,
  calls,
  round(total_exec_time::numeric, 2) as total_time_ms,
  round(mean_exec_time::numeric, 2) as avg_time_ms,
  rows
FROM pg_stat_statements
WHERE total_exec_time > 1000
ORDER BY total_exec_time DESC
LIMIT 20;
" > $REPORT_FILE

# 发送报告（可选）
# mail -s "KingBaseES Slow Queries Report" dba@example.com < $REPORT_FILE
    • 添加到 crontab，每小时执行一次：
      bash
      0 * * * * /path/to/pg_stat_monitor.sh

  5. 统计信息管理

    • 重置统计信息（谨慎使用）：
      sql
      -- 重置所有统计信息
SELECT pg_stat_statements_reset();

-- 重置单个查询的统计信息
SELECT pg_stat_statements_reset(queryid) FROM pg_stat_statements WHERE query LIKE '%specific_query%';
    • 定期清理旧统计信息：
      sql
      -- 删除长期未执行的查询统计
SELECT pg_stat_statements_reset() WHERE calls = 1 AND last_exec_time < now() - interval '7 days';

  6. 生产环境最佳实践

    • 配置优化：
      • 根据数据库规模调整 pg_stat_statements.max 参数，避免内存占用过大
      • 生产环境建议使用 track = top，减少性能开销
      • 启用 track_io_timing 可以获得更详细的 I/O 性能数据
    • 查询分析：
      • 结合执行计划（EXPLAIN ANALYZE）一起分析慢查询
      • 关注 temp_blks_written 高的查询，可能需要优化索引或调整 work_mem
      • 定期查看查询执行次数，识别高频低效率查询
    • 性能影响：
      • pg_stat_statements 会带来一定的性能开销（通常 < 5%）
      • 建议在生产环境中持续运行，但其性能影响远小于其带来的优化收益
    • 数据持久化：
      • 启用 pg_stat_statements.save = on 可以在重启后保留统计信息
      • 定期备份统计信息，便于长期性能趋势分析

开发工具 ​

Flyway ​

Flyway 是一款开源的数据库迁移工具，通过版本化的 SQL 脚本管理数据库架构变更，支持自动化部署和回滚，适合 DevOps 流程中的数据库变更管理。

生产环境安装配置 ​

  1. 下载安装 Flyway

    • 下载地址：Flyway
    • 生产环境建议使用命令行工具或集成到 CI/CD 流程：
      bash
      # 下载并解压 Flyway
wget https://repo1.maven.org/maven2/org/flywaydb/flyway-commandline/9.22.3/flyway-commandline-9.22.3-linux-x64.tar.gz
tar -xzf flyway-commandline-9.22.3-linux-x64.tar.gz
mv flyway-9.22.3 /opt/flyway

# 添加到系统路径
echo 'export PATH=$PATH:/opt/flyway' >> /etc/profile
source /etc/profile

  2. 生产环境配置

    • 创建 flyway.conf 文件（存放在安全位置）：
      ini
      # 基本配置
flyway.url=jdbc:postgresql://192.168.1.100:54321/mydb
flyway.user=flyway_user
flyway.password=secure_password
flyway.driver=org.postgresql.Driver

# 生产环境优化
flyway.schemas=public,fw_metadata # 指定管理 schema
flyway.table=flyway_schema_history # 自定义历史表名
flyway.baselineOnMigrate=true # 已有数据库时自动基线
flyway.baselineVersion=1.0 # 基线版本
flyway.validateOnMigrate=true # 迁移前验证
flyway.cleanDisabled=true # 禁用 clean 命令（生产环境安全）

# 高级配置
flyway.ignoreMissingMigrations=false # 严格模式
flyway.ignoreIgnoredMigrations=false
flyway.ignorePendingMigrations=false
flyway.ignoreOutOfOrder=false # 禁用乱序迁移
    • 设置配置文件权限：
      bash
      chmod 600 /path/to/flyway.conf

  3. 创建专用迁移用户

    sql
    CREATE USER flyway_user WITH PASSWORD 'secure_password';
GRANT ALL PRIVILEGES ON DATABASE mydb TO flyway_user;
GRANT ALL PRIVILEGES ON SCHEMA public TO flyway_user;
GRANT ALL PRIVILEGES ON SCHEMA fw_metadata TO flyway_user;

  4. 迁移脚本管理

    • 脚本命名规则：
      • 版本化迁移：V1.0__Initial_schema.sql
      • 重复迁移：R__Refresh_materialized_views.sql
      • 撤销迁移：U1.0__Rollback_initial_schema.sql（需要 Pro 版本）
    • 脚本内容示例：
      sql
      -- V1.0__Initial_schema.sql
CREATE TABLE users (
  id SERIAL PRIMARY KEY,
  username VARCHAR(50) NOT NULL UNIQUE,
  email VARCHAR(100) NOT NULL UNIQUE,
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

CREATE INDEX idx_users_email ON users(email);

  5. 生产环境迁移执行

    • 基本迁移：
      bash
      flyway -configFiles=/path/to/flyway.conf migrate
    • 验证迁移：
      bash
      flyway -configFiles=/path/to/flyway.conf validate
    • 查看状态：
      bash
      flyway -configFiles=/path/to/flyway.conf info
    • 基线设置：
      bash
      flyway -configFiles=/path/to/flyway.conf baseline

  6. CI/CD 集成示例

    yaml
    # GitLab CI/CD 示例
flyway-migrate:
  stage: deploy
  image: flyway/flyway:9.22.3
  script:
    - flyway -url=jdbc:postgresql://$DB_HOST:$DB_PORT/$DB_NAME -user=$FLYWAY_USER -password=$FLYWAY_PASS migrate
  only:
    - main
  environment:
    name: production
  when: manual # 生产环境手动执行

  7. 生产环境最佳实践

    • 迁移前准备：
      • 在测试环境验证所有迁移脚本
      • 备份生产数据库
      • 规划迁移时间窗口（低峰期）
    • 迁移执行：
      • 使用专用迁移用户，遵循最小权限原则
      • 记录迁移日志，便于审计和故障排查
      • 迁移后验证数据完整性
    • 回滚策略：
      • 准备手动回滚脚本（针对复杂迁移）
      • 定期测试回滚流程
      • 考虑使用蓝绿部署或金丝雀发布减少风险
    • 版本管理：
      • 迁移脚本纳入版本控制
      • 遵循语义化版本命名
      • 保持脚本幂等性（重复执行不影响结果）

Liquibase ​

Liquibase 是一款功能强大的开源数据库变更管理工具，支持多种数据库格式（XML、YAML、JSON、SQL），适合复杂数据库架构的版本管理和团队协作。

生产环境安装配置 ​

  1. 下载安装 Liquibase

    • 下载地址：Liquibase
    • 生产环境安装：
      bash
      # 下载并解压 Liquibase
wget https://github.com/liquibase/liquibase/releases/download/v4.24.0/liquibase-4.24.0.tar.gz
tar -xzf liquibase-4.24.0.tar.gz
mv liquibase-4.24.0 /opt/liquibase

# 添加到系统路径
echo 'export PATH=$PATH:/opt/liquibase' >> /etc/profile
source /etc/profile

# 下载 PostgreSQL 驱动
mkdir -p /opt/liquibase/lib
wget -O /opt/liquibase/lib/postgresql.jar https://jdbc.postgresql.org/download/postgresql-42.6.0.jar

  2. 生产环境配置

    • 创建 liquibase.properties 文件：
      properties
      # 基本配置
url=jdbc:postgresql://192.168.1.100:54321/mydb
username=liquibase_user
password=secure_password
driver=org.postgresql.Driver
classpath=/opt/liquibase/lib/postgresql.jar

# 生产环境优化
changeLogFile=db/changelog/master.xml
liquibaseSchemaName=lb_metadata
databaseChangeLogTableName=databasechangelog
databaseChangeLogLockTableName=databasechangeloglock

# 安全配置
runWith=liquibase.user

# 高级配置
contexts=production
labels=release-1.0
logLevel=info
clearCheckSums=false
    • 设置配置文件权限：
      bash
      chmod 600 /path/to/liquibase.properties

  3. 创建专用迁移用户

    sql
    CREATE USER liquibase_user WITH PASSWORD 'secure_password';
GRANT ALL PRIVILEGES ON DATABASE mydb TO liquibase_user;
GRANT ALL PRIVILEGES ON SCHEMA public TO liquibase_user;
GRANT ALL PRIVILEGES ON SCHEMA lb_metadata TO liquibase_user;

  4. 变更日志管理

    • 主变更日志 db/changelog/master.xml：
      xml
      <?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
  xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
  http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.23.xsd">
  
  <!-- 包含其他变更日志文件 -->
  <include file="db/changelog/20240110_initial_schema.xml" relativeToChangelogFile="true" />
  <include file="db/changelog/20240115_add_users_table.xml" relativeToChangelogFile="true" />
</databaseChangeLog>
    • 变更日志示例 db/changelog/20240110_initial_schema.xml：
      xml
      <?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog
  xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog
  http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-4.23.xsd">
  
  <changeSet id="1" author="dba" context="production" labels="release-1.0">
    <comment>Initial schema creation</comment>
    <createTable tableName="users">
      <column name="id" type="SERIAL">
        <constraints primaryKey="true" nullable="false" />
      </column>
      <column name="username" type="VARCHAR(50)">
        <constraints unique="true" nullable="false" />
      </column>
      <column name="email" type="VARCHAR(100)">
        <constraints unique="true" nullable="false" />
      </column>
      <column name="created_at" type="TIMESTAMP" defaultValueComputed="CURRENT_TIMESTAMP" />
    </createTable>
    
    <createIndex indexName="idx_users_email" tableName="users">
      <column name="email" />
    </createIndex>
  </changeSet>
</databaseChangeLog>

  5. 生产环境迁移执行

    • 基本迁移：
      bash
      liquibase --defaultsFile=/path/to/liquibase.properties update
    • 验证变更：
      bash
      liquibase --defaultsFile=/path/to/liquibase.properties validate
    • 查看状态：
      bash
      liquibase --defaultsFile=/path/to/liquibase.properties status
    • 生成文档：
      bash
      liquibase --defaultsFile=/path/to/liquibase.properties generateChangeLog

  6. CI/CD 集成示例

    yaml
    # Jenkins Pipeline 示例
stage('Database Migration') {
  steps {
    script {
      sh '/opt/liquibase/liquibase --defaultsFile=/path/to/liquibase.properties update'
    }
  }
  post {
    success {
      echo 'Database migration completed successfully'
    }
    failure {
      echo 'Database migration failed!'
      currentBuild.result = 'FAILURE'
    }
  }
}

  7. 生产环境最佳实践

    • 变更日志管理：
      • 使用版本控制管理所有变更日志
      • 按时间顺序和功能模块组织变更日志
      • 每个变更集只包含一个逻辑变更
      • 添加详细的注释和标签
    • 迁移执行：
      • 在测试环境充分验证变更
      • 生产迁移前备份数据库
      • 使用专用迁移用户
      • 记录完整的迁移日志
    • 回滚策略：
      • 为每个变更集添加回滚语句
      • 定期测试回滚功能
      • 对于复杂变更，准备手动回滚脚本
    • 性能优化：
      • 避免在变更集中执行大量数据操作
      • 对于大表变更，考虑分批次执行
      • 合理设置 Liquibase 的日志级别
    • 安全配置：
      • 限制迁移用户的权限
      • 加密配置文件中的敏感信息
      • 禁用不必要的命令（如 dropAll）

备份恢复工具 ​

barman ​

barman（Backup and Recovery Manager）是一款功能强大的开源 PostgreSQL 备份恢复工具，支持 KingBaseES，提供完整的备份、恢复、Point-in-Time Recovery (PITR) 和 WAL 归档管理功能，适合生产环境中的数据保护。

生产环境安装配置 ​

  1. 安装 barman

    • 使用包管理器安装（推荐）：
      bash
      # CentOS/RHEL
yum install -y epel-release
yum install -y barman python3-psycopg2

# Ubuntu/Debian
apt update && apt install -y barman python3-psycopg2

# 从源码安装最新版本
pip install barman[all]  # 包含所有依赖

  2. 创建 barman 用户和目录

    bash
    # 创建 barman 用户
useradd -m -d /var/lib/barman -s /bin/bash barman

# 创建必要目录
mkdir -p /var/lib/barman/{backups,wal}
mkdir -p /etc/barman.d
chown -R barman:barman /var/lib/barman

  3. 配置 SSH 免密登录

    • 为 barman 用户生成 SSH 密钥：
      bash
      su - barman
ssh-keygen -t rsa -b 4096 -C "barman@backup-server"
    • 将公钥复制到 KingBaseES 服务器：
      bash
      ssh-copy-id kingbase@192.168.1.100

  4. 生产环境主配置

    • 编辑 /etc/barman.conf（全局配置）：
      ini
      [barman]
; 基本配置
barman_home = /var/lib/barman
barman_user = barman
log_file = /var/log/barman/barman.log
log_level = INFO
compression = gzip

; 备份设置
retention_policy = RECOVERY WINDOW OF 14 DAYS
retention_policy_mode = auto

; WAL 设置
wal_retention_policy = MAINTAIN
minimum_redundancy = 2

; 性能优化
parallel_jobs = 4
reuse_backup = link

; 邮件通知
;alert_script = /path/to/alert_script.sh

  5. KingBaseES 服务器配置

    • 编辑 /etc/barman.d/kingbase-prod-01.conf：
      ini
      [kingbase-prod-01]
; 基本配置
description = KingBaseES Production Server 01
conninfo = host=192.168.1.100 user=barman_user dbname=template1 port=54321
backup_method = rsync

; 备份设置
retention_policy = RECOVERY WINDOW OF 7 DAYS
backup_directory = /var/lib/barman/backups/kingbase-prod-01

; WAL 归档设置
incoming_wals_directory = /var/lib/barman/wal/kingbase-prod-01
wal_retention_policy = MAINTAIN

; 性能优化
parallel_jobs = 2

; 高级配置
immediate_checkpoint = true
checkpoint_timeout = 300

  6. 配置 KingBaseES 服务器

    • 编辑 kingbase.conf：
      ini
      # WAL 归档设置
wal_level = replica
archive_mode = on
archive_command = 'rsync -a %p barman@backup-server:/var/lib/barman/wal/kingbase-prod-01/%f'
archive_timeout = 300

# 备份优化
max_wal_senders = 10
max_replication_slots = 10
hot_standby = on
    • 创建 barman 专用用户：
      sql
      CREATE USER barman_user WITH PASSWORD 'secure_password' SUPERUSER;
GRANT REPLICATION ON DATABASE template1 TO barman_user;

  7. 生产环境备份管理

    • 手动备份：
      bash
      su - barman
barman backup kingbase-prod-01
    • 定时备份脚本：
      bash
      #!/bin/bash
# 每日全备脚本

BARMAN_USER=barman
BARMAN_CONFIG=/etc/barman.conf
SERVER=kingbase-prod-01
LOG_FILE=/var/log/barman/daily_backup.log

echo "$(date) - Starting backup for $SERVER" >> $LOG_FILE

su - $BARMAN_USER -c "barman backup $SERVER --config $BARMAN_CONFIG" >> $LOG_FILE 2>&1

if [ $? -eq 0 ]; then
  echo "$(date) - Backup completed successfully" >> $LOG_FILE
else
  echo "$(date) - Backup failed!" >> $LOG_FILE
  # 发送告警邮件
  # mail -s "KingBaseES Backup Failed" dba@example.com < $LOG_FILE
fi

# 清理过期备份
su - $BARMAN_USER -c "barman delete $SERVER oldest --config $BARMAN_CONFIG" >> $LOG_FILE 2>&1
    • 添加到 crontab，每天凌晨 1 点执行：
      bash
      0 1 * * * /path/to/barman_daily_backup.sh

  8. 生产环境恢复操作

    • 基本恢复：
      bash
      su - barman
barman recover kingbase-prod-01 latest /opt/Kingbase/ES/V8R6/Data
    • Point-in-Time Recovery (PITR)：
      bash
      barman recover kingbase-prod-01 latest /opt/Kingbase/ES/V8R6/Data --target-time '2024-01-10 14:30:00'
    • 基于 LSN 的恢复：
      bash
      barman recover kingbase-prod-01 latest /opt/Kingbase/ES/V8R6/Data --target-lsn '0/1234567'

  9. 备份验证与监控

    • 检查备份状态：
      bash
      barman check kingbase-prod-01
    • 查看备份列表：
      bash
      barman list-backups kingbase-prod-01
    • 查看备份详细信息：
      bash
      barman show-backup kingbase-prod-01 latest
    • 监控脚本示例：
      bash
      #!/bin/bash
# barman 备份监控脚本

SERVERS="kingbase-prod-01 kingbase-prod-02"

for SERVER in $SERVERS; do
  STATUS=$(barman check $SERVER | grep -c "FAILED")
  if [ $STATUS -gt 0 ]; then
    echo "Backup check failed for $SERVER"
    # 发送告警
  fi
done

  10. 生产环境最佳实践

    • 备份策略：
      • 全备：每周一次
      • 增量备：每天一次
      • WAL 归档：实时
    • 存储规划：
      • 备份存储与数据库存储分离
      • 使用 RAID 5/6 或云存储
      • 定期测试备份恢复
    • 性能优化：
      • 合理设置并行备份数
      • 使用压缩减少存储空间
      • 调整 checkpoint 配置减少备份时间
    • 安全配置：
      • 限制 barman 用户的 SSH 访问
      • 加密备份存储
      • 定期轮换密码
    • 监控告警：
      • 监控备份成功/失败状态
      • 监控备份大小和增长趋势
      • 监控 WAL 归档延迟
    • 恢复测试：
      • 每月进行一次完整恢复测试
      • 定期测试 PITR 功能
      • 记录恢复时间用于 RTO 评估

性能测试工具 ​

pgbench ​

pgbench 是 PostgreSQL 自带的基准测试工具，KingBaseES 也内置了该工具，可以用于测试数据库的事务处理性能、并发能力和资源利用率，是生产环境中性能评估和优化验证的重要工具。

生产环境使用配置 ​

  1. 准备测试环境

    • 创建专用测试用户和数据库：
      sql
      CREATE DATABASE pgbench_test;
CREATE USER pgbench_user WITH PASSWORD 'secure_password';
GRANT ALL PRIVILEGES ON DATABASE pgbench_test TO pgbench_user;
    • 确保测试环境与生产环境配置相似（硬件、内存、CPU、数据库配置）

  2. 初始化测试数据

    • 基本初始化：
      bash
      pgbench -i -s 100 -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321
    • 参数说明：
      • -i：初始化模式
      • -s 100：扩展因子，生成约 1000 万条记录
      • -U：用户名
      • -d：数据库名
      • -h：主机地址
      • -p：端口号

  3. 生产环境测试场景

    • OLTP 性能测试：
      bash
      # 20 个客户端，4 个线程，每个客户端执行 1000 个事务
pgbench -c 20 -j 4 -t 1000 -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321
    • 持续压力测试：
      bash
      # 30 个客户端，6 个线程，持续测试 30 分钟
pgbench -c 30 -j 6 -T 1800 -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321
    • 自定义脚本测试：
      bash
      # 使用自定义测试脚本
pgbench -c 15 -j 3 -t 500 -f custom_script.sql -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321

  4. 高级测试选项

    • 只读模式测试：
      bash
      pgbench -c 25 -j 5 -t 1000 --select-only -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321
    • 延迟测量：
      bash
      pgbench -c 20 -j 4 -t 1000 -l -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321
    • 详细报告：
      bash
      pgbench -c 20 -j 4 -t 1000 -r -U pgbench_user -d pgbench_test -h 192.168.1.100 -p 54321

  5. 测试结果分析

    • 关键指标：
      • tps：每秒事务数（Transactions Per Second），核心性能指标
      • latency：平均事务延迟（毫秒）
      • standard deviation：延迟标准差，反映性能稳定性
      • 95% latency：95% 事务的延迟值
      • 99% latency：99% 事务的延迟值
    • 结果示例：
      transaction type: <builtin: TPC-B (sort of)>
scaling factor: 100
query mode: simple
number of clients: 20
number of threads: 4
number of transactions per client: 1000
number of transactions actually processed: 20000/20000
latency average = 12.345 ms
latency stddev = 5.678 ms
initial connection time = 1.234 ms
tps = 1619.876532 (without initial connection time)

  6. 生产环境最佳实践

    • 测试前准备：
      • 确保数据库已优化配置
      • 运行 VACUUM ANALYZE 更新统计信息
      • 关闭不必要的监控工具，减少干扰
    • 测试执行：
      • 在业务低峰期执行测试
      • 多次测试取平均值，减少误差
      • 逐步增加并发数，找到性能瓶颈
      • 监控系统资源使用（CPU、内存、I/O）
    • 结果解读：
      • 关注 tps 和延迟的平衡
      • 分析不同并发下的性能变化趋势
      • 对比优化前后的测试结果
      • 结合业务场景评估性能是否满足需求
    • 注意事项：
      • 避免在生产数据库上直接执行高负载测试
      • 使用单独的测试环境，确保数据安全
      • 记录测试环境和配置，便于结果复现

sysbench ​

sysbench 是一款功能强大的开源多线程基准测试工具，支持测试 CPU、内存、磁盘 I/O 和数据库性能，适合 KingBaseES 生产环境中的全面性能评估和瓶颈分析。

生产环境安装配置 ​

  1. 安装 sysbench

    • 使用包管理器安装：
      bash
      # CentOS/RHEL 8
dnf install -y sysbench

# CentOS/RHEL 7
yum install -y epel-release
yum install -y sysbench

# Ubuntu/Debian
apt update && apt install -y sysbench

# 从源码安装最新版本
git clone https://github.com/akopytov/sysbench.git
cd sysbench
./autogen.sh
./configure --with-pgsql
make && make install

  2. 准备测试环境

    • 创建专用测试数据库和用户：
      sql
      CREATE DATABASE sysbench_test;
CREATE USER sysbench_user WITH PASSWORD 'secure_password';
GRANT ALL PRIVILEGES ON DATABASE sysbench_test TO sysbench_user;
    • 确保测试客户端与数据库服务器网络连接良好

  3. 生产环境测试场景

    • OLTP 读写混合测试：
      bash
      # 准备数据
sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 oltp_read_write prepare

# 执行测试
sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 --threads=32 --time=300 --rate=0 --report-interval=10 --db-ps-mode=auto oltp_read_write run

# 清理数据
sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 oltp_read_write cleanup
    • OLTP 只读测试：
      bash
      sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 --threads=64 --time=300 oltp_read_only run
    • OLTP 写密集测试：
      bash
      sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 --threads=16 --time=300 oltp_write_only run
    • 自定义查询测试：
      bash
      sysbench --db-driver=pgsql --pgsql-host=192.168.1.100 --pgsql-port=54321 --pgsql-user=sysbench_user --pgsql-password=secure_password --pgsql-db=sysbench_test --tables=20 --table-size=1000000 --threads=32 --time=300 --rate=0 --report-interval=10 --db-ps-mode=auto --lua-script=custom_query.lua run

  4. 高级测试选项

    • 使用预备语句：
      bash
      --db-ps-mode=auto
    • 限制吞吐量：
      bash
      --rate=1000 # 每秒执行 1000 个事件
    • 报告间隔：
      bash
      --report-interval=5 # 每 5 秒报告一次
    • 事件总数限制：
      bash
      --events=10000 # 执行 10000 个事件后停止

  5. 测试结果分析

    • 关键指标：
      • transactions：总事务数
      • tps：每秒事务数
      • reads：每秒读操作数
      • writes：每秒写操作数
      • response time：响应时间（min/avg/max/95%/99%）
      • threads fairness：线程公平性
    • 结果示例：
      SQL statistics:
    queries performed:
        read:                            152000
        write:                           43428
        other:                           21714
        total:                           217142
    transactions:                        10857  (36.18 per sec.)
    queries:                             217142 (723.74 per sec.)
    ignored errors:                      0      (0.00 per sec.)
    reconnects:                          0      (0.00 per sec.)

Throughput:
    events/s (eps):                      36.1815
    time elapsed:                        300.0746s
    total number of events:              10857

Latency (ms):
     min:                                  12.34
     avg:                                  885.43
     max:                                 2345.67
     95th percentile:                     1567.89
     99th percentile:                     2109.87

Threads fairness:
    events (avg/stddev):           339.2812/15.34
    execution time (avg/stddev):   299.9876/0.02

  6. 生产环境最佳实践

    • 测试策略：
      • 从低并发开始，逐步增加到预期生产负载
      • 测试不同类型的工作负载（读多、写多、混合）
      • 结合硬件监控工具（如 vmstat、iostat、top）分析资源瓶颈
    • 测试执行：
      • 在非生产环境或生产低峰期执行
      • 每次测试前重启数据库，确保初始状态一致
      • 每个测试场景重复 3-5 次，取平均值
      • 记录完整的测试配置和环境信息
    • 结果解读：
      • 关注 tps 和响应时间的关系
      • 分析不同线程数下的性能变化
      • 对比不同配置下的测试结果
      • 识别 CPU 瓶颈、I/O 瓶颈或锁竞争
    • 性能优化验证：
      • 在优化前后执行相同测试，验证优化效果
      • 测试不同参数配置的影响（如 shared_buffers、work_mem、max_connections）
      • 评估硬件升级的收益

  7. 常见测试场景

    • 硬件选型评估：比较不同服务器配置的性能
    • 数据库升级验证：测试版本升级前后的性能变化
    • 配置优化测试：评估不同参数配置的影响
    • 容量规划：确定系统最大支持的并发用户数
    • 故障恢复测试：测试数据库恢复后的性能

最佳实践 ​

工具选择建议 ​

工具类型推荐工具适用场景
监控工具Prometheus + Grafana大规模集群监控
监控工具Zabbix企业级综合监控
管理工具pgAdmin 4图形化管理
管理工具DBeaver多数据库统一管理
优化工具pgbadger慢查询分析
优化工具pg_stat_statements查询性能统计
开发工具Flyway数据库迁移管理
备份工具barman自动化备份恢复
性能测试pgbench简单基准测试
性能测试sysbench复杂场景测试

配置注意事项 ​

  1. 权限配置

    • 为第三方工具创建专用用户
    • 遵循最小权限原则
    • 定期轮换密码

  2. 网络配置

    • 限制工具访问数据库的 IP 地址
    • 使用 SSL/TLS 加密连接
    • 考虑使用 VPN 或专用网络

  3. 性能影响

    • 监控工具的采样频率不宜过高
    • 避免在生产高峰时段执行基准测试
    • 定期清理监控数据，避免磁盘空间不足

  4. 安全考虑

    • 加密存储工具配置文件中的敏感信息
    • 定期更新工具版本，修复安全漏洞
    • 监控工具自身的安全性

版本差异 ​

KingBaseES V8 R7 在第三方工具支持方面进行了多项增强和优化，与 V8 R6 相比，提供了更好的兼容性、更多的监控指标和更完善的工具集成。

V8 R6 与 V8 R7 的工具兼容性对比 ​

工具类型工具名称V8 R6 支持情况V8 R7 支持情况版本差异说明
监控工具Prometheus + Grafana✅ 基础支持✅ 增强支持V8 R7 新增更多监控指标，包括锁等待详情、自动 vacuum 统计等
监控工具Zabbix✅ 基础支持✅ 增强支持V8 R7 提供更完善的 Zabbix 模板，支持更多性能指标
管理工具pgAdmin 4✅ 基础支持✅ 增强支持V8 R7 优化了执行计划可视化，支持更多 KingBaseES 特有功能
管理工具DBeaver✅ 完全支持✅ 完全支持无显著差异，完全兼容
优化工具pgbadger✅ 完全支持✅ 完全支持无显著差异，完全兼容
优化工具pg_stat_statements✅ 基础支持✅ 增强支持V8 R7 支持更多查询统计维度，包括 I/O 等待时间、计划缓存命中率等
开发工具Flyway✅ 完全支持✅ 完全支持无显著差异，完全兼容
开发工具Liquibase✅ 完全支持✅ 完全支持无显著差异，完全兼容
备份恢复barman✅ 基础支持✅ 增强支持V8 R7 优化了 WAL 归档性能，提高了 barman 备份效率
性能测试pgbench✅ 基础支持✅ 增强支持V8 R7 内置 pgbench 优化版本，支持更多测试场景
性能测试sysbench✅ 完全支持✅ 完全支持无显著差异，完全兼容

V8 R7 新增工具支持特性 ​

  1. 增强的性能统计视图

    • 新增 pg_stat_wal 视图，提供详细的 WAL 生成和归档统计
    • 增强 pg_stat_database 视图，添加更多数据库级别的性能指标
    • 新增 pg_stat_replication_slots 视图，监控复制槽状态
    • 增强 pg_stat_user_tables 视图，提供更详细的表级统计信息

  2. 优化的工具集成

    • Prometheus Exporter 内置支持更多 KingBaseES 特有指标
    • pgAdmin 4 支持 KingBaseES 特有数据类型和函数
    • 增强了与第三方监控工具的指标映射
    • 优化了慢查询日志格式，提高与 pgbadger 等工具的兼容性

  3. 增强的安全特性

    • 支持细粒度的工具访问控制
    • 提供更完善的审计日志，便于第三方安全工具集成
    • 支持 SSL/TLS 加密连接的更详细配置
    • 增强了密码策略，与第三方身份验证工具更好集成

  4. 性能优化

    • 减少了监控工具对生产环境的性能影响
    • 优化了扩展加载机制，提高 pg_stat_statements 等扩展的性能
    • 增强了 WAL 归档机制，提高 barman 等备份工具的效率
    • 优化了查询计划缓存，提高工具查询性能

版本迁移注意事项 ​

  1. 从 V8 R6 迁移到 V8 R7

    • 大多数第三方工具无需修改配置即可直接使用
    • 建议更新监控工具的指标配置，以利用新增的监控指标
    • 备份工具（如 barman）可能需要重新配置 WAL 归档路径
    • 优化工具（如 pg_stat_statements）需要重新创建扩展以获得增强功能

  2. 工具版本兼容性

    • V8 R7 建议使用较新版本的第三方工具
    • Prometheus 建议使用 2.30+ 版本
    • Grafana 建议使用 8.0+ 版本
    • pgAdmin 4 建议使用 6.0+ 版本
    • DBeaver 建议使用 21.0+ 版本

  3. 配置调整

    • V8 R7 中部分参数名称可能发生变化，需要更新工具配置
    • 监控工具的采样频率可能需要调整，以适应新增的指标数量
    • 备份工具的并行度可以适当提高，以利用 V8 R7 的性能优化

版本特定问题解决 ​

  1. V8 R6 中的常见问题

    • pg_stat_statements 可能存在内存泄漏问题，建议定期重启数据库
    • WAL 归档可能出现延迟，建议调整 archive_timeout 参数
    • 监控工具可能无法获取某些 KingBaseES 特有指标

  2. V8 R7 中的优化建议

    • 启用新增的监控指标，提高监控覆盖率
    • 利用增强的统计信息，优化查询性能
    • 调整备份策略，利用 V8 R7 的 WAL 优化
    • 更新工具版本，获得更好的兼容性和性能

常见问题（FAQ） ​

监控工具类问题 ​

Q1: 为什么 pgAdmin 4 无法连接到 KingBaseES？ ​

A1: 可能的原因包括：

  • 数据库服务未启动
  • 网络连接问题（防火墙、端口未开放）
  • 连接参数错误（主机、端口、用户名、密码）
  • PostgreSQL 驱动版本不兼容
  • SSL 配置错误

解决方案：

  • 检查数据库服务状态：systemctl status kingbase
  • 检查网络连接：telnet kingbase-server 54321 或 nc -zv kingbase-server 54321
  • 验证连接参数：使用 ksql 命令行工具测试连接
    bash
    ksql -h kingbase-server -p 54321 -U username -d template1
  • 更新 PostgreSQL 驱动到最新版本
  • 检查 SSL 配置，确保证书正确配置

Q2: Prometheus 无法收集 KingBaseES 指标？ ​

A2: 可能的原因包括：

  • Exporter 未正确配置
  • Exporter 服务未运行
  • 防火墙阻止了 Exporter 端口
  • 数据库用户权限不足
  • Exporter 版本与 KingBaseES 版本不兼容

解决方案：

  • 检查 Exporter 配置文件，确保连接参数正确
  • 检查 Exporter 服务状态：systemctl status kingbase_exporter
  • 查看 Exporter 日志：journalctl -u kingbase_exporter
  • 开放 Exporter 端口：
    bash
    firewall-cmd --add-port=9187/tcp --permanent
firewall-cmd --reload
  • 确保数据库用户有足够的权限：
    sql
    GRANT SELECT ON pg_stat_database TO exporter;
GRANT SELECT ON pg_stat_bgwriter TO exporter;
GRANT SELECT ON pg_stat_user_tables TO exporter;
  • 尝试使用最新版本的 Exporter

Q3: Zabbix 监控出现 "Timeout while executing a shell script" 错误？ ​

A3: 可能的原因包括：

  • 监控脚本执行时间过长
  • Zabbix Agent 超时设置过小
  • 数据库连接问题
  • 监控脚本权限不足

解决方案：

  • 优化监控脚本，减少执行时间
  • 调整 Zabbix Agent 超时设置：
    ini
    Timeout=30
  • 检查数据库连接参数，确保正确
  • 确保监控脚本有执行权限：
    bash
    chmod +x /etc/zabbix/scripts/kingbase_monitor.sh

管理工具类问题 ​

Q4: DBeaver 连接 KingBaseES 后无法查看所有数据库？ ​

A4: 可能的原因包括：

  • 数据库用户权限不足
  • DBeaver 配置问题
  • KingBaseES 版本兼容性问题

解决方案：

  • 授予用户查看所有数据库的权限：
    sql
    GRANT SELECT ON pg_database TO dbeaver_user;
  • 在 DBeaver 中刷新数据库列表
  • 更新 DBeaver 到最新版本
  • 检查 KingBaseES 版本与 DBeaver 版本的兼容性

Q5: 使用 pgAdmin 4 执行 SQL 语句时出现 "permission denied" 错误？ ​

A5: 可能的原因包括：

  • 数据库用户权限不足
  • 尝试访问未授权的对象
  • 语句涉及敏感操作（如创建/删除对象）

解决方案：

  • 授予用户相应的权限：
    sql
    GRANT ALL PRIVILEGES ON SCHEMA public TO pgadmin_user;
  • 检查用户角色和权限设置
  • 确保语句符合用户权限范围

优化工具类问题 ​

Q6: pg_stat_statements 不显示查询信息？ ​

A6: 可能的原因包括：

  • 未加载 pg_stat_statements 扩展
  • 配置参数未正确设置
  • 共享内存不足
  • 统计信息已被重置
  • 扩展未在目标数据库中创建

解决方案：

  • 检查 shared_preload_libraries 参数是否包含 pg_stat_statements
  • 验证 pg_stat_statements 配置：
    ini
    pg_stat_statements.max = 10000
pg_stat_statements.track = top
  • 增加共享内存相关参数（如 shared_buffers）
  • 在目标数据库中创建扩展：
    sql
    CREATE EXTENSION pg_stat_statements;
  • 执行 SELECT pg_stat_statements_reset(); 重置统计信息（谨慎使用）

Q7: pgbadger 生成的报告为空或不完整？ ​

A7: 可能的原因包括：

  • 慢查询日志未开启
  • 日志格式配置错误
  • 日志文件路径错误
  • pgbadger 版本与日志格式不兼容

解决方案：

  • 检查 KingBaseES 配置，确保慢查询日志已开启：
    ini
    log_min_duration_statement = 1000
  • 确保日志格式正确配置：
    ini
    log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '
  • 检查日志文件路径是否正确
  • 使用最新版本的 pgbadger
  • 尝试使用 --debug 参数查看详细日志

备份恢复工具类问题 ​

Q8: barman 备份失败？ ​

A8: 可能的原因包括：

  • SSH 连接问题
  • 数据库用户权限不足
  • 磁盘空间不足
  • WAL 归档配置错误
  • barman 配置错误

解决方案：

  • 检查 SSH 免密登录配置：
    bash
    ssh barman@kingbase-server
  • 确保数据库用户有 REPLICATION 权限：
    sql
    CREATE USER barman_user WITH PASSWORD 'secure_password' REPLICATION;
  • 检查备份目录磁盘空间：
    bash
    df -h /var/lib/barman
  • 验证 WAL 归档配置：
    sql
    SHOW archive_mode;
SHOW archive_command;
  • 检查 barman 配置文件，确保参数正确

Q9: 使用 barman 恢复数据库时出现 "recovery failed" 错误？ ​

A9: 可能的原因包括：

  • 恢复目标目录权限错误
  • WAL 归档文件不完整
  • 恢复命令参数错误
  • 数据库版本不兼容

解决方案：

  • 确保恢复目标目录有正确的权限：
    bash
    chown -R kingbase:kingbase /path/to/recovery
  • 检查 WAL 归档文件是否完整
  • 验证恢复命令参数，确保正确指定备份 ID 和目标目录
  • 确保 barman 版本与 KingBaseES 版本兼容

性能测试工具类问题 ​

Q10: 使用 pgbench 测试时性能不佳？ ​

A10: 可能的原因包括：

  • 数据库配置未优化
  • 硬件资源不足
  • 测试参数设置不合理
  • 数据库统计信息过时
  • 测试环境与生产环境配置差异较大

解决方案：

  • 优化数据库配置参数：
    ini
    shared_buffers = 2GB
work_mem = 64MB
maintenance_work_mem = 512MB
effective_cache_size = 6GB
  • 确保有足够的 CPU、内存和磁盘 I/O 资源
  • 调整 pgbench 的并发数和线程数，逐步测试找到最佳配置
  • 执行 VACUUM ANALYZE 更新统计信息
  • 确保测试环境与生产环境配置相似

Q11: sysbench 测试时出现 "Too many connections" 错误？ ​

A11: 可能的原因包括：

  • KingBaseES 的 max_connections 参数设置过小
  • sysbench 配置的线程数超过数据库允许的最大连接数
  • 其他应用已占用大量连接

解决方案：

  • 调整 KingBaseES 的 max_connections 参数：
    ini
    max_connections = 500
  • 减少 sysbench 的线程数：
    bash
    sysbench --threads=100 ...
  • 检查当前数据库连接数：
    sql
    SELECT count(*) FROM pg_stat_activity;
  • 关闭不必要的连接或应用

开发工具类问题 ​

Q12: Flyway 迁移失败，提示 "Schema validation failed"？ ​

A12: 可能的原因包括：

  • 数据库 schema 与迁移脚本不匹配
  • 迁移脚本顺序错误
  • 迁移历史表损坏
  • 权限不足

解决方案：

  • 检查数据库 schema 与迁移脚本的差异
  • 确保迁移脚本按正确顺序执行
  • 验证迁移历史表，必要时修复
  • 确保 Flyway 用户有足够的权限
  • 尝试使用 flyway repair 命令修复迁移历史

Q13: Liquibase 执行变更时出现 "Table already exists" 错误？ ​

A13: 可能的原因包括：

  • 变更日志中已存在创建表的语句，而表已存在
  • 变更日志与数据库实际状态不一致
  • 变更集未正确配置预条件

解决方案：

  • 检查变更日志，确保语句与数据库状态一致
  • 为变更集添加预条件：
    xml
    <preConditions onFail="MARK_RAN">
  <not>
    <tableExists tableName="users" />
  </not>
</preConditions>
  • 使用 liquibase status 检查变更状态
  • 尝试使用 liquibase updateSQL 查看生成的 SQL，提前验证

版本兼容性问题 ​

Q14: KingBaseES V8 R7 中 pgAdmin 4 无法显示执行计划？ ​

A14: 可能的原因包括：

  • pgAdmin 4 版本过低，不支持 V8 R7 的执行计划格式
  • PostgreSQL 驱动版本不兼容
  • KingBaseES 配置问题

解决方案：

  • 更新 pgAdmin 4 到 6.0+ 版本
  • 使用最新版本的 PostgreSQL 驱动
  • 检查 KingBaseES 配置，确保 auto_explain 扩展正确配置

Q15: 从 V8 R6 升级到 V8 R7 后，监控工具无法获取部分指标？ ​

A15: 可能的原因包括：

  • 指标名称发生变化
  • 部分视图结构发生变化
  • 监控工具配置未更新

解决方案：

  • 查看 KingBaseES V8 R7 版本说明，了解指标变化
  • 更新监控工具配置，适配新的指标名称和视图结构
  • 重新创建相关扩展（如 pg_stat_statements）
  • 升级监控工具到最新版本

总结 ​

第三方工具可以极大地增强 KingBaseES 的管理、监控和开发能力。选择合适的工具并正确配置，可以提高 DBA 的工作效率，确保数据库的稳定运行和最佳性能。

在选择第三方工具时，需要考虑以下因素：

  • 工具的兼容性和稳定性
  • 工具的功能是否满足需求
  • 工具的性能影响
  • 工具的安全性
  • 工具的学习成本和维护成本

通过合理使用第三方工具，可以实现 KingBaseES 的自动化管理、实时监控、性能优化和高效开发，为企业的业务发展提供可靠的数据库支持。