印刻数据库

外观

KingBaseES 监听日志管理 ​

监听日志概述 ​

KingBaseES 监听日志（Listener Log）记录了数据库监听器的活动情况，包括连接请求、断开连接、错误信息等。监听日志对于诊断连接问题、安全审计和性能分析具有重要价值。

监听日志的作用 ​

  1. 连接问题诊断：记录连接请求和连接失败的原因，帮助诊断连接问题
  2. 安全审计：记录连接来源、用户名和连接时间，用于安全审计
  3. 性能分析：记录连接建立和断开的时间，帮助分析连接性能
  4. 故障排查：记录监听器的错误信息，帮助排查监听器故障
  5. 容量规划：统计连接数量和连接频率，用于容量规划

监听日志的特点 ​

  1. 实时性：监听日志实时记录监听器的活动
  2. 详细性：记录连接的详细信息，包括来源 IP、端口、用户名等
  3. 可读性：日志格式清晰，易于阅读和分析
  4. 可配置性：支持多种日志配置选项，如日志级别、日志格式等

监听日志配置 ​

配置文件位置 ​

KingBaseES 监听器的配置文件为 kingbase.conf，监听日志的相关配置也在该文件中。

主要配置参数 ​

  1. listen_addresses：指定监听器监听的 IP 地址，默认为 localhost

    listen_addresses = 'localhost'  # 监听所有地址使用 '*'

  2. port：指定监听器监听的端口，默认为 54321

    port = 54321

  3. log_line_prefix：指定日志行前缀格式

    log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '

  4. log_connections：是否记录连接建立事件，默认为 on

    log_connections = on

  5. log_disconnections：是否记录连接断开事件，默认为 on

    log_disconnections = on

  6. log_error_verbosity：指定错误日志的详细程度，可选值：terse, default, verbose

    log_error_verbosity = default

  7. log_min_messages：指定日志级别，可选值：debug5, debug4, debug3, debug2, debug1, info, notice, warning, error, log, fatal, panic

    log_min_messages = warning

  8. log_min_error_statement：指定记录错误语句的日志级别

    log_min_error_statement = error

  9. logging_collector：是否启用日志收集器，默认为 on

    logging_collector = on

  10. log_directory：指定日志文件存储目录

    log_directory = 'log'

  11. log_filename：指定日志文件名格式

    log_filename = 'kingbase-%Y-%m-%d_%H%M%S.log'

  12. log_rotation_age：指定日志文件的旋转时间，默认为 1d（1天）

    log_rotation_age = 1d

  13. log_rotation_size：指定日志文件的最大大小，默认为 0（不限制）

    log_rotation_size = 100MB

  14. log_truncate_on_rotation：是否在日志旋转时截断日志文件，默认为 off

    log_truncate_on_rotation = off

配置示例 ​

# 监听器配置
listen_addresses = '*'
port = 54321

# 日志配置
log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '
log_connections = on
log_disconnections = on
log_error_verbosity = verbose
log_min_messages = warning
log_min_error_statement = error
logging_collector = on
log_directory = 'log'
log_filename = 'kingbase-%Y-%m-%d_%H%M%S.log'
log_rotation_age = 1d
log_rotation_size = 100MB
log_truncate_on_rotation = off

监听日志格式与内容 ​

日志格式 ​

KingBaseES 监听日志的格式由 log_line_prefix 参数控制，默认格式包含以下信息：

  • %t：时间戳
  • %p：进程 ID
  • %l：日志行号
  • %u：用户名
  • %d：数据库名
  • %a：应用程序名
  • %h：客户端 IP 地址

典型日志内容 ​

  1. 连接建立日志

    2023-10-01 10:00:00.123 CST [1234]: [1-1] user=system,db=test,app=psql,client=192.168.1.100 LOG:  connection authorized: user=system database=test application_name=psql

  2. 连接断开日志

    2023-10-01 10:05:00.456 CST [1234]: [2-1] user=system,db=test,app=psql,client=192.168.1.100 LOG:  disconnection: session time: 0:05:00.333 user=system database=test application_name=psql client=192.168.1.100

  3. 连接失败日志

    2023-10-01 10:10:00.789 CST [5678]: [1-1] user=invalid,db=test,app=psql,client=192.168.1.200 FATAL:  password authentication failed for user "invalid"

  4. 监听器错误日志

    2023-10-01 10:15:00.987 CST [9012]: [1-1] LOG:  could not bind IPv4 address "0.0.0.0": Address already in use
2023-10-01 10:15:00.987 CST [9012]: [2-1] LOG:  could not bind IPv6 address "::": Address already in use
2023-10-01 10:15:00.987 CST [9012]: [3-1] WARNING:  could not create listen socket for "*"
2023-10-01 10:15:00.987 CST [9012]: [4-1] FATAL:  could not create any TCP/IP sockets

监听日志分析 ​

日志分析工具 ​

  1. 文本编辑器：使用 Vim、Emacs 等文本编辑器直接查看日志
  2. grep/awk/sed：使用 Linux 命令行工具分析日志
  3. KingBaseES Manager：通过 KEM 查看和分析监听日志
  4. ELK Stack：使用 Elasticsearch、Logstash、Kibana 进行日志收集、分析和可视化
  5. Graylog：使用 Graylog 进行日志管理和分析

常见分析场景 ​

  1. 连接失败分析

    bash
    # 统计连接失败次数
grep -c "FATAL" kingbase-2023-10-01*.log

# 查看连接失败原因
grep "FATAL" kingbase-2023-10-01*.log | sort | uniq -c | sort -nr

# 查看特定 IP 的连接失败情况
grep "192.168.1.200" kingbase-2023-10-01*.log | grep "FATAL"

  2. 连接频率分析

    bash
    # 统计每小时的连接数
grep "connection authorized" kingbase-2023-10-01*.log | awk '{print $1 " " $2}' | cut -c 1-13 | sort | uniq -c

# 统计每个 IP 的连接数
grep "connection authorized" kingbase-2023-10-01*.log | awk '{print $NF}' | sort | uniq -c | sort -nr

  3. 连接持续时间分析

    bash
    # 提取连接持续时间
grep "disconnection" kingbase-2023-10-01*.log | grep "session time" | awk '{print $NF}' > connection_durations.txt

  4. 应用程序连接分析

    bash
    # 统计每个应用程序的连接数
grep "connection authorized" kingbase-2023-10-01*.log | grep -o "app=[^,]*" | sort | uniq -c | sort -nr

日志分析最佳实践 ​

  1. 定期分析：建立定期分析监听日志的机制
  2. 自动化分析：使用脚本或工具自动化日志分析
  3. 异常检测：配置异常检测规则，及时发现异常连接
  4. 趋势分析：分析连接趋势，预测未来连接需求
  5. 安全审计：定期审计连接日志，发现安全风险

监听日志管理 ​

日志轮换 ​

KingBaseES 支持自动日志轮换，通过以下参数配置：

  1. log_rotation_age：按时间轮换日志

    log_rotation_age = 1d  # 每天轮换一次

  2. log_rotation_size：按大小轮换日志

    log_rotation_size = 100MB  # 日志文件超过 100MB 时轮换

  3. log_truncate_on_rotation：是否截断同名日志文件

    log_truncate_on_rotation = off  # 不截断，生成新的日志文件

日志清理 ​

  1. 手动清理：使用 rm 命令手动删除旧日志

    bash
    # 删除 30 天前的日志
find /path/to/logs -name "kingbase-*.log" -mtime +30 -delete

  2. 自动清理：使用 crontab 定时清理旧日志

    bash
    # 添加到 crontab
0 0 * * * find /path/to/logs -name "kingbase-*.log" -mtime +30 -delete

  3. 日志压缩：对旧日志进行压缩，减少存储空间

    bash
    # 压缩 7 天前的日志
find /path/to/logs -name "kingbase-*.log" -mtime +7 -exec gzip {} \;

日志备份 ​

  1. 本地备份：将日志备份到本地其他目录

    bash
    # 备份当天日志到本地备份目录
cp /path/to/logs/kingbase-$(date +%Y-%m-%d)*.log /path/to/backup/

  2. 远程备份：将日志备份到远程服务器

    bash
    # 使用 rsync 备份日志到远程服务器
rsync -avz /path/to/logs/kingbase-$(date +%Y-%m-%d)*.log remote_user@remote_server:/path/to/backup/

  3. 云存储备份：将日志备份到云存储服务，如 AWS S3、阿里云 OSS 等

    bash
    # 使用 AWS CLI 备份日志到 S3
aws s3 cp /path/to/logs/kingbase-$(date +%Y-%m-%d)*.log s3://kingbase-logs/

版本差异（V8 R6 vs V8 R7） ​

日志格式差异 ​

  1. V8 R7 新增日志字段

    • %c：会话 ID
    • %l：日志级别
    • %s：进程开始时间
    • %v：虚拟事务 ID
    • %x：事务 ID

  2. 日志级别优化

    • V8 R7 对日志级别进行了优化，更细粒度地控制日志输出
    • 新增了 log_min_duration_statement 参数，用于记录执行时间超过指定阈值的语句

  3. 日志旋转增强

    • V8 R7 支持更灵活的日志旋转配置
    • 新增了 log_rotation_compress 参数，支持自动压缩旧日志

配置参数差异 ​

  1. 新增配置参数

    • log_replication_commands：是否记录复制命令
    • log_replication_connections：是否记录复制连接
    • log_standby_connections：是否记录备库连接
    • log_parameter_max_length：指定日志中参数的最大长度

  2. 参数默认值变化

    • log_line_prefix 默认值更详细，包含更多会话信息
    • log_error_verbosity 默认值更详细，便于故障排查

性能优化 ​

  1. 日志写入优化

    • V8 R7 优化了日志写入性能，减少了日志写入对数据库性能的影响
    • 支持异步日志写入，提高了日志写入效率

  2. 日志压缩优化

    • V8 R7 支持自动压缩旧日志，减少了存储空间占用
    • 压缩算法更高效，压缩比更高

最佳实践 ​

监听日志配置最佳实践 ​

  1. 合理设置日志级别：根据需求设置合适的日志级别，避免日志过多或过少

    • 生产环境：建议使用 warning 或 error 级别
    • 开发环境：可以使用 info 或更详细的级别

  2. 优化日志格式：配置清晰、详细的日志格式，便于分析

    log_line_prefix = '%t [%p]: [%l-1] user=%u,db=%d,app=%a,client=%h '

  3. 启用连接日志：记录连接建立和断开事件，便于分析连接问题

    log_connections = on
log_disconnections = on

  4. 配置日志轮换：合理配置日志轮换参数，避免日志文件过大

    log_rotation_age = 1d
log_rotation_size = 100MB

监听日志管理最佳实践 ​

  1. 定期清理日志：建立日志清理机制，避免日志占用过多存储空间

    • 建议保留 30-90 天的日志
    • 对旧日志进行压缩或归档

  2. 备份重要日志：备份重要的日志文件，便于日后分析

    • 备份到本地其他目录或远程服务器
    • 考虑使用云存储备份

  3. 监控日志增长：监控日志文件的增长情况，及时调整日志配置

    • 配置日志增长告警
    • 定期检查日志大小和数量

  4. 安全管理：加强日志文件的安全管理

    • 设置合理的文件权限，避免日志泄露
    • 加密存储敏感日志
    • 限制日志访问权限

监听日志分析最佳实践 ​

  1. 建立分析流程：建立定期分析监听日志的流程

    • 每日：查看当日的连接失败和错误日志
    • 每周：分析连接趋势和性能指标
    • 每月：进行安全审计和容量规划

  2. 自动化分析：使用脚本或工具自动化日志分析

    • 编写脚本提取关键指标
    • 使用 ELK Stack 或 Graylog 进行集中日志管理和分析

  3. 异常检测：配置异常检测规则，及时发现异常情况

    • 连接失败次数突然增加
    • 特定 IP 频繁连接
    • 连接持续时间异常长

  4. 结合其他日志分析：结合错误日志、慢查询日志等进行综合分析

    • 关联连接日志和慢查询日志，分析慢查询的来源
    • 关联连接日志和错误日志，分析连接失败的原因

常见问题（FAQ） ​

Q1：监听日志不记录连接信息怎么办？ ​

A：可能的原因和解决方法：

  1. log_connections 或 log_disconnections 参数设置为 off：修改为 on
  2. 日志级别设置过高：调整 log_min_messages 参数，降低日志级别
  3. 日志收集器未启用：确保 logging_collector 参数设置为 on
  4. 日志文件权限问题：检查日志文件目录的权限，确保 KingBaseES 用户有写入权限

Q2：监听日志过大怎么办？ ​

A：可以通过以下方式解决：

  1. 调整日志级别，减少日志输出
  2. 配置日志轮换，按时间或大小轮换日志
  3. 启用日志压缩，减少存储空间
  4. 增加日志清理频率，及时清理旧日志
  5. 优化日志格式，减少不必要的日志内容

Q3：如何查看特定时间段的监听日志？ ​

A：可以使用以下方法：

  1. 使用 grep 命令过滤特定时间段的日志

    bash
    grep "2023-10-01 10:00:00" kingbase-2023-10-01*.log

  2. 使用 sed 命令提取特定时间段的日志

    bash
    sed -n '/2023-10-01 10:00:00/,/2023-10-01 11:00:00/p' kingbase-2023-10-01*.log

  3. 使用文本编辑器的搜索功能，查找特定时间段的日志

Q4：如何统计连接数和连接频率？ ​

A：可以使用以下方法：

  1. 统计连接建立次数

    bash
    grep -c "connection authorized" kingbase-2023-10-01*.log

  2. 统计每小时的连接数

    bash
    grep "connection authorized" kingbase-2023-10-01*.log | awk '{print $1 " " $2}' | cut -c 1-13 | sort | uniq -c

  3. 统计每个 IP 的连接数

    bash
    grep "connection authorized" kingbase-2023-10-01*.log | awk '{print $NF}' | sort | uniq -c | sort -nr

Q5：如何监控监听日志的增长情况？ ​

A：可以通过以下方式监控：

  1. 使用 du 命令定期检查日志目录大小

    bash
    du -sh /path/to/logs/

  2. 使用 df 命令检查日志所在分区的使用情况

    bash
    df -h /path/to/logs/

  3. 配置监控工具，如 Zabbix、Prometheus 等，监控日志目录大小

    # Zabbix 监控项
vfs.dir.size[/path/to/logs,kingbase-*.log]

  4. 配置告警规则，当日志目录大小超过阈值时触发告警

Q6：如何保护监听日志的安全？ ​

A：可以通过以下方式保护：

  1. 设置合理的文件权限，限制访问权限

    bash
    chmod 600 /path/to/logs/kingbase-*.log
chown kingbase:kingbase /path/to/logs/kingbase-*.log

  2. 加密存储敏感日志

    bash
    # 使用 gpg 加密日志
gpg -c kingbase-2023-10-01*.log

  3. 限制日志访问权限，只允许授权用户访问

    • 使用 sudo 控制访问权限
    • 配置 SELinux 或 AppArmor 规则

  4. 定期审计日志访问，发现未授权访问

    bash
    # 使用 auditd 监控日志文件访问
auditctl -w /path/to/logs/kingbase-*.log -p rwxa -k kingbase-logs

总结 ​

监听日志是 KingBaseES 数据库的重要组成部分，对于诊断连接问题、安全审计和性能分析具有重要价值。通过合理配置监听日志、加强日志管理和分析，可以提高数据库的可用性、安全性和性能。

在实际使用过程中，需要根据数据库规模和业务需求，合理配置监听日志参数，建立日志管理和分析机制。同时，要关注不同版本间的差异，充分利用新版本提供的增强功能。

通过监听日志的有效管理和分析，可以帮助 DBA 及时发现和解决连接问题，提高数据库系统的稳定性和可用性，保障业务的正常运行。