印刻数据库

外观

DB2 事务日志 ​

事务日志概述 ​

事务日志是DB2数据库的核心组件之一，用于记录数据库的所有修改操作，确保事务的ACID（原子性、一致性、隔离性、持久性）特性。事务日志不仅用于数据库恢复，还支持数据复制、高可用性和灾难恢复等功能。

事务日志架构 ​

日志组件 ​

  1. 日志缓冲区：内存中的临时存储区域，用于缓存事务日志记录
  2. 活动日志：当前正在使用的日志文件，记录未提交或未归档的事务
  3. 归档日志：已关闭的日志文件，用于前滚恢复
  4. 日志控制文件：记录日志序列信息，用于日志管理

日志工作流程 ​

  1. 事务执行时，修改操作首先写入日志缓冲区
  2. 日志缓冲区满或事务提交时，日志记录刷新到活动日志文件
  3. 活动日志文件达到大小限制时，切换到下一个日志文件
  4. 归档日志模式下，旧的活动日志文件被归档到指定位置
  5. 数据库恢复时，读取日志文件重建数据库状态

日志记录结构 ​

每条日志记录包含以下信息：

  • 日志记录头：包含日志序列号、时间戳、事务ID
  • 操作类型：插入、更新、删除等
  • 对象标识：表、索引等对象的标识符
  • 前像和后像：数据修改前后的值
  • 锁信息：事务持有的锁
  • 事务状态：开始、提交、回滚等

事务日志配置 ​

日志配置参数 ​

参数描述默认值
LOGPRIMARY主日志文件数量16
LOGSECOND辅助日志文件数量20
LOGFILSIZ单个日志文件大小（4KB页）1024
LOGPATH活动日志路径数据库目录下的SQLOGDIR
MIRRORLOGPATH镜像日志路径无
LOGARCHMETH1主归档方法OFF
LOGARCHMETH2辅助归档方法OFF
LOGBUFSZ日志缓冲区大小（4KB页）256
MINCOMMIT最小提交延迟（事务数）1
NUM_LOG_SPAN最大活动事务跨日志数0
BLK_LOG_DSK_FUL日志满时阻塞事务NO
SOFTMAX日志切换阈值（日志记录数）0

配置方法 ​

设置日志文件数量和大小 ​

bash
# 设置主日志文件数量为30，辅助日志文件数量为10
db2 update db cfg for sample using LOGPRIMARY 30 LOGSECOND 10

# 设置单个日志文件大小为2048页（8MB）
db2 update db cfg for sample using LOGFILSIZ 2048

设置日志路径 ​

bash
# 设置活动日志路径
db2 update db cfg for sample using LOGPATH /db2logs/sample

# 设置镜像日志路径（建议使用不同磁盘）
db2 update db cfg for sample using MIRRORLOGPATH /db2mirrorlogs/sample

配置归档日志模式 ​

bash
# 使用磁盘归档
db2 update db cfg for sample using LOGARCHMETH1 "DISK:/db2archlogs/sample/"

# 使用TSM归档
db2 update db cfg for sample using LOGARCHMETH1 "TSM"

# 使用磁带归档
db2 update db cfg for sample using LOGARCHMETH1 "TAPE:/dev/rmt0"

# 使用双归档目标
db2 update db cfg for sample using LOGARCHMETH2 "DISK:/db2archlogs2/sample/"

调整日志缓冲区大小 ​

bash
# 设置日志缓冲区大小为512页（2MB）
db2 update db cfg for sample using LOGBUFSZ 512

配置提交延迟 ​

bash
# 设置最小提交延迟为5个事务
db2 update db cfg for sample using MINCOMMIT 5

事务日志管理 ​

活动日志管理 ​

查看活动日志状态 ​

bash
# 使用db2pd查看日志状态
db2pd -d sample -logs

# 查看日志配置
db2 get db cfg for sample | grep -i log

# 查看日志空间使用情况
db2 get snapshot for database on sample | grep -i "log space"

手动切换日志 ​

bash
# 手动归档日志，切换到下一个日志文件
db2 archive log for database sample

归档日志管理 ​

归档日志的保留策略 ​

  • 根据恢复时间目标（RTO）确定保留期限
  • 结合备份策略制定归档日志保留计划
  • 定期清理过期的归档日志

归档日志的清理方法 ​

bash
# 手动清理过期归档日志
find /db2archlogs/sample -name "S*.LOG" -mtime +7 -exec rm -f {} \;

# 使用db2prune命令清理
# 注意：db2prune需要与备份历史关联，谨慎使用
db2 prune history 20231015 and delete

日志故障排除 ​

日志空间满 ​

症状：SQL0964C 数据库日志已满

解决方法：

  1. 增加LOGPRIMARY或LOGSECOND参数
  2. 增大LOGFILSIZ参数
  3. 启用归档日志模式
  4. 检查是否有长事务占用日志空间
  5. 考虑使用BLK_LOG_DSK_FUL YES设置
bash
# 查看长时间运行的事务
db2 get snapshot for application agents on sample | grep -i "elapsed time"

# 强制终止长时间运行的事务
db2 force application (<application_handle>)

日志文件损坏 ​

症状：SQL1042C 发生意外的系统错误

解决方法：

  1. 如果有镜像日志，使用镜像日志恢复
  2. 从备份恢复数据库，然后前滚到最近的日志
  3. 联系IBM支持获取进一步帮助

事务日志监控 ​

监控指标 ​

指标描述警戒值
日志使用率已使用日志空间占总日志空间的百分比>80%
日志切换频率每小时日志切换次数>100
长事务数量运行时间超过30分钟的事务数>5
日志缓冲区命中率日志缓冲区命中次数/总日志请求次数<90%
归档日志生成速率每小时生成的归档日志大小根据业务需求调整

监控方法 ​

使用快照监控 ​

bash
# 获取数据库快照，查看日志信息
db2 get snapshot for database on sample | grep -i log

# 获取应用程序快照，查看事务日志使用情况
db2 get snapshot for application agents on sample | grep -i "log space"

使用db2pd工具 ​

bash
# 查看日志状态
db2pd -d sample -logs

# 查看事务状态
db2pd -d sample -transactions

# 查看应用程序日志使用情况
db2pd -d sample -applications

使用事件监控器 ​

bash
# 创建日志使用事件监控器
db2 create event monitor log_usage for bufferpool, database, tablespace write to file '/db2eventlogs'

# 激活事件监控器
db2 set event monitor log_usage state 1

# 查看事件监控数据
db2evmon -path /db2eventlogs

使用IBM Data Studio ​

  • 连接到数据库，打开"管理控制台"
  • 导航到"监控和调优" -> "性能监控"
  • 查看"日志使用情况"面板
  • 设置日志使用率警报

事务日志恢复 ​

前滚恢复 ​

前滚恢复是指将数据库从备份状态恢复到最新状态，需要使用归档日志。

bash
# 步骤1：恢复全量备份
db2 restore database sample from /db2backup taken at 20231015143045

# 步骤2：前滚到最后一个日志
db2 rollforward database sample to end of logs and stop

# 步骤3：前滚到指定时间点
db2 rollforward database sample to 2023-10-15-15.30.00.000000 using local time and stop

# 步骤4：使用特定日志路径前滚
db2 rollforward database sample to end of logs and stop overflow log path (/db2archlogs/sample)

日志应用顺序 ​

恢复时日志应用顺序：

  1. 全量备份中的日志记录
  2. 增量备份中的日志记录
  3. 归档日志文件（按时间顺序）
  4. 活动日志文件（按时间顺序）

不完全恢复 ​

当部分日志文件丢失时，可以进行不完全恢复：

bash
# 前滚到可用日志的最后一个点
db2 rollforward database sample to end of logs and complete overflow log path (/db2archlogs/sample)

注意：不完全恢复会导致数据丢失，应尽量避免使用。

事务日志优化 ​

日志性能优化 ​

  1. 调整日志文件大小和数量

    • 根据事务量调整LOGFILSIZ、LOGPRIMARY和LOGSECOND
    • 避免频繁的日志切换
    • 建议单个日志文件大小为256MB-1GB

  2. 优化日志缓冲区

    • 增加LOGBUFSZ参数，提高日志缓冲区命中率
    • 对于OLTP系统，建议设置为512-2048页

  3. 使用日志镜像

    • 启用MIRRORLOGPATH，提高日志可靠性
    • 将镜像日志存储在不同磁盘上，避免单点故障

  4. 优化日志I/O

    • 使用高速存储设备存放日志文件
    • 分离日志I/O和数据I/O
    • 考虑使用SSD存储日志

  5. 调整MINCOMMIT参数

    • 对于高并发系统，适当增加MINCOMMIT值
    • 减少日志刷新次数，提高吞吐量
    • 建议设置为5-10

日志空间优化 ​

  1. 启用归档日志模式

    • 避免活动日志空间耗尽
    • 支持前滚恢复到任意时间点
    • 建议生产环境必须启用

  2. 合理设置归档日志保留期限

    • 根据备份策略确定保留期限
    • 定期清理过期归档日志
    • 考虑使用压缩存储归档日志

  3. 监控长事务

    • 识别并终止长时间运行的事务
    • 优化应用程序，减少事务持有时间
    • 考虑使用自动提交或更小的事务粒度

  4. 使用适当的隔离级别

    • 避免使用SERIALIZABLE隔离级别
    • 优先使用READ COMMITTED或REPEATABLE READ
    • 考虑使用游标稳定性（CURSOR STABILITY）

版本差异 ​

DB2 10.5及之前版本 ​

  • 支持基本的日志管理功能
  • 日志归档方法有限
  • 日志缓冲区大小设置范围较小
  • 不支持日志压缩

DB2 11.1版本 ​

  • 增强了日志归档功能
  • 支持更多归档目标类型
  • 改进了日志性能
  • 支持日志加密

DB2 11.5版本 ​

  • 引入了日志压缩功能
  • 支持云存储归档
  • 改进了日志管理的易用性
  • 增强了日志监控功能
  • 支持更快的日志切换

生产实践 ​

1. 日志配置最佳实践 ​

场景：OLTP生产环境，每天处理100万笔事务

配置：

bash
# 设置主日志30个，辅助日志10个
db2 update db cfg for sample using LOGPRIMARY 30 LOGSECOND 10

# 设置单个日志文件大小为4096页（16MB）
db2 update db cfg for sample using LOGFILSIZ 4096

# 设置日志缓冲区为1024页（4MB）
db2 update db cfg for sample using LOGBUFSZ 1024

# 启用归档日志，双目标归档
db2 update db cfg for sample using LOGARCHMETH1 "DISK:/db2archlogs/sample/"
db2 update db cfg for sample using LOGARCHMETH2 "TSM"

# 设置最小提交延迟为5
db2 update db cfg for sample using MINCOMMIT 5

2. 日志监控脚本示例 ​

bash
#!/bin/bash
# DB2日志监控脚本

DB_NAME="sample"
LOG_FILE="/db2monitor/log_monitor_$(date +%Y%m%d).log"
ALERT_EMAIL="dba@company.com"

# 获取日志使用率
LOG_USAGE=$(db2 get snapshot for database on $DB_NAME | grep -i "log space used" | awk '{print $5}' | sed 's/%//')

# 获取日志切换次数（过去60分钟）
LOG_SWITCHES=$(db2 get snapshot for database on $DB_NAME | grep -i "log switches" | awk '{print $4}')

# 获取长事务数量（运行时间超过30分钟）
LONG_TRANS=$(db2 get snapshot for application agents on $DB_NAME | grep -A 5 "elapsed time" | grep -i "minutes" | awk '$4 > 30 {print $0}' | wc -l)

# 记录监控数据
echo "$(date) - Log usage: ${LOG_USAGE}%, Log switches: ${LOG_SWITCHES}, Long transactions: ${LONG_TRANS}" >> $LOG_FILE

# 检查警戒值
if [ ${LOG_USAGE} -gt 80 ]; then
    echo "ALERT: Log usage exceeds 80% (${LOG_USAGE}%)" >> $LOG_FILE
    mail -s "DB2 Log Usage Alert: ${DB_NAME}" $ALERT_EMAIL <<< "Log usage: ${LOG_USAGE}%\nPlease check the database immediately."
fi

if [ ${LONG_TRANS} -gt 5 ]; then
    echo "ALERT: More than 5 long transactions detected" >> $LOG_FILE
    mail -s "DB2 Long Transaction Alert: ${DB_NAME}" $ALERT_EMAIL <<< "Long transactions: ${LONG_TRANS}\nPlease check application performance."
fi

3. 归档日志管理示例 ​

bash
#!/bin/bash
# DB2归档日志管理脚本

ARCHIVE_PATH="/db2archlogs/sample"
RETENTION_DAYS=14
DATE=$(date +%Y%m%d)
LOG_FILE="/db2archlogs/log_archive_${DATE}.log"

# 创建日志文件
echo "===== DB2 Archive Log Management Started at $(date) =====" >> $LOG_FILE

# 清理过期归档日志
echo "Cleaning archive logs older than ${RETENTION_DAYS} days..." >> $LOG_FILE
find ${ARCHIVE_PATH} -name "S*.LOG" -mtime +${RETENTION_DAYS} -exec rm -f {} \;

# 检查归档目录空间
echo "Checking archive directory space..." >> $LOG_FILE
df -h ${ARCHIVE_PATH} >> $LOG_FILE

# 检查归档日志数量
echo "Checking number of archive logs..." >> $LOG_FILE
ls -l ${ARCHIVE_PATH}/S*.LOG | wc -l >> $LOG_FILE

echo "===== DB2 Archive Log Management Completed at $(date) =====" >> $LOG_FILE

常见问题（FAQ） ​

Q1: 如何计算合适的日志文件大小和数量？ ​

A1: 可以通过以下公式计算：

  • 估算每小时生成的日志量：根据事务量和平均事务大小
  • 单个日志文件大小：建议256MB-1GB，避免频繁切换
  • 主日志数量：至少能容纳1小时的日志量
  • 辅助日志数量：为主日志数量的50%-100%

Q2: 日志满时如何应急处理？ ​

A2: 可以采取以下应急措施：

  1. 增加LOGSECOND参数，临时扩展日志空间
  2. 终止长时间运行的事务
  3. 手动归档日志，释放活动日志空间
  4. 如果是开发环境，考虑使用循环日志模式（不推荐生产环境）

Q3: 如何迁移日志路径？ ​

A3: 可以通过以下步骤迁移：

  1. 离线状态下，使用重定向恢复迁移日志路径
  2. 或者使用db2relocatedb工具
  3. 迁移后验证日志路径是否正确

Q4: 归档日志模式和循环日志模式有什么区别？ ​

A4: 主要区别：

  • 归档日志模式：保留所有日志，支持前滚恢复，适合生产环境
  • 循环日志模式：日志文件循环使用，不支持前滚恢复，适合开发测试环境
  • 生产环境必须使用归档日志模式

Q5: 如何启用日志镜像？ ​

A5: 可以通过以下步骤启用：

  1. 确保镜像日志路径存在且权限正确
  2. 设置MIRRORLOGPATH参数
  3. 重启数据库使设置生效
  4. 验证镜像日志是否正常工作

Q6: 如何监控日志缓冲区命中率？ ​

A6: 可以通过以下方法监控：

  • 使用db2pd工具：db2pd -d sample -bufferpools
  • 查看数据库快照：db2 get snapshot for database on sample | grep -i "buffer pool hit ratio"
  • 日志缓冲区命中率建议保持在90%以上

Q7: 如何处理归档日志丢失？ ​

A7: 处理方法：

  • 如果丢失的是旧日志，且已有全量备份，可以从备份恢复
  • 如果丢失的是最新日志，可能导致数据丢失
  • 建议实施多副本归档策略，避免日志丢失

Q8: 如何优化日志I/O性能？ ​

A8: 优化方法：

  • 使用高速存储设备存放日志
  • 分离日志I/O和数据I/O
  • 增加日志缓冲区大小
  • 调整MINCOMMIT参数
  • 考虑使用日志镜像提高可靠性

Q9: 如何查看日志记录内容？ ​

A9: 可以使用以下工具查看：

  • db2logmgr工具：查看日志管理信息
  • db2flw工具：分析日志文件
  • IBM Data Studio：图形化日志分析
  • 注意：日志文件是二进制格式，需要专用工具查看

Q10: 如何确定归档日志的保留期限？ ​

A10: 确定方法：

  • 根据恢复时间目标（RTO）确定
  • 结合备份策略，至少保留到下一次全量备份
  • 考虑合规要求，某些行业需要保留7年以上
  • 定期测试恢复流程，验证归档日志的可用性

总结 ​

事务日志是DB2数据库的重要组成部分，对数据库的可靠性和性能有着关键影响。合理配置和管理事务日志，能够提高数据库的可用性，减少恢复时间，优化系统性能。DBA应该根据业务需求和系统特点，选择合适的日志配置，建立完善的日志监控和管理机制，确保事务日志的安全可靠。