印刻数据库

外观

DB2 物理架构 ​

概述 ​

DB2物理架构是数据库的底层结构，包括存储结构、文件组织、进程管理等方面。理解DB2物理架构对于DBA进行数据库设计、性能优化和故障恢复至关重要。

物理架构组成 ​

1. 存储结构 ​

DB2数据库的存储结构由多个层次组成，从操作系统级到数据库级。

存储层次 ​

  • 操作系统级：磁盘、文件系统、目录
  • 数据库级：存储组、表空间、容器
  • 对象级：表、索引、大对象

存储组（Storage Group） ​

  • 功能：逻辑上的存储单元，用于管理表空间的存储位置
  • 特点：
    • 自动管理存储资源
    • 支持多个存储路径
    • 支持自动扩展
  • 创建方法：
    sql
    CREATE STOGROUP stogroup1 ON '/db2data1', '/db2data2' AUTORESIZE YES;

表空间（Tablespace） ​

  • 功能：数据库对象的逻辑存储单元，用于存储表、索引等数据库对象
  • 类型：
    • 系统表空间：存储系统目录和元数据
    • 用户表空间：存储用户数据
    • 临时表空间：存储临时数据和排序结果
    • 大对象表空间：存储大对象数据
  • 创建方法：
    sql
    CREATE TABLESPACE userspace1 USING STOGROUP stogroup1 PAGESIZE 32K;

容器（Container） ​

  • 功能：表空间的物理存储单元，指向实际的存储位置
  • 类型：
    • 目录容器：指向文件系统目录
    • 文件容器：指向具体的文件
    • 裸设备容器：指向物理磁盘分区
  • 创建方法：
    sql
    CREATE TABLESPACE userspace2 MANAGED BY DATABASE USING (FILE '/db2data/userspace2' 10G);

2. 文件组织 ​

DB2数据库由多种文件组成，包括数据文件、日志文件、控制文件等。

数据文件 ​

  • 功能：存储数据库的实际数据
  • 特点：
    • 由表空间和容器管理
    • 支持自动扩展
    • 可以分布在多个磁盘上

日志文件 ​

  • 功能：记录数据库的所有修改操作，用于恢复和复制
  • 类型：
    • 在线日志文件：记录当前的数据库活动
    • 归档日志文件：已归档的历史日志文件
  • 配置方法：
    sql
    UPDATE DATABASE CONFIGURATION FOR sample USING LOGPRIMARY 10 LOGSECOND 20 LOGFILSIZ 1000;

控制文件 ​

  • 功能：存储数据库的元数据和状态信息
  • 特点：
    • 由DB2自动管理
    • 包含数据库的配置信息
    • 用于数据库启动和恢复

诊断文件 ​

  • 功能：记录数据库的诊断信息和错误日志
  • 位置：由DIAGPATH参数指定
  • 配置方法：
    sql
    UPDATE DATABASE MANAGER CONFIGURATION USING DIAGPATH '/db2diag' IMMEDIATE;

3. 进程管理 ​

DB2数据库使用多个进程来管理数据库的各种功能。

实例进程 ​

  • db2sysc：DB2数据库实例的主进程，管理所有数据库活动
  • db2ckpw：处理密码验证
  • db2fmp：数据库函数执行进程
  • db2wdog：监控db2sysc进程，负责故障恢复

数据库进程 ​

  • db2agent：处理数据库连接和请求
  • db2agenttp：处理并行查询的子代理进程
  • db2loggr：日志写入进程
  • db2pclnr：分页清理进程
  • db2pfchr：预取器进程

4. 内存结构 ​

DB2数据库使用多个内存池来管理内存资源。

数据库管理器内存 ​

  • 实例共享内存：实例级别的共享内存，包括数据库管理器配置信息
  • 数据库共享内存：数据库级别的共享内存，包括缓冲池、锁列表、数据库配置信息等

代理内存 ​

  • 应用程序共享内存：应用程序级别的共享内存
  • 私有内存：每个代理进程的私有内存

内存池 ​

  • 缓冲池：缓存数据页和索引页，减少磁盘I/O
  • 锁列表：管理数据库锁
  • 包缓存：缓存编译后的SQL语句
  • 目录缓存：缓存数据库目录信息
  • 排序堆：用于排序操作的内存

物理架构组件 ​

1. 缓冲池（Buffer Pool） ​

缓冲池是DB2数据库的核心组件，用于缓存数据页和索引页，减少磁盘I/O。

工作原理 ​

  1. 当需要访问数据时，DB2首先检查缓冲池
  2. 如果数据在缓冲池中（命中），直接从缓冲池读取
  3. 如果数据不在缓冲池中（未命中），从磁盘读取并放入缓冲池
  4. 当缓冲池满时，使用LRU算法替换旧的页

优化方法 ​

  • 增加缓冲池大小，提高命中率
  • 使用多个缓冲池，分离不同类型的数据
  • 调整缓冲池页大小，匹配表空间页大小
  • 监控缓冲池命中率，保持在95%以上

配置方法 ​

sql
-- 创建缓冲池
CREATE BUFFERPOOL bp32k SIZE 10000 PAGESIZE 32K;

-- 调整缓冲池大小
ALTER BUFFERPOOL ibmdefaultbp SIZE 20000;

2. 日志管理器（Log Manager） ​

日志管理器负责管理数据库的日志文件，确保数据的一致性和可恢复性。

工作原理 ​

  1. 所有数据修改操作都先写入日志缓冲区
  2. 日志缓冲区定期刷新到在线日志文件
  3. 在线日志文件满后，切换到下一个日志文件
  4. 归档日志文件用于数据库恢复和复制

优化方法 ​

  • 合理配置日志文件大小和数量
  • 确保日志文件分布在不同的磁盘上
  • 使用快速存储设备存储日志文件
  • 定期归档日志文件，避免磁盘空间不足

配置方法 ​

sql
-- 设置日志配置
UPDATE DATABASE CONFIGURATION FOR sample USING LOGPRIMARY 10 LOGSECOND 20 LOGFILSIZ 1000;

3. 锁管理器（Lock Manager） ​

锁管理器负责管理数据库的锁，确保并发访问时的数据一致性。

锁类型 ​

  • 共享锁（S）：允许其他事务读取但不允许修改
  • 排他锁（X）：不允许其他事务读取或修改
  • 更新锁（U）：用于更新操作的中间状态
  • 意向锁（IS, IX, SIX）：用于表级锁，指示行级锁的类型

锁升级 ​

  • 当行级锁数量超过阈值时，DB2会将行级锁升级为表级锁
  • 锁升级可能导致性能问题，应尽量避免

优化方法 ​

  • 减少锁持有时间
  • 使用合适的事务隔离级别
  • 调整锁列表大小
  • 监控锁等待情况，及时解决锁冲突

配置方法 ​

sql
-- 设置锁列表大小
UPDATE DATABASE CONFIGURATION FOR sample USING LOCKLIST 10000;

4. 预取器（Prefetcher） ​

预取器负责提前将数据从磁盘读取到缓冲池，提高查询性能。

工作原理 ​

  1. 分析查询计划，预测需要读取的数据页
  2. 提前将这些数据页读取到缓冲池
  3. 减少查询的等待时间

优化方法 ​

  • 调整预取大小
  • 确保表的物理组织有利于预取
  • 使用分区表，提高预取效率

配置方法 ​

sql
-- 设置预取大小
UPDATE DATABASE CONFIGURATION FOR sample USING DFT_PREFETCH_SZ AUTOMATIC;

5. 分页清理器（Page Cleaner） ​

分页清理器负责将脏页从缓冲池写入磁盘，保持缓冲池的可用性。

工作原理 ​

  1. 监控缓冲池中的脏页数量
  2. 当脏页数量超过阈值时，将脏页写入磁盘
  3. 确保缓冲池中有足够的干净页可用

优化方法 ​

  • 调整分页清理器的数量
  • 调整脏页阈值
  • 确保磁盘I/O性能良好

配置方法 ​

sql
-- 设置分页清理器数量
UPDATE DATABASE CONFIGURATION FOR sample USING NUM_IOCLEANERS 4;

物理架构最佳实践 ​

1. 存储设计 ​

磁盘布局 ​

  • 将数据文件和日志文件分布在不同的磁盘上
  • 将系统表空间和用户表空间分布在不同的磁盘上
  • 将临时表空间分布在高速存储设备上
  • 使用RAID存储，提高性能和可靠性

文件系统选择 ​

  • 对于Linux/Unix系统，建议使用ext4、XFS或JFS文件系统
  • 对于Windows系统，建议使用NTFS文件系统
  • 合理设置文件系统块大小，匹配DB2页大小

表空间设计 ​

  • 使用自动存储表空间，简化管理
  • 为不同类型的数据创建不同的表空间
  • 合理设置表空间页大小，匹配数据类型
  • 启用自动扩展，避免空间不足

2. 内存配置 ​

缓冲池配置 ​

  • 分配足够的内存给缓冲池，提高命中率
  • 使用多个缓冲池，分离不同类型的数据
  • 调整缓冲池页大小，匹配表空间页大小
  • 监控缓冲池命中率，保持在95%以上

其他内存池配置 ​

  • 合理设置锁列表大小，避免锁升级
  • 调整包缓存大小，提高SQL重用率
  • 调整排序堆大小，优化排序性能
  • 监控内存使用情况，避免内存不足

3. 日志配置 ​

日志文件配置 ​

  • 合理设置日志文件大小和数量
  • 确保日志文件分布在不同的磁盘上
  • 使用快速存储设备存储日志文件
  • 启用归档日志模式，确保可恢复性

日志归档 ​

  • 配置自动归档，定期归档日志文件
  • 将归档日志存储在安全的位置
  • 建立归档日志的保留策略
  • 定期备份归档日志

4. 进程配置 ​

代理进程配置 ​

  • 合理设置代理进程的最大数量
  • 启用连接池，减少代理创建开销
  • 监控代理进程的使用情况

其他进程配置 ​

  • 调整预取器和分页清理器的数量
  • 监控进程的CPU和内存使用情况
  • 确保系统有足够的资源支持DB2进程

版本差异 ​

版本物理架构特点
DB2 9.7引入自动存储，简化存储管理
DB2 10.1增强内存管理，支持更多内存池
DB2 10.5改进存储管理，支持更多存储设备类型
DB2 11.1增强缓冲池功能，支持更多缓冲池类型
DB2 11.5改进日志管理，提高日志写入性能

生产实践 ​

1. 物理架构设计示例 ​

企业级数据库物理架构设计 ​

sql
-- 创建存储组
CREATE STOGROUP data_stogroup ON '/disk1/db2data', '/disk2/db2data' AUTORESIZE YES;
CREATE STOGROUP index_stogroup ON '/disk3/db2index', '/disk4/db2index' AUTORESIZE YES;
CREATE STOGROUP temp_stogroup ON '/disk5/dbtemp' AUTORESIZE YES;
CREATE STOGROUP log_stogroup ON '/disk6/dblog' AUTORESIZE YES;

-- 创建表空间
CREATE TABLESPACE data_ts USING STOGROUP data_stogroup PAGESIZE 32K;
CREATE TABLESPACE index_ts USING STOGROUP index_stogroup PAGESIZE 16K;
CREATE TEMPORARY TABLESPACE temp_ts USING STOGROUP temp_stogroup PAGESIZE 16K;

-- 创建缓冲池
CREATE BUFFERPOOL data_bp SIZE 81920 PAGESIZE 32K;
CREATE BUFFERPOOL index_bp SIZE 40960 PAGESIZE 16K;
CREATE BUFFERPOOL temp_bp SIZE 20480 PAGESIZE 16K;

-- 将表空间与缓冲池关联
ALTER TABLESPACE data_ts BUFFERPOOL data_bp;
ALTER TABLESPACE index_ts BUFFERPOOL index_bp;
ALTER TABLESPACE temp_ts BUFFERPOOL temp_bp;

2. 物理架构监控脚本 ​

存储使用情况监控脚本 ​

bash
#!/bin/bash
# DB2 物理架构存储使用情况监控脚本

db_name="sample"
output_file="physical_architecture_$(date +%Y%m%d_%H%M%S).log"

echo "DB2 物理架构存储使用情况报告" > $output_file
echo "生成时间: $(date)" >> $output_file
echo "数据库: $db_name" >> $output_file
echo "========================================" >> $output_file
db2 connect to $db_name > /dev/null

# 存储组使用情况
echo "1. 存储组使用情况:" >> $output_file
db2 -x "SELECT SGNAME, PATH, TBSP_COUNT FROM SYSIBMADM.SNAPSG" >> $output_file
echo "========================================" >> $output_file

# 表空间使用情况
echo "2. 表空间使用情况:" >> $output_file
db2 -x "SELECT TBSP_NAME, TBSP_TYPE, TBSP_USABLE_PAGES * PAGE_SIZE / 1024 / 1024 AS USABLE_MB, 
       TBSP_USED_PAGES * PAGE_SIZE / 1024 / 1024 AS USED_MB, 
       ROUND((TBSP_USED_PAGES * 100.0 / TBSP_USABLE_PAGES), 2) AS USAGE_PERCENT 
       FROM SYSIBMADM.SNAPTBSP" >> $output_file
echo "========================================" >> $output_file

# 缓冲池使用情况
echo "3. 缓冲池使用情况:" >> $output_file
db2 -x "SELECT BP_NAME, POOL_DATA_PAGES, POOL_INDEX_PAGES, 
       100.0 * (1 - (POOL_READS / (POOL_DATA_L_READS + POOL_INDEX_L_READS + POOL_READS))) AS HIT_RATIO 
       FROM SYSIBMADM.SNAPBUF" >> $output_file
echo "========================================" >> $output_file
db2 connect reset > /dev/null
echo "报告生成完成，保存到 $output_file" >> $output_file

3. 物理架构优化示例 ​

性能瓶颈分析与优化 ​

  1. 问题：缓冲池命中率低，只有85% 解决方案：增加缓冲池大小

    sql
    ALTER BUFFERPOOL ibmdefaultbp SIZE 40960;

  2. 问题：日志写入性能差 解决方案：将日志文件移动到高速存储设备，并增加日志文件数量

    sql
    UPDATE DATABASE CONFIGURATION FOR sample USING NEWLOGPATH '/fast_disk/dblog';
UPDATE DATABASE CONFIGURATION FOR sample USING LOGPRIMARY 15 LOGSECOND 30;

  3. 问题：锁等待频繁 解决方案：增加锁列表大小，优化应用程序逻辑

    sql
    UPDATE DATABASE CONFIGURATION FOR sample USING LOCKLIST 20000;

常见问题（FAQ） ​

Q1: 如何选择合适的表空间页大小？ ​

A1: 选择表空间页大小应考虑以下因素：

  • 数据类型：大对象数据适合使用大页大小
  • 行大小：行大小超过页大小的一半时，应使用更大的页大小
  • 索引大小：大索引适合使用大页大小
  • 性能需求：大页大小可以提高查询性能，但会增加内存使用

一般建议：

  • 对于小表和索引，使用4K或8K页大小
  • 对于大表和索引，使用16K或32K页大小
  • 对于大对象数据，使用32K或64K页大小

Q2: 如何优化缓冲池性能？ ​

A2: 优化缓冲池性能的方法包括：

  • 分配足够的内存给缓冲池，提高命中率
  • 使用多个缓冲池，分离不同类型的数据
  • 调整缓冲池页大小，匹配表空间页大小
  • 监控缓冲池命中率，保持在95%以上
  • 调整缓冲池的清洗策略，优化写入性能

Q3: 如何确保DB2数据库的可恢复性？ ​

A3: 确保DB2数据库可恢复性的方法包括：

  • 启用归档日志模式
  • 定期备份数据库和归档日志
  • 合理设置日志文件大小和数量
  • 确保日志文件存储在安全的位置
  • 定期测试数据库恢复

Q4: 如何优化DB2的I/O性能？ ​

A4: 优化DB2 I/O性能的方法包括：

  • 将数据文件和日志文件分布在不同的磁盘上
  • 使用RAID存储，提高I/O并行度
  • 增加缓冲池大小，减少物理I/O
  • 优化表空间设计，提高访问效率
  • 使用高速存储设备，如SSD

Q5: 如何监控DB2的物理架构？ ​

A5: 监控DB2物理架构的方法包括：

  • 使用DB2快照命令查看存储、内存、日志等信息
  • 使用监控表查询物理架构的详细信息
  • 使用db2pd工具查看实时的物理架构信息
  • 使用IBM Data Server Manager进行可视化监控
  • 编写自定义监控脚本，定期生成报告

Q6: DB2 11.5版本在物理架构方面有哪些改进？ ​

A6: DB2 11.5版本在物理架构方面的改进包括：

  • 改进日志管理，提高日志写入性能
  • 增强内存管理，支持更多内存配置选项
  • 改进存储管理，支持更多存储设备类型
  • 增强缓冲池功能，支持更多缓冲池类型
  • 改进进程管理，提高并发处理能力

总结 ​

DB2物理架构是数据库的底层结构，包括存储结构、文件组织、进程管理和内存结构等方面。理解DB2物理架构对于DBA进行数据库设计、性能优化和故障恢复至关重要。

建议DBA根据数据库的规模和性能需求，合理设计物理架构，包括存储布局、内存配置、日志配置和进程配置等。定期监控物理架构的使用情况，及时优化和调整，确保数据库的性能和可靠性。

通过合理的物理架构设计和优化，可以提高DB2数据库的性能，确保数据的安全和可恢复性，为业务系统提供可靠的数据库支持。