印刻数据库

外观

DM 存储架构 ​

达梦数据库的存储架构采用了分层设计，主要包括以下几个层次：

  • 物理存储层：负责数据在物理存储设备上的存储和管理
  • 存储引擎层：提供数据的存储和检索功能，支持多种存储引擎
  • 存储管理层：负责表空间、段、区、页的管理
  • 访问接口层：提供与SQL引擎层的交互接口

物理存储层 ​

物理存储层是达梦数据库存储架构的最底层，负责数据在物理存储设备上的存储和管理。

存储设备支持 ​

达梦数据库支持多种存储设备，包括：

  • 机械硬盘（HDD）：传统的存储设备，适合大容量存储
  • 固态硬盘（SSD）：高速存储设备，适合对性能要求高的场景
  • 存储区域网络（SAN）：适合大规模数据库系统
  • 网络附加存储（NAS）：适合中小规模数据库系统

文件系统支持 ​

达梦数据库支持多种文件系统，包括：

  • Linux文件系统：Ext4、XFS等
  • Windows文件系统：NTFS、FAT32等
  • 网络文件系统：NFS、CIFS等

存储组织 ​

数据在物理存储设备上以文件的形式组织，包括：

  • 数据文件：存储数据库的实际数据
  • 日志文件：记录数据库的修改操作
  • 控制文件：存储数据库的元数据和状态信息
  • 参数文件：存储数据库的配置参数

存储引擎层 ​

存储引擎层是达梦数据库的核心组件之一，负责数据的存储和检索。达梦数据库支持多种存储引擎，包括行存储引擎、列存储引擎和行列融合存储引擎。

行存储引擎 ​

行存储引擎以行为单位存储数据，适合OLTP（在线事务处理）应用。

行存储引擎的特点 ​

  • 适合频繁的插入、更新和删除操作
  • 适合查询整行数据的场景
  • 支持事务的ACID属性
  • 支持行级锁和多版本并发控制（MVCC）

行存储引擎的适用场景 ​

  • 在线交易系统，如电商平台、银行核心业务系统
  • 客户关系管理系统（CRM）
  • 企业资源计划系统（ERP）
  • 任何需要频繁更新数据的应用

列存储引擎 ​

列存储引擎以列为单位存储数据，适合OLAP（在线分析处理）应用。

列存储引擎的特点 ​

  • 适合大数据量的查询和分析
  • 适合只查询部分列的场景
  • 具有较高的压缩率，节省存储空间
  • 支持向量处理，提高查询性能

列存储引擎的适用场景 ​

  • 数据仓库系统
  • 商业智能系统（BI）
  • 数据分析和挖掘系统
  • 任何需要处理大量数据进行分析的应用

行列融合存储引擎 ​

行列融合存储引擎结合了行存储和列存储的优点，适合HTAP（混合事务/分析处理）应用。

行列融合存储引擎的特点 ​

  • 同时支持OLTP和OLAP应用
  • 根据不同的查询类型自动选择合适的存储方式
  • 提供了良好的性能平衡
  • 支持行列混合存储和查询

行列融合存储引擎的适用场景 ​

  • 需要同时处理交易和分析的应用
  • 实时数据分析系统
  • 互联网应用中的实时报表和分析
  • 任何需要在同一系统中处理多种工作负载的应用

存储管理层 ​

存储管理层负责表空间、段、区、页的管理，是连接物理存储层和存储引擎层的中间层。

表空间管理 ​

表空间是达梦数据库中数据存储的逻辑单位，每个表空间由一个或多个数据文件组成。

表空间的类型 ​

  • 系统表空间：存储系统表和数据字典信息，包括SYSTEM、ROLL、TEMP等
  • 用户表空间：存储用户数据，如MAIN表空间和自定义表空间
  • 临时表空间：存储临时数据，用于排序、哈希等临时操作
  • 回滚表空间：存储回滚段信息，用于事务回滚和MVCC

表空间的管理 ​

  • 表空间的创建：使用CREATE TABLESPACE语句创建表空间
  • 表空间的扩展：当表空间空间不足时，数据文件会自动扩展
  • 表空间的收缩：使用ALTER TABLESPACE语句可以收缩表空间
  • 表空间的备份和恢复：使用备份工具可以对表空间进行备份和恢复

段、区、页管理 ​

达梦数据库的数据存储采用了段、区、页的层次结构。

页（Page） ​

  • 定义：最小的存储单位，默认大小为8KB，可配置为4KB、8KB、16KB或32KB
  • 页的类型：包括数据页、索引页、LOB页、位图页等
  • 页的结构：每个页包含页头、页体和页尾三部分
    • 页头：存储页的基本信息，如页类型、页号、检查和等
    • 页体：存储实际的数据或索引内容
    • 页尾：存储页的结束标记和检查和

区（Extent） ​

  • 定义：由连续的页组成，是分配存储空间的基本单位
  • 区的大小：默认大小为64个页，即512KB（当页大小为8KB时）
  • 区的分配：当对象需要存储空间时，会分配一个或多个区
  • 区的管理：使用位图或链表的方式管理区的分配状态

段（Segment） ​

  • 定义：由多个区组成，是表、索引等对象的存储单位
  • 段的类型：包括数据段、索引段、LOB段、回滚段等
  • 段的创建：当创建表、索引等对象时，会自动创建对应的段
  • 段的扩展：当段的空间不足时，会自动分配新的区

数据字典管理 ​

数据字典是数据库的元数据，存储了数据库对象的定义和属性。

数据字典的存储 ​

数据字典存储在SYSTEM表空间中，包括：

  • 系统表：存储数据库对象的定义和属性
  • 视图：提供对系统表的便捷访问
  • 存储过程和函数：用于数据库的管理和维护

数据字典的访问 ​

  • 直接访问：通过查询系统表直接访问数据字典
  • 间接访问：通过视图、存储过程和函数间接访问数据字典
  • 数据字典缓存：将常用的数据字典信息缓存在内存中，提高访问效率

访问接口层 ​

访问接口层提供了与SQL引擎层的交互接口，负责将SQL引擎层的请求转换为对存储引擎层的操作。

访问接口类型 ​

  • 块设备接口：直接访问物理存储设备
  • 文件系统接口：通过文件系统访问存储设备
  • 网络存储接口：通过网络访问远程存储设备

数据访问流程 ​

  1. SQL引擎层解析SQL语句，生成执行计划
  2. 执行计划调用访问接口层的接口，请求数据访问
  3. 访问接口层将请求转换为对存储引擎层的操作
  4. 存储引擎层从存储设备中读取数据，返回给访问接口层
  5. 访问接口层将数据返回给SQL引擎层
  6. SQL引擎层处理数据，返回给客户端

存储优化技术 ​

达梦数据库采用了多种存储优化技术，提高数据的存储效率和访问性能。

数据压缩 ​

  • 压缩类型：支持行压缩、列压缩、LOB压缩等
  • 压缩算法：支持LZ4、ZLIB等压缩算法
  • 压缩粒度：支持页级压缩、区级压缩等
  • 压缩效果：可以显著减少存储空间占用，提高I/O性能

数据加密 ​

  • 加密类型：支持透明数据加密（TDE）、列级加密、行级加密等
  • 加密算法：支持AES、SM4等加密算法
  • 加密粒度：支持表空间级加密、表级加密、列级加密等
  • 加密效果：保护数据的安全性，防止数据泄露

分区技术 ​

  • 分区类型：支持范围分区、列表分区、哈希分区、复合分区等
  • 分区管理：支持分区的添加、删除、合并、拆分等操作
  • 分区效果：提高查询和维护效率，便于数据管理

索引优化 ​

  • 索引类型：支持B树索引、哈希索引、位图索引、全文索引、空间索引等
  • 索引优化：支持索引压缩、索引分区、索引组织表等
  • 索引效果：提高查询效率，减少I/O开销

版本差异 ​

DM7 存储架构 ​

DM7的存储架构相对简单，主要包括：

  • 支持行存储引擎，不支持列存储引擎和行列融合存储引擎
  • 采用传统的存储管理方式
  • 支持基本的存储优化技术

DM8 存储架构 ​

DM8在DM7的基础上进行了扩展和优化，主要改进包括：

  • 增加了列存储引擎和行列融合存储引擎，支持HTAP应用
  • 改进了存储管理机制，提高了存储效率
  • 增加了更多的存储优化技术，如数据压缩、数据加密等
  • 支持MPP分布式存储架构
  • 增强了对SSD等新型存储设备的支持

最佳实践 ​

存储架构设计建议 ​

  • 根据业务类型选择合适的存储引擎：OLTP应用选择行存储引擎，OLAP应用选择列存储引擎，混合应用选择行列融合存储引擎
  • 合理配置表空间：将不同类型的数据存储在不同的表空间中，便于管理和维护
  • 优化页大小：根据业务需求和数据特征，选择合适的页大小
  • 使用分区技术：对于大数据量的表，使用分区技术可以提高查询和维护效率
  • 合理使用索引：根据查询模式设计合适的索引，避免过多或不合理的索引

性能优化建议 ​

  • 使用SSD存储：对于对性能要求高的场景，使用SSD存储可以显著提高性能
  • 优化数据压缩：根据数据特征选择合适的压缩算法和压缩级别
  • 优化I/O分布：将数据文件和日志文件分布在不同的存储设备上，避免I/O瓶颈
  • 使用大页内存：配置大页内存可以提高内存访问效率
  • 定期整理碎片：定期整理表和索引的碎片，提高存储效率和访问性能

可靠性建议 ​

  • 使用RAID技术：使用RAID技术可以提高存储设备的可靠性和性能
  • 定期备份数据：定期备份数据库数据，防止数据丢失
  • 使用归档模式：生产环境建议使用归档模式，确保数据的可恢复性
  • 监控存储设备：定期监控存储设备的状态，及时发现和处理存储设备故障

常见问题（FAQ） ​

Q1: 达梦数据库支持哪些存储引擎？ ​

A1: 达梦数据库支持以下存储引擎：

  • 行存储引擎：适合OLTP应用
  • 列存储引擎：适合OLAP应用
  • 行列融合存储引擎：适合HTAP应用

Q2: 如何选择合适的页大小？ ​

A2: 选择页大小应考虑以下因素：

  • 数据特征：对于大数据量的表，建议使用较大的页大小
  • 访问模式：对于频繁的随机访问，建议使用较小的页大小；对于顺序访问，建议使用较大的页大小
  • 存储设备：对于SSD等高速存储设备，建议使用较大的页大小
  • 默认配置：达梦数据库的默认页大小为8KB，适合大多数场景

Q3: 达梦数据库的段、区、页之间的关系是什么？ ​

A3: 达梦数据库的数据存储采用了段、区、页的层次结构：

  • 段由多个区组成
  • 区由连续的页组成
  • 页是最小的存储单位

例如，一个表对应一个数据段，一个数据段由多个区组成，每个区由64个连续的页组成。

Q4: 如何查看表空间的使用情况？ ​

A4: 可以通过以下方式查看表空间的使用情况：

  • 查询系统视图：SELECT * FROM V$TABLESPACE; 查看表空间基本信息
  • 查询系统视图：SELECT * FROM V$DATAFILE; 查看数据文件信息
  • 查询系统视图：SELECT * FROM V$TABLESPACE_USAGE; 查看表空间使用情况
  • 使用DM管理工具，在表空间管理界面查看

Q5: 如何优化达梦数据库的存储效率？ ​

A5: 优化达梦数据库存储效率的方法包括：

  • 使用合适的存储引擎
  • 合理配置表空间
  • 使用数据压缩技术
  • 使用分区技术
  • 优化索引设计
  • 定期整理碎片

Q6: 达梦数据库支持透明数据加密吗？ ​

A6: 是的，达梦数据库支持透明数据加密（TDE），可以对表空间、表或列进行加密，保护数据的安全性。