印刻数据库

外观

MongoDB 分片集群组件 ​

Shard 组件 ​

分片功能 ​

数据存储：

  • 每个分片是一个独立的数据库，存储集群数据的一部分
  • 通常以副本集形式部署，提供高可用性和数据冗余
  • 支持水平扩展，通过添加新分片增加存储容量和处理能力

副本集配置：

  • 每个分片至少包含 3 个节点（1 个主节点，2 个从节点）
  • 支持选举机制，主节点故障时自动选举新主节点
  • 数据在副本集内自动同步，确保数据一致性

分片类型 ​

主分片：

  • 每个数据库在集群中都有一个主分片
  • 主分片负责存储数据库的初始集合
  • 可以通过 movePrimary 命令更改数据库的主分片

普通分片：

  • 存储数据库的部分集合数据
  • 当集合数据增长超过阈值时，数据会自动迁移到其他分片
  • 支持动态添加和移除分片

Config Server 组件 ​

配置服务器功能 ​

元数据存储：

  • 存储集群的元数据信息，包括分片键配置、数据分布信息、分片列表等
  • 元数据是集群正常运行的关键，必须保证高可用性
  • 支持事务，确保元数据的一致性

集群管理：

  • 记录分片的状态和配置信息
  • 存储分片键的哈希或范围信息
  • 管理分片间的数据迁移

配置服务器部署 ​

部署要求：

  • MongoDB 3.4 及以上版本要求配置服务器以副本集形式部署
  • 副本集至少包含 3 个节点
  • 建议使用独立的硬件资源，与分片和 mongos 分离

配置文件设置：

yaml
sharding:
  clusterRole: configsvr
replication:
  replSetName: configReplSet
net:
  port: 27019
dbPath: /data/configdb

mongos 路由组件 ​

mongos 功能 ​

请求路由：

  • 接收客户端请求，根据元数据将请求路由到相应的分片
  • 合并多个分片的查询结果，返回给客户端
  • 支持读操作路由到主节点或从节点

负载均衡：

  • 自动将请求分发到不同的分片
  • 支持会话亲和性，确保同一客户端的请求路由到同一分片
  • 优化查询计划，提高查询效率

mongos 部署 ​

部署策略：

  • 建议在应用服务器所在的网络中部署 mongos
  • 可以部署多个 mongos 实例，提供高可用性和负载均衡
  • 客户端可以通过轮询或负载均衡器连接到 mongos 实例

配置文件设置：

yaml
sharding:
  configDB: configReplSet/conf1:27019,conf2:27019,conf3:27019
net:
  port: 27017

分片键设计 ​

分片键类型 ​

范围分片：

  • 基于分片键的值范围将数据分布到不同分片
  • 适合范围查询，如时间序列数据
  • 可能导致数据热点，需要合理设计分片键

哈希分片：

  • 对分片键进行哈希计算，将数据均匀分布到各个分片
  • 适合随机写入和读取，避免数据热点
  • 不适合范围查询，因为相同范围的数据可能分布在不同分片

分片键选择原则 ​

高基数：

  • 分片键必须具有足够的唯一性，确保数据均匀分布
  • 避免使用低基数字段作为分片键，如性别、状态等
  • 建议使用包含时间戳或唯一标识符的复合分片键

低频率更新：

  • 分片键值应尽量避免更新，因为更新分片键会导致数据迁移
  • 若必须更新分片键，需要考虑数据迁移的性能影响
  • 建议使用不可变字段或很少更新的字段作为分片键

查询模式匹配：

  • 分片键应与应用的查询模式匹配
  • 确保常用查询包含分片键，避免跨分片查询
  • 复合分片键应将查询频率高的字段放在前面

分片集群管理工具 ​

MongoDB Shell 命令 ​

集群状态查询：

javascript
// 查看集群状态
sh.status()

// 查看分片列表
sh.getShards()

// 查看数据库的主分片
db.getSiblingDB('admin').runCommand({ listDatabases: 1, nameOnly: true })

分片管理：

javascript
// 添加分片
sh.addShard("shard1ReplSet/shard1a:27018,shard1b:27018,shard1c:27018")

// 移除分片
sh.removeShard("shard1")

// 查看分片状态
db.adminCommand({ shardStatus: 1 })

监控工具 ​

MongoDB Atlas：

  • 提供分片集群的实时监控和告警
  • 可视化展示集群性能指标和状态
  • 支持自动扩展和备份管理

mongostat：

  • 监控分片集群的实时性能指标
  • 支持按分片查看性能数据
  • 输出包括操作数、延迟、连接数等信息

mongotop：

  • 监控分片集群的集合级别的读写情况
  • 帮助识别热点集合和性能瓶颈
  • 支持按时间间隔输出监控数据

分片集群部署最佳实践 ​

硬件配置 ​

分片节点：

  • CPU：多核处理器，建议 8 核以上
  • 内存：足够的内存，建议 32GB 以上
  • 存储：SSD 存储，提高读写性能
  • 网络：高速网络，确保分片间数据迁移效率

配置服务器：

  • CPU：4 核以上
  • 内存：16GB 以上
  • 存储：SSD 存储，确保元数据访问速度
  • 网络：与分片和 mongos 节点保持低延迟连接

mongos 节点：

  • CPU：4 核以上
  • 内存：16GB 以上
  • 存储：普通 HDD 即可，主要用于日志存储
  • 网络：与应用服务器和分片节点保持低延迟连接

部署架构 ​

生产环境部署：

  • 至少部署 3 个分片，每个分片为 3 节点副本集
  • 3 节点配置服务器副本集
  • 多个 mongos 实例，建议每个应用服务器部署一个
  • 使用负载均衡器分发客户端请求到 mongos 实例

测试环境部署：

  • 可以部署单节点分片（不推荐用于生产）
  • 3 节点配置服务器副本集
  • 1-2 个 mongos 实例
  • 注意资源限制，避免性能瓶颈

常见问题（FAQ） ​

Q1: 分片集群最少需要多少个节点？ ​

A1: 分片集群的最小配置包括：

  • 3 个分片节点（1 个分片，3 节点副本集）
  • 3 个配置服务器节点
  • 1 个 mongos 节点 总共 7 个节点。但生产环境建议至少部署 3 个分片，每个分片 3 个节点，加上 3 个配置服务器和多个 mongos，总计 13 个以上节点。

Q2: 如何选择合适的分片键？ ​

A2: 选择合适的分片键需要考虑：

  • 高基数：确保数据均匀分布
  • 低频率更新：避免数据迁移
  • 查询模式匹配：提高查询效率
  • 考虑范围查询和随机查询的需求 建议使用复合分片键，结合时间戳和业务字段。

Q3: 可以在现有副本集基础上构建分片集群吗？ ​

A3: 可以。具体步骤包括：

  1. 部署配置服务器副本集
  2. 部署 mongos 实例
  3. 将现有副本集添加为分片
  4. 为集合启用分片 需要注意数据迁移和性能影响，建议在业务低峰期进行。

Q4: 如何监控分片集群的性能？ ​

A4: 监控分片集群性能可以使用：

  • MongoDB Atlas 提供的监控功能
  • mongostat 和 mongotop 命令行工具
  • 第三方监控工具如 Prometheus + Grafana
  • 关注指标：操作延迟、连接数、数据迁移状态、分片键分布

Q5: 分片集群支持事务吗？ ​

A5: MongoDB 4.0 及以上版本支持分片集群中的事务。事务会跨分片执行，需要注意：

  • 事务中的操作必须包含分片键
  • 事务大小有限制（默认 16MB）
  • 长时间运行的事务可能影响集群性能 建议合理设计事务，避免跨分片的大范围事务。

Q6: 如何扩展分片集群？ ​

A6: 扩展分片集群的步骤包括：

  1. 部署新的分片副本集
  2. 使用 sh.addShard() 命令将新分片添加到集群
  3. 等待数据自动迁移或手动触发数据迁移
  4. 监控数据迁移状态，确保迁移完成 扩展过程中集群可以正常提供服务，无需停机。

Q7: 分片集群中的数据如何备份？ ​

A7: 分片集群备份策略包括：

  • 使用 mongodump 备份整个集群
  • 备份每个分片的副本集
  • 备份配置服务器副本集
  • 使用 MongoDB Atlas 自动备份 建议定期进行全量备份和增量备份，确保数据可恢复性。

Q8: 如何处理分片集群中的热点问题？ ​

A8: 处理热点问题的方法包括：

  • 重新设计分片键，提高数据分布均匀性
  • 使用复合分片键，结合时间戳和业务字段
  • 预热新分片，避免突发流量
  • 监控热点分片，及时调整分片策略
  • 考虑使用哈希分片，避免范围查询导致的热点