印刻数据库

外观

TiDB 热点问题处理 ​

在 TiDB 分布式数据库中，热点问题是指集群中某个或某些节点承受了大部分的读写请求，导致这些节点负载过高，而其他节点负载较低的情况。热点问题会严重影响 TiDB 集群的性能和稳定性，需要及时识别和处理。

热点问题类型 ​

1. 数据热点 ​

数据热点是指大量数据集中存储在少数几个 Region 中，导致这些 Region 所在的 TiKV 节点负载过高。

现象 ​

  • 少数 TiKV 节点的 CPU 使用率明显高于其他节点
  • 特定 Region 的读写请求量远高于其他 Region
  • 监控中显示 Region 大小分布不均
  • 查询延迟显著增加
  • 写入性能下降

原因 ​

  • 顺序写入：如使用自增 ID 作为主键，导致新写入的数据集中在同一个 Region
  • 热点键访问：某个或某些键被频繁访问
  • 数据倾斜：某些表或分区的数据量远大于其他表或分区
  • Region 分裂不均匀：Region 分裂策略不合理，导致分裂后的 Region 大小不均

解决方案 ​

  • 使用非自增主键：如使用 UUID、雪花算法等生成分布式 ID
  • 主键前缀打散：在自增主键前添加随机前缀，分散数据分布
  • 调整 Region 分裂策略：调整 split-region-max-size、split-region-keys 等参数
  • 手动分裂 Region：对热点 Region 进行手动分裂
  • 使用表分区：将大表拆分为多个分区，分散数据分布
  • 优化数据模型：设计合理的数据模型，避免数据集中

2. 读写热点 ​

读写热点是指大量读写请求集中在少数几个 Region 上，导致这些 Region 所在的 TiKV 节点负载过高。

现象 ​

  • 少数 TiKV 节点的 I/O 使用率明显高于其他节点
  • 特定 Region 的 QPS 远高于其他 Region
  • 监控中显示读写请求分布不均
  • 客户端请求延迟增加
  • 连接数突增

原因 ​

  • 热点查询：某个或某些查询被频繁执行
  • 热点写入：大量写入请求集中在同一个 Region
  • 事务冲突：多个事务同时修改相同的数据
  • 批量操作：大量数据的批量导入或更新

解决方案 ​

  • 优化查询语句：避免全表扫描，添加合适的索引
  • 分散写入：使用多个连接并行写入，分散请求
  • 调整事务隔离级别：根据业务需求调整事务隔离级别
  • 使用批量导入工具：如 TiDB Lightning 进行大规模数据导入
  • 优化业务逻辑：调整业务逻辑，避免集中式访问
  • 增加副本数：适当增加热点 Region 的副本数，分散读请求

热点问题识别 ​

1. 监控指标分析 ​

通过 Prometheus 和 Grafana 监控面板，分析以下指标：

  • TiKV 节点 CPU 使用率：tikv_server_cpu_seconds_total
  • TiKV 节点 I/O 使用率：node_disk_io_time_seconds_total
  • Region QPS：tikv_raftstore_apply_thread_cpu_seconds_total
  • Region 大小：tikv_region_size_bytes
  • Region 键数量：tikv_region_keys
  • 读写延迟：tikv_storage_read_duration_seconds、tikv_storage_write_duration_seconds

2. TiDB Dashboard 分析 ​

使用 TiDB Dashboard 查看以下信息：

  • 热点可视化：查看集群热点分布情况
  • 慢查询分析：分析频繁执行的慢查询
  • Top SQL：查看执行频率最高的 SQL 语句
  • Region 分布：查看 Region 在各个 TiKV 节点上的分布情况
  • 事务冲突：查看事务冲突情况

3. 日志分析 ​

分析 TiKV 和 PD 日志，查找热点相关的日志信息：

bash
# 查看 TiKV 热点日志
grep -i hotspot /tidb-deploy/tikv-20160/log/tikv.log

# 查看 PD 调度日志
grep -i schedule /tidb-deploy/pd-2379/log/pd.log

热点问题定位 ​

1. 定位热点 Region ​

使用以下命令定位热点 Region：

bash
# 使用 pd-ctl 查看热点 Region
pd-ctl -u http://<pd-host>:2379 hotspot

# 使用 pd-ctl 查看 Region 详细信息
pd-ctl -u http://<pd-host>:2379 region <region-id>

2. 定位热点 SQL ​

使用 TiDB Dashboard 或以下命令定位热点 SQL：

bash
# 使用 tiup ctl tidb 查看慢查询
tiup ctl tidb slow query show --count 100 --pd <pd-host>:2379

3. 定位热点键 ​

使用以下方法定位热点键：

  • 通过业务日志分析：分析业务日志，查找频繁访问的键
  • 使用 TiDB 监控：通过监控指标定位热点键
  • 使用审计日志：查看审计日志，分析访问模式

热点问题处理流程 ​

1. 紧急处理流程 ​

  1. 确认热点：通过监控和日志确认热点问题
  2. 定位热点：定位热点 Region、SQL 或键
  3. 临时缓解：采取临时措施缓解热点，如增加副本数、调整调度策略
  4. 业务调整：协调业务方调整访问模式，避免集中式访问
  5. 持续监控：持续监控热点情况，确保问题得到缓解

2. 根本解决方案流程 ​

  1. 分析原因：深入分析热点问题的根本原因
  2. 制定方案：根据原因制定根本解决方案
  3. 方案实施：实施解决方案，如调整数据模型、优化查询语句
  4. 验证效果：验证解决方案的效果，确保热点问题得到解决
  5. 总结优化：总结经验教训，优化相关流程和配置

热点问题处理工具 ​

1. PD 调度工具 ​

PD 提供了多种调度策略，可以自动处理热点问题：

bash
# 查看当前调度策略
pd-ctl -u http://<pd-host>:2379 config show scheduler

# 启用热点调度
pd-ctl -u http://<pd-host>:2379 scheduler add hotspot

# 调整热点调度参数
pd-ctl -u http://<pd-host>:2379 config set hotspot-schedule-limit 4

2. Region 管理工具 ​

使用 tiup ctl tikv 工具管理 Region：

bash
# 手动分裂 Region
tiup ctl tikv --host <tikv-host>:20160 region split --region-id <region-id> --split-key <split-key>

# 查看 Region 信息
tiup ctl tikv --host <tikv-host>:20160 region info --region-id <region-id>

3. TiDB Lightning ​

使用 TiDB Lightning 进行大规模数据导入，避免热点问题：

bash
# 使用 TiDB Lightning 导入数据
tiup tidb-lightning -config lightning.toml

热点问题预防措施 ​

1. 数据模型设计 ​

  • 使用分布式 ID：避免使用自增 ID 作为主键
  • 合理设计表结构：根据业务需求设计合理的表结构
  • 使用表分区：将大表拆分为多个分区
  • 主键前缀打散：在自增主键前添加随机前缀

2. 查询优化 ​

  • 添加合适的索引：避免全表扫描
  • 优化查询语句：减少不必要的字段查询
  • 避免复杂查询：将复杂查询拆分为多个简单查询
  • 使用只读事务：对于只读查询，使用只读事务

3. 配置优化 ​

  • 调整 Region 分裂策略：设置合理的 split-region-max-size 和 split-region-keys
  • 启用热点调度：启用 PD 的热点调度功能
  • 调整调度参数：根据集群规模调整调度参数
  • 增加副本数：适当增加副本数，提高可用性和性能

4. 业务优化 ​

  • 分散写入：使用多个连接并行写入
  • 批量操作优化：优化批量导入和更新操作
  • 避免集中式访问：调整业务逻辑，避免集中式访问
  • 合理设置缓存：使用缓存减少数据库访问

热点问题案例分析 ​

1. 顺序写入热点案例 ​

背景 ​

某公司使用 TiDB 存储业务数据，使用自增 ID 作为主键，随着数据量的增长，出现了明显的写入热点问题。

现象 ​

  • 单个 TiKV 节点的 CPU 使用率达到 90% 以上
  • 其他 TiKV 节点的 CPU 使用率仅为 20% 左右
  • 写入延迟从 10ms 增加到 100ms 以上
  • 监控中显示大量 Region 分裂操作

处理过程 ​

  1. 确认热点：通过监控确认是顺序写入导致的热点问题
  2. 临时缓解：启用 PD 热点调度，增加热点 Region 的副本数
  3. 根本解决：修改数据模型，使用雪花算法生成分布式 ID
  4. 验证效果：修改后，写入延迟恢复正常，CPU 使用率分布均匀
  5. 总结优化：制定数据模型设计规范，避免使用自增 ID 作为主键

结果 ​

  • 写入延迟从 100ms 恢复到 10ms 以下
  • 各 TiKV 节点 CPU 使用率分布均匀
  • 集群写入性能提升了 5 倍以上
  • 制定了数据模型设计规范

2. 热点查询案例 ​

背景 ​

某公司的 TiDB 集群中，一个查询被频繁执行，导致该查询涉及的 Region 所在的 TiKV 节点负载过高。

现象 ​

  • 单个 TiKV 节点的 CPU 使用率达到 80% 以上
  • 该节点的 I/O 使用率也明显高于其他节点
  • 监控中显示该查询的 QPS 达到 1000 以上
  • 其他查询的延迟也受到影响

处理过程 ​

  1. 确认热点：通过 TiDB Dashboard 确认是热点查询导致的问题
  2. 定位查询：定位到具体的热点查询语句
  3. 优化查询：为该查询添加合适的索引，优化查询语句
  4. 业务调整：协调业务方调整查询频率，添加缓存
  5. 验证效果：优化后，该查询的执行时间从 100ms 减少到 1ms 以下

结果 ​

  • 热点 TiKV 节点的 CPU 使用率恢复正常
  • 该查询的执行时间从 100ms 减少到 1ms 以下
  • 其他查询的延迟也恢复正常
  • 制定了查询优化规范

热点问题最佳实践 ​

1. 数据模型设计最佳实践 ​

  • 优先使用分布式 ID：如雪花算法、UUID 等
  • 避免使用单调递增主键：如自增 ID、时间戳等
  • 合理设计表结构：根据业务需求设计合理的表结构
  • 使用表分区：将大表拆分为多个分区，分散数据分布

2. 查询优化最佳实践 ​

  • 添加合适的索引：避免全表扫描
  • 优化查询语句：减少不必要的字段查询
  • 使用只读事务：对于只读查询，使用只读事务
  • 避免复杂查询：将复杂查询拆分为多个简单查询

3. 配置优化最佳实践 ​

  • 启用热点调度：启用 PD 的热点调度功能
  • 调整 Region 分裂策略：设置合理的分裂参数
  • 调整调度参数：根据集群规模调整调度参数
  • 增加副本数：适当增加副本数，提高可用性和性能

4. 运维最佳实践 ​

  • 持续监控：设置全面的监控和告警，及时发现热点问题
  • 定期分析：定期分析集群性能，优化配置和数据模型
  • 制定应急预案：制定热点问题应急预案，确保及时处理
  • 培训人员：培训运维人员，提高热点问题处理能力

常见问题（FAQ） ​

Q1: 如何快速识别 TiDB 集群中的热点问题？ ​

A1: 可以通过以下方法快速识别热点问题：

  • 查看 TiKV 节点的 CPU 和 I/O 使用率分布
  • 查看 Region 的读写请求量分布
  • 查看监控中的热点指标
  • 使用 TiDB Dashboard 的热点可视化功能

Q2: 顺序写入导致的热点问题有哪些解决方案？ ​

A2: 解决方案包括：

  • 使用非自增主键，如 UUID、雪花算法等
  • 在自增主键前添加随机前缀
  • 调整 Region 分裂策略
  • 手动分裂热点 Region
  • 使用表分区

Q3: PD 的热点调度功能如何工作？ ​

A3: PD 的热点调度功能会监控各个 Region 的读写请求量，当发现某个 Region 是热点时，会将该 Region 的副本迁移到负载较低的 TiKV 节点，并将 Region Leader 迁移到不同的 TiKV 节点，从而分散热点。

Q4: 如何手动分裂热点 Region？ ​

A4: 可以使用以下命令手动分裂热点 Region：

bash
tiup ctl tikv --host <tikv-host>:20160 region split --region-id <region-id> --split-key <split-key>

Q5: 热点问题会导致数据丢失吗？ ​

A5: 正常情况下，热点问题不会导致数据丢失，只会影响集群的性能和稳定性。但如果热点问题持续时间过长，可能会导致节点过载，进而影响数据可用性。

Q6: 如何预防热点问题？ ​

A6: 预防热点问题的方法包括：

  • 使用非自增主键
  • 合理设计数据模型
  • 优化查询语句
  • 调整配置参数
  • 启用热点调度
  • 定期监控和分析

Q7: 热点问题处理需要停止业务吗？ ​

A7: 一般情况下，热点问题处理不需要停止业务。可以采取在线方式处理，如调整配置、优化查询语句、启用热点调度等。但对于一些根本解决方案，如修改数据模型，可能需要在业务低峰期进行。

Q8: 如何验证热点问题是否得到解决？ ​

A8: 可以通过以下方法验证：

  • 查看 TiKV 节点的 CPU 和 I/O 使用率分布是否均匀
  • 查看 Region 的读写请求量分布是否均匀
  • 查看查询延迟是否恢复正常
  • 查看写入性能是否提升
  • 持续监控一段时间，确保热点问题不再出现