印刻数据库

外观

InfluxDB 缓存设置 ​

缓存类型 ​

1. 查询结果缓存 ​

查询结果缓存存储最近执行的查询结果，当相同的查询再次执行时，可以直接返回缓存结果，避免重复计算。

2. 写入缓存 ​

写入缓存用于暂存待写入的数据，减少磁盘 I/O 次数，提高写入性能。

3. 元数据缓存 ​

元数据缓存存储数据库、保留策略、测量值、标签和字段等元数据信息，减少元数据查询的磁盘 I/O。

4. 索引缓存 ​

索引缓存存储标签索引信息，加速标签查询和过滤操作。

配置方法 ​

InfluxDB 2.x 配置 ​

InfluxDB 2.x 的缓存设置可以通过配置文件或环境变量进行配置。

配置文件 ​

默认配置文件路径：/etc/influxdb/config.toml

toml
# 查询结果缓存配置
[query]
  cache-max-memory-size = "100MB"  # 查询结果缓存的最大内存大小
  cache-snapshot-memory-size = "25MB"  # 查询结果缓存快照的内存大小
  cache-snapshot-write-cold-duration = "10m"  # 缓存快照写入冷数据的时间间隔

# 写入缓存配置
[write]
  batch-size = 10000  # 批量写入大小
  batch-timeout = "1s"  # 批量写入超时时间
  buffer-size = 100000  # 写入缓冲区大小
  flush-interval = "10s"  # 缓冲区刷新间隔

# 元数据缓存配置
[meta]
  cache-max-memory-size = "50MB"  # 元数据缓存的最大内存大小

环境变量 ​

bash
# 查询结果缓存配置
export INFLUXD_QUERY_CACHE_MAX_MEMORY_SIZE="100MB"
export INFLUXD_QUERY_CACHE_SNAPSHOT_MEMORY_SIZE="25MB"
export INFLUXD_QUERY_CACHE_SNAPSHOT_WRITE_COLD_DURATION="10m"

# 写入缓存配置
export INFLUXD_WRITE_BATCH_SIZE="10000"
export INFLUXD_WRITE_BATCH_TIMEOUT="1s"
export INFLUXD_WRITE_BUFFER_SIZE="100000"
export INFLUXD_WRITE_FLUSH_INTERVAL="10s"

# 元数据缓存配置
export INFLUXD_META_CACHE_MAX_MEMORY_SIZE="50MB"

InfluxDB 1.x 配置 ​

InfluxDB 1.x 的缓存设置可以通过配置文件进行配置。

配置文件 ​

默认配置文件路径：/etc/influxdb/influxdb.conf

toml
# 数据节点配置
[data]
  # 查询结果缓存配置
  query-log-enabled = true  # 启用查询日志
  cache-max-memory-size = "100m"  # 查询结果缓存的最大内存大小
  cache-snapshot-memory-size = "25m"  # 查询结果缓存快照的内存大小
  cache-snapshot-write-cold-duration = "10m"  # 缓存快照写入冷数据的时间间隔
  compact-full-write-cold-duration = "4h"  # 完全压缩写入冷数据的时间间隔
  max-concurrent-compactions = 0  # 最大并发压缩数，0 表示自动
  compact-throughput = 0  # 压缩吞吐量限制，0 表示无限制
  compact-throughput-burst = 0  # 压缩吞吐量突发限制，0 表示无限制

  # 写入缓存配置
  batch-size = 10000  # 批量写入大小
  batch-timeout = "1s"  # 批量写入超时时间
  write-buffer-size = 100000  # 写入缓冲区大小
  write-buffer-flush-interval = "10s"  # 缓冲区刷新间隔
  write-buffer-flush-limit = 10000  # 缓冲区刷新限制

# 元数据配置
[meta]
  dir = "/var/lib/influxdb/meta"  # 元数据存储目录
  retention-autocreate = true  # 自动创建保留策略
  logging-enabled = true  # 启用元数据日志

# HTTP 配置
[http]
  flux-enabled = false  # 启用 Flux 查询语言
  flux-log-enabled = false  # 启用 Flux 查询日志

缓存调优 ​

查询结果缓存调优 ​

  1. 调整缓存大小：根据系统内存大小和查询负载调整查询结果缓存大小

    • 内存充足时，增加 cache-max-memory-size 可以提高缓存命中率
    • 内存不足时，减少 cache-max-memory-size 可以避免内存溢出

  2. 调整缓存快照设置：根据查询模式调整缓存快照设置

    • cache-snapshot-memory-size：控制单个缓存快照的大小
    • cache-snapshot-write-cold-duration：控制缓存快照写入冷数据的时间间隔

  3. 启用/禁用查询日志：根据需要启用或禁用查询日志

    • 启用查询日志可以帮助分析查询模式，但会增加性能开销
    • 生产环境建议禁用查询日志以提高性能

写入缓存调优 ​

  1. 调整批量大小：根据写入负载调整批量大小

    • 增加 batch-size 可以减少网络往返次数，提高写入吞吐量
    • 减少 batch-size 可以降低写入延迟

  2. 调整批量超时时间：根据写入模式调整批量超时时间

    • 增加 batch-timeout 可以提高批量写入效率，但会增加写入延迟
    • 减少 batch-timeout 可以降低写入延迟，但会增加网络往返次数

  3. 调整缓冲区大小：根据写入负载调整缓冲区大小

    • 增加 buffer-size 可以处理突发写入负载，但会增加内存使用
    • 减少 buffer-size 可以减少内存使用，但可能导致写入失败

元数据缓存调优 ​

  1. 调整元数据缓存大小：根据元数据规模调整元数据缓存大小

    • 元数据较多时，增加 cache-max-memory-size 可以提高元数据查询性能
    • 元数据较少时，减少 cache-max-memory-size 可以节省内存

  2. 优化元数据存储：定期优化元数据存储

    • 清理不再使用的数据库、保留策略、测量值、标签和字段
    • 合并元数据文件，减少元数据文件数量

索引缓存调优 ​

  1. 优化标签设计：合理设计标签，减少标签 cardinality

    • 避免使用高基数标签（如 UUID、时间戳等）
    • 合理使用标签层级，避免过多的标签

  2. 调整索引设置：根据查询模式调整索引设置

    • 对于频繁查询的标签，确保其已建立索引
    • 对于不频繁查询的标签，可以考虑不建立索引以节省存储空间

监控与管理 ​

监控缓存使用情况 ​

InfluxDB 2.x ​

bash
# 查看查询缓存统计信息
influx query --org my-org 'from(bucket:"_monitoring") |> range(start: -1h) |> filter(fn: (r) => r._measurement == "query_cache")'

# 查看写入缓存统计信息
influx query --org my-org 'from(bucket:"_monitoring") |> range(start: -1h) |> filter(fn: (r) => r._measurement == "write_buffer")'

# 查看元数据缓存统计信息
influx query --org my-org 'from(bucket:"_monitoring") |> range(start: -1h) |> filter(fn: (r) => r._measurement == "meta_cache")'

InfluxDB 1.x ​

bash
# 查看查询缓存统计信息
influx -execute "SHOW STATS" -database _internal | grep query_cache

# 查看写入缓存统计信息
influx -execute "SHOW STATS" -database _internal | grep write_buffer

# 查看元数据缓存统计信息
influx -execute "SHOW STATS" -database _internal | grep meta

常见问题排查 ​

  1. 查询缓存命中率低

    • 检查查询模式，是否存在大量唯一查询
    • 调整缓存大小，增加 cache-max-memory-size
    • 优化查询，减少查询复杂度

  2. 写入缓存溢出

    • 检查写入负载，是否存在突发写入
    • 调整缓冲区大小，增加 buffer-size
    • 增加批量大小，减少网络往返次数

  3. 元数据缓存使用率高

    • 检查元数据规模，是否存在过多的元数据
    • 清理不再使用的元数据
    • 调整元数据缓存大小，增加 cache-max-memory-size

最佳实践 ​

内存配置 ​

  1. 根据系统内存调整缓存大小：

    • 建议将缓存总大小控制在系统内存的 50%-70% 之间
    • 预留足够的内存给操作系统和其他进程

  2. 监控内存使用情况：

    • 定期监控系统内存使用情况
    • 避免内存溢出导致系统崩溃

写入优化 ​

  1. 使用批量写入：

    • 尽量使用批量写入，减少网络往返次数
    • 调整批量大小和超时时间，平衡写入吞吐量和延迟

  2. 优化写入模式：

    • 避免频繁的小批量写入
    • 合并写入请求，减少写入次数

查询优化 ​

  1. 优化查询语句：

    • 避免使用复杂的查询语句
    • 使用适当的时间范围过滤
    • 避免使用 SELECT *，只查询需要的字段

  2. 使用标签过滤：

    • 尽量使用标签过滤，利用索引加速查询
    • 避免使用字段过滤，因为字段没有索引

定期维护 ​

  1. 定期清理缓存：

    • 定期清理不再使用的缓存数据
    • 避免缓存膨胀导致性能下降

  2. 定期优化元数据：

    • 清理不再使用的元数据
    • 合并元数据文件

常见问题（FAQ） ​

Q1: InfluxDB 2.x 和 1.x 的缓存配置有什么区别？ ​

A1: InfluxDB 2.x 和 1.x 的缓存配置基本类似，但配置文件结构和参数名称有所不同。InfluxDB 2.x 采用了更简洁的配置文件结构，并支持环境变量配置。

Q2: 如何确定最佳的缓存大小？ ​

A2: 最佳的缓存大小取决于系统内存大小、查询负载和写入负载。建议通过以下方法确定：

  • 监控系统内存使用情况
  • 监控缓存命中率
  • 逐步调整缓存大小，观察性能变化

Q3: 缓存大小设置过大有什么影响？ ​

A3: 缓存大小设置过大可能导致：

  • 内存溢出，系统崩溃
  • 操作系统开始使用交换空间，导致性能下降
  • 其他进程内存不足，影响系统整体性能

Q4: 如何监控缓存命中率？ ​

A4: 可以通过以下方法监控缓存命中率：

  • InfluxDB 2.x：使用 InfluxDB UI 或 CLI 查询 _monitoring bucket 中的缓存统计数据
  • InfluxDB 1.x：使用 SHOW STATS 命令查询 _internal 数据库中的缓存统计数据

Q5: 写入缓存和查询结果缓存哪个更重要？ ​

A5: 写入缓存和查询结果缓存的重要性取决于具体的使用场景：

  • 写入密集型场景：写入缓存更重要
  • 查询密集型场景：查询结果缓存更重要
  • 建议根据实际负载情况调整缓存设置，平衡写入和查询性能