印刻数据库

外观

InfluxDB 保留策略（RP） ​

保留策略（Retention Policy，RP）是InfluxDB用于管理数据生命周期的核心功能，它定义了数据的保留时间和副本数量。通过合理配置保留策略，可以自动删除过期数据，减少存储空间占用，提高查询性能。

保留策略定义与优势 ​

  • 定义：是InfluxDB中用于定义数据保留规则的配置，包括数据保留时间和副本数量
  • 核心作用：自动管理数据生命周期，删除过期数据
  • 主要优势：
    • 自动删除过期数据，减少存储空间
    • 提高查询性能，减少需要扫描的数据量
    • 支持不同数据设置不同的保留规则
    • 与连续查询结合，实现数据分层存储

保留策略组成 ​

  • 保留时间（Duration）：数据在InfluxDB中保留的时间长度
  • 副本数量（Replication Factor）：数据在集群中的副本数量
  • 默认标志（Default）：是否为数据库的默认保留策略
  • 分片组持续时间（Shard Group Duration）：数据分片组的时间窗口大小

保留策略工作原理 ​

  1. 创建保留策略：定义保留时间、副本数量和分片组持续时间
  2. 数据写入：数据写入时自动应用保留策略
  3. 定期检查：InfluxDB定期检查数据是否过期
  4. 自动删除：删除超过保留时间的数据
  5. 分片管理：自动管理分片组，创建新分片组，删除过期分片组

保留策略语法 ​

InfluxQL 保留策略语法 ​

sql
CREATE RETENTION POLICY <rp_name> ON <database_name>
DURATION <duration>
REPLICATION <replication_factor>
[SHARD DURATION <shard_duration>]
[DEFAULT]

语法详解 ​

  • rp_name：保留策略名称
  • database_name：数据库名称
  • duration：数据保留时间（如1h、1d、7d、30d等）
  • replication_factor：副本数量（仅集群环境有效）
  • shard_duration：分片组持续时间，默认值由保留时间决定
  • DEFAULT：可选，设置为默认保留策略

示例 ​

sql
-- 创建保留策略，保留时间30天，副本数量1，设置为默认保留策略
CREATE RETENTION POLICY "rp_30d" ON mydb
DURATION 30d
REPLICATION 1
DEFAULT

创建保留策略 ​

基本示例 ​

sql
-- 创建保留策略，保留时间7天
CREATE RETENTION POLICY "rp_7d" ON mydb
DURATION 7d
REPLICATION 1

指定分片组持续时间 ​

sql
-- 创建保留策略，保留时间1年，分片组持续时间1天
CREATE RETENTION POLICY "rp_1y" ON mydb
DURATION 365d
REPLICATION 1
SHARD DURATION 1d

设置为默认保留策略 ​

sql
-- 创建默认保留策略，保留时间30天
CREATE RETENTION POLICY "rp_default" ON mydb
DURATION 30d
REPLICATION 1
DEFAULT

管理保留策略 ​

查看保留策略 ​

sql
-- 查看所有保留策略
SHOW RETENTION POLICIES ON <database_name>

-- 示例
SHOW RETENTION POLICIES ON mydb

修改保留策略 ​

sql
ALTER RETENTION POLICY <rp_name> ON <database_name>
[DURATION <duration>]
[REPLICATION <replication_factor>]
[SHARD DURATION <shard_duration>]
[DEFAULT]

-- 示例：修改保留策略的保留时间
ALTER RETENTION POLICY "rp_7d" ON mydb
DURATION 14d

删除保留策略 ​

sql
DROP RETENTION POLICY <rp_name> ON <database_name>

-- 示例
DROP RETENTION POLICY "rp_old" ON mydb

设置默认保留策略 ​

sql
-- 通过ALTER命令设置默认保留策略
ALTER RETENTION POLICY <rp_name> ON <database_name>
DEFAULT

-- 示例
ALTER RETENTION POLICY "rp_30d" ON mydb
DEFAULT

保留策略与分片组持续时间 ​

分片组持续时间默认值 ​

保留时间默认分片组持续时间
< 2天1小时
2天 - 6个月1天
> 6个月7天

分片组持续时间设置原则 ​

  • 过小的分片组持续时间：会导致分片组数量过多，增加元数据管理开销
  • 过大的分片组持续时间：会导致单个分片组过大，影响查询性能
  • 建议设置：
    • 保留时间的1/7到1/3
    • 确保每个分片组包含合理数量的数据点
    • 避免单个分片组超过10GB

保留策略最佳实践 ​

1. 命名规范 ​

  • 使用清晰、描述性的名称
  • 包含保留时间信息
  • 示例：
    • rp_7d：保留7天
    • rp_30d：保留30天
    • rp_1y：保留1年

2. 多保留策略设计 ​

根据数据重要性和使用频率，设计多个保留策略：

  • 原始数据：保留时间短，如7天
  • 聚合数据：保留时间适中，如30天
  • 长期趋势数据：保留时间长，如1年或更长

3. 与连续查询结合 ​

将保留策略与连续查询结合，实现数据分层存储：

sql
-- 创建原始数据保留策略，保留7天
CREATE RETENTION POLICY "rp_raw" ON mydb DURATION 7d REPLICATION 1 DEFAULT

-- 创建聚合数据保留策略，保留30天
CREATE RETENTION POLICY "rp_agg" ON mydb DURATION 30d REPLICATION 1

-- 创建连续查询，将原始数据聚合后存储到聚合数据保留策略
CREATE CONTINUOUS QUERY "cq_1h" ON mydb
BEGIN
  SELECT mean(value) INTO "rp_agg"."metric_1h" FROM metric
  GROUP BY time(1h), tag1, tag2
END

4. 合理设置保留时间 ​

  • 根据业务需求设置保留时间
  • 考虑数据存储成本
  • 考虑查询性能影响
  • 定期审查和调整保留策略

5. 监控保留策略执行 ​

  • 查看保留策略的执行情况
  • 监控数据删除操作
  • 确保保留策略正常运行

保留策略性能优化 ​

1. 合理设置分片组持续时间 ​

  • 避免设置过小的分片组持续时间
  • 根据保留时间和数据写入频率调整
  • 确保每个分片组包含合理数量的数据点

2. 限制保留策略数量 ​

  • 每个数据库的保留策略数量不宜过多
  • 建议不超过10个保留策略
  • 过多的保留策略会增加元数据管理开销

3. 避免频繁修改保留策略 ​

  • 频繁修改保留策略会影响系统性能
  • 建议在低峰期修改保留策略
  • 修改保留策略前备份数据

4. 使用合适的硬件 ​

  • 保留策略的数据删除操作对I/O有一定影响
  • 确保InfluxDB服务器有足够的I/O资源
  • 考虑使用SSD存储，提高I/O性能

保留策略常见问题 ​

问题1：保留策略没有自动删除过期数据 ​

可能原因：

  • 保留策略配置错误
  • InfluxDB服务未正常运行
  • 数据写入时使用了错误的保留策略
  • 系统资源不足，导致删除操作延迟

解决方案：

  • 检查保留策略配置
  • 确保InfluxDB服务正常运行
  • 验证数据写入时使用的保留策略
  • 检查系统资源使用情况

问题2：删除过期数据时影响查询性能 ​

可能原因：

  • 数据删除操作与查询操作竞争资源
  • 单次删除的数据量过大
  • 硬件资源不足

解决方案：

  • 在低峰期执行数据删除操作
  • 调整分片组持续时间，减少单次删除的数据量
  • 升级硬件资源，提高I/O性能

问题3：如何恢复被保留策略删除的数据 ​

可能原因：

  • 保留策略配置错误，导致数据提前删除
  • 误删除了重要数据

解决方案：

  • 从备份中恢复数据
  • 调整保留策略，避免类似问题再次发生
  • 考虑设置多个保留策略，实现数据分层存储

保留策略管理 ​

查看保留策略 ​

sql
SHOW RETENTION POLICIES ON mydb

查看特定保留策略的详细信息 ​

sql
-- 查看保留策略的分片组信息
SHOW SHARD GROUPS ON mydb

手动触发数据删除 ​

InfluxDB会自动执行数据删除操作，通常不需要手动触发。如果需要手动触发，可以使用以下命令：

sql
-- 手动触发保留策略检查和数据删除
ALTER RETENTION POLICY <rp_name> ON <database_name> DURATION <same_duration>

InfluxDB 2.x 中的保留策略 ​

在InfluxDB 2.x中，保留策略被集成到桶（Bucket）概念中：

桶（Bucket） ​

  • 桶是InfluxDB 2.x中的数据容器
  • 每个桶包含一个保留策略
  • 桶名格式：<bucket_name>/<retention_period>

创建桶示例 ​

bash
# 创建桶，保留时间30天
influx bucket create --name mybucket --retention 30d

# 创建桶，无限期保留
influx bucket create --name mybucket --retention 0s

查看桶 ​

bash
influx bucket list

修改桶保留时间 ​

bash
influx bucket update --name mybucket --retention 60d

常见问题（FAQ） ​

Q1: 什么是保留策略？ ​

A1: 保留策略（Retention Policy，RP）是InfluxDB用于管理数据生命周期的配置，它定义了数据的保留时间和副本数量。通过保留策略，InfluxDB可以自动删除过期数据，减少存储空间占用，提高查询性能。

Q2: 保留策略和连续查询有什么区别？ ​

A2: 保留策略用于定义数据的保留时间和副本数量，自动删除过期数据；连续查询用于将原始数据聚合为更高级别的数据，减少存储空间并提高查询性能。两者经常结合使用，实现数据分层存储和生命周期管理。

Q3: 如何设置默认保留策略？ ​

A3: 可以在创建保留策略时使用DEFAULT关键字，或者使用ALTER命令修改现有保留策略为默认保留策略。例如：

sql
-- 创建时设置为默认保留策略
CREATE RETENTION POLICY "rp_default" ON mydb DURATION 30d REPLICATION 1 DEFAULT

-- 修改现有保留策略为默认保留策略
ALTER RETENTION POLICY "rp_30d" ON mydb DEFAULT

Q4: 保留策略的副本数量有什么作用？ ​

A4: 副本数量（Replication Factor）定义了数据在集群中的副本数量，仅在InfluxDB集群环境中有效。副本数量可以提高数据可用性和可靠性，确保在节点故障时数据不会丢失。

Q5: 如何查看保留策略的执行情况？ ​

A5: 可以通过查询_internal数据库中的retention测量来查看保留策略的执行情况，包括删除的数据量和执行时间。例如：

sql
SELECT * FROM _internal..retention WHERE time > now() - 24h

Q6: 保留策略会影响查询性能吗？ ​

A6: 合理配置的保留策略可以提高查询性能，因为它减少了需要扫描的数据量。但如果保留策略配置不当，如分片组持续时间设置不合理，可能会影响查询性能。

Q7: 如何恢复被保留策略删除的数据？ ​

A7: 一旦数据被保留策略删除，就无法直接恢复。建议定期备份重要数据，并合理配置保留策略，避免误删数据。

Q8: InfluxDB 2.x中的保留策略有什么变化？ ​

A8: 在InfluxDB 2.x中，保留策略被集成到桶（Bucket）概念中，每个桶包含一个保留策略。创建桶时可以指定保留时间，无限期保留的数据可以设置保留时间为0秒。

Q9: 如何优化保留策略性能？ ​

A9: 优化保留策略性能的方法包括：

  • 合理设置分片组持续时间
  • 限制保留策略数量
  • 避免频繁修改保留策略
  • 使用合适的硬件资源
  • 在低峰期执行数据删除操作

Q10: 保留策略可以跨数据库吗？ ​

A10: 保留策略是数据库级别的配置，每个数据库有自己的保留策略，不能跨数据库使用。如果需要在多个数据库间共享数据，可以考虑使用Telegraf或其他ETL工具。