印刻数据库

外观

InfluxDB 保留策略与降采样常见问题 ​

保留策略（RP）基础 ​

保留策略的作用 ​

保留策略用于定义数据在 InfluxDB 中存储的时长，以及数据副本的数量。通过合理设置保留策略，可以平衡数据存储成本和查询性能。

保留策略的默认行为 ​

当创建数据库时，InfluxDB 会自动创建一个名为 autogen 的默认保留策略，其保留期为无穷大（0d），副本数为 1。

保留策略的命名规则 ​

保留策略名称只能包含字母、数字、下划线和连字符，且不能超过 128 个字符。建议使用描述性名称，如 7d_hot 或 30d_warm。

降采样基础 ​

降采样的概念 ​

降采样是将高精度、高频时间序列数据转换为低精度、低频数据的过程，通常结合保留策略使用，以减少长期存储成本。

降采样的实现方式 ​

InfluxDB 中，降采样通常通过连续查询（CQ）实现，将数据从一个保留策略聚合后写入另一个保留策略。

降采样的聚合函数 ​

常用的降采样聚合函数包括 mean()、sum()、max()、min()、count() 等，根据业务需求选择合适的聚合方式。

保留策略与降采样配置 ​

创建保留策略 ​

使用 CREATE RETENTION POLICY 语句创建保留策略：

sql
CREATE RETENTION POLICY "7d_hot" ON "mydb" DURATION 7d REPLICATION 1 DEFAULT;

修改保留策略 ​

使用 ALTER RETENTION POLICY 语句修改保留策略：

sql
ALTER RETENTION POLICY "7d_hot" ON "mydb" DURATION 14d REPLICATION 2;

删除保留策略 ​

使用 DROP RETENTION POLICY 语句删除保留策略：

sql
DROP RETENTION POLICY "7d_hot" ON "mydb";

创建降采样连续查询 ​

使用 CREATE CONTINUOUS QUERY 语句创建降采样连续查询：

sql
CREATE CONTINUOUS QUERY "downsample_7d_to_30d" ON "mydb"
BEGIN
  SELECT mean("value") AS "value" INTO "30d_warm".":MEASUREMENT" FROM ":MEASUREMENT" GROUP BY time(5m), *
END;

保留策略与降采样最佳实践 ​

分层存储策略 ​

根据数据的访问频率和重要性，采用分层存储策略：

  • 热数据（最近 7 天）：高精度，高频采样，快速查询
  • 温数据（最近 30 天）：中等精度，低频采样，平衡存储和查询
  • 冷数据（超过 30 天）：低精度，极低频率采样，最小存储成本

连续查询的命名规范 ​

连续查询名称应包含源保留策略、目标保留策略和聚合频率，如 cq_7d_to_30d_5m，便于管理和维护。

保留策略与连续查询的协同配置 ​

确保连续查询的聚合频率与目标保留策略的存储时长相匹配，避免数据冗余或丢失。

定期评估和调整 ​

根据数据增长情况和业务需求，定期评估和调整保留策略和降采样规则，确保最优的存储成本和查询性能。

常见问题（FAQ） ​

Q1: 如何查看数据库中的所有保留策略？ ​

A1: 使用 SHOW RETENTION POLICIES 语句查看数据库中的所有保留策略：

sql
SHOW RETENTION POLICIES ON "mydb";

Q2: 如何查看数据库中的所有连续查询？ ​

A2: 使用 SHOW CONTINUOUS QUERIES 语句查看数据库中的所有连续查询：

sql
SHOW CONTINUOUS QUERIES;

Q3: 保留策略的副本数如何设置？ ​

A3: 副本数应根据集群中的数据节点数量设置，建议副本数小于等于数据节点数量。对于单节点实例，副本数应设置为 1。

Q4: 连续查询执行失败怎么办？ ​

A4: 检查连续查询的语法是否正确，确保源保留策略和目标保留策略存在，且用户有相应的权限。可以通过查看 InfluxDB 日志获取更详细的错误信息。

Q5: 如何优化降采样性能？ ​

A5: 可以通过以下方式优化降采样性能：

  • 合理设置连续查询的聚合频率
  • 避免在单个连续查询中处理过多的测量值
  • 确保连续查询的目标保留策略有足够的存储空间
  • 考虑使用多个连续查询并行处理不同的测量值

Q6: 保留策略删除数据的机制是什么？ ​

A6: InfluxDB 使用后台任务定期检查并删除过期数据，删除操作基于时间戳，不影响查询性能。数据删除后不可恢复，因此在设置保留策略时需谨慎。

Q7: 如何将数据写入特定的保留策略？ ​

A7: 在写入数据时，可以通过指定保留策略名称来将数据写入特定的保留策略：

sql
INSERT INTO "7d_hot" measurement,tag1=value1 field1=123,field2=456 timestamp;

Q8: 如何从特定保留策略查询数据？ ​

A8: 在查询数据时，可以通过指定保留策略名称来从特定的保留策略查询数据：

sql
SELECT * FROM "7d_hot"."measurement" WHERE time > now() - 1d;

Q9: 降采样后的数据是否可以恢复到原始精度？ ​

A9: 不可以，降采样是一个不可逆的过程，聚合后的数据无法恢复到原始精度。因此，在设置降采样规则时，需确保保留足够的原始数据用于必要的分析。

Q10: 如何监控保留策略和连续查询的状态？ ​

A10: 可以通过以下方式监控保留策略和连续查询的状态：

  • 使用 SHOW RETENTION POLICIES 和 SHOW CONTINUOUS QUERIES 语句查看配置
  • 检查 InfluxDB 日志中的相关信息
  • 监控数据库的存储使用情况，确保保留策略按预期工作
  • 使用 InfluxDB 的内置监控指标，如 influxdb_continuous_queries_executed

保留策略与降采样故障排除 ​

保留策略不删除数据 ​

检查保留策略的配置是否正确，特别是保留期是否设置正确。可以使用 SHOW RETENTION POLICIES 语句验证配置。

连续查询不执行 ​

检查连续查询的语法是否正确，确保源保留策略和目标保留策略存在，且用户有相应的权限。可以通过查看 InfluxDB 日志获取更详细的错误信息。

降采样后数据丢失 ​

检查连续查询的聚合规则是否正确，确保聚合频率和时间范围设置合理。可以通过手动执行查询来验证连续查询的逻辑是否正确。

存储空间增长过快 ​

评估保留策略的保留期是否过长，考虑缩短保留期或增加降采样的聚合频率。同时，检查是否有不必要的测量值或字段被保留。

版本差异 ​

InfluxDB 1.x 与 2.x 的保留策略差异 ​

  • InfluxDB 1.x 中，保留策略是数据库级别的配置
  • InfluxDB 2.x 中，保留策略被桶（Bucket）取代，每个桶包含一个保留期设置

InfluxDB 1.x 与 2.x 的降采样差异 ​

  • InfluxDB 1.x 中，降采样通过连续查询（CQ）实现
  • InfluxDB 2.x 中，降采样通过任务（Tasks）实现，语法和功能更强大

从 InfluxDB 1.x 迁移到 2.x 时的注意事项 ​

在迁移过程中，需要将 1.x 中的保留策略和连续查询转换为 2.x 中的桶和任务。可以使用 InfluxDB 提供的迁移工具辅助完成这一过程。