You need to enable JavaScript to run this app.
文档中心
云监控

云监控

复制全文
下载 pdf
导出监控数据到 Prometheus
回填历史数据到 Prometheus
复制全文
下载 pdf
回填历史数据到 Prometheus
Exporter 提供历史数据回填功能,若导出监控数据到 Prometheus 时存在数据丢失的情况,支持手动回填数据。本文为您介绍如何回填历史数据。​
说明​
历史数据回填和导出监控数据到自建 Prometheus 功能目前均处于公测阶段,如需使用,请开通按量计费,然后联系您的客户经理。​
背景信息​
回填任务会根据配置指定的产品/指标范围,按照当前时刻的实例列表,进行历史的监控数据的查询及导出。其中,指标点间隔为 DataFreshIntervalSeconds (默认值:60s),时间范围 [StartTime,EndTime) 按左闭右开处理。此外,若配置开启独立元数据指标 MetaLabelWithNewMetric (默认关闭),将额外导出一份当前时间的元数据序列。​
前提条件​
已经安装 Exporter。​
使用限制​
  • 若配置的回填时间范围未对齐指标间隔 QueryPeriodSeconds (默认为系统内置的指标间隔),会导致查询间隔偏移。因此,系统会自动对齐开始和结束时间到查询间隔的整数倍,例如:当指标间隔为 30s 时,对齐后的开始时间和结束时间为 xx:xx:30 或 xx:xx:00。​
  • 为确保查询结果中每个序列的数据间隔和常规导出一致,会根据当前配置文件中的 DataFreshIntervalSeconds(默认值:60s)进行分段,并对每段窗口内的数据点使用 StatisticsType 进行聚合计算。​
  • 回填任务将忽略 QueryDelaySeconds (默认为系统内置的指标延迟),指定回填时间范围时,需自行确保结束时间以避免数据延迟上报的问题。​
操作步骤​
步骤一:允许 RemoteWrite 并开启乱序写入​
Prometheus 限制数据的写入规则,不允许写入早于 Prometheus 最后采集数据点的数据。因此,数据补点和 BackFilling 需要通过乱序写入来完成。​
  1. 打开乱序写入的窗口。​
  • ​
    storage:​
    tsdb:​
    out_of_order_time_window: 10m # 时间窗口。必须包含最久的回填数据时间,例如:期望回填过去3小时的监控数据时,至少保证参数值>=3小时,且考虑到执行本身消耗的时间,建议增加一些时间冗余。 ​
    ​
  1. 开启 Prometheus 的 RemoteWrite 能力。​
  • ​
    # 在 Prometheus 启动项中增加: --web.enable-remote-write-receiver 参数。​
    ./prometheus --web.enable-remote-write-receiver​
    ​
步骤二:配置数据回填​
说明​
  • 若配置文件和启动参数同时配置历史数据回填相关参数,命令行的优先级更高。​
  • 命令行快速启动中的 -n 启动参数,提供运行后不主动退出进程,配置文件暂不支持此配置。​
​
方式一:更新配置文件
方式二:通过命令行快速启动
​
  1. 在配置文件(默认为 "/conf/config.yaml")中添加历史数据回填相关核心配置,示例如下:​
​
# 历史回填核心配置。​
BackfillConfig:​
Enable: true # 历史回填功能的开关。​
StartTime: "2026-01-01T00:00:00+08:00" # 起始时间,支持 RFC3339 格式或 Unix 秒。​
EndTime: "2026-01-01T01:00:00+08:00" # 结束时间,支持 RFC3339 格式或 Unix 秒。​
​
# (必填)远端推送目标。​
RemoteWrites:​
- Name: "local-prom" # 唯一标识,用于自监控 Tag,区分多个 remote-write 对象。​
Username: "xxx"​
Password: "yyy"​
EndPoint: http://prometheus-ip:prometheus-port/api/v1/write # 远端写入地址,根据自建或托管 Prometheus 的实际情况填写。​
Scope:​
- cloud-monitor # 必填,代表业务指标。​
- self-metric # 可选,代表自监控指标。​
​
  1. 执行 Exporter 启动命令 ./exporter --config='your_config.yaml',运行配置并开始历史数据回填。​
​
结果验证​
  • 执行 Exporter 启动命令后,可通过日志中的进度条,查看详细回填进度。​
​​​
  • 在日志中获取 Exporter 启动监听端口根路径,登录控制台可视化查看回填进度。​
​​​
​​​
​
最近更新时间:2026.10.14 14:58:36
这个页面对您有帮助吗?
有用
有用
无用
无用