文档中心

日志服务

数据回流

创建数据回流任务

创建数据回流任务

数据回流任务会自动创建数据加工任务、自动创建日志投递任务（目标类型勾选投递到 TOS），帮你导出符合要求的日志。

本章节介绍如何创建数据回流任务。

前提条件

已创建源端日志项目和日志主题，且已配置键值类型索引。

已创建目标端日志项目和日志主题，且已配置索引。

如果目标端选择投递至 TOS ，还需要满足如下条件：

已开通火山引擎创建对象存储，并在指定日志主题的同一地域创建了存储桶。详细说明请参考创建存储桶。

日志服务需要扮演 ServiceRoleForTLS 角色来实现跨服务访问其他云服务资源，即您需要授予日志服务产品访问并写入 TOS 资源的权限。

如果您还未创建 ServiceRoleForTLS 角色，日志服务会在您创建投递配置时引导您进行操作，推荐使用火山引擎账号进行授权，相关说明请参考跨服务访问授权。

创建数据回流任务

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择 AgentLoop > 数据回流。

在数据回流页面，单击创建数据回流任务。

在创建数据回流任务页面，根据界面提示完成如下配置。

填写基本配置。

配置
说明
任务名称
数据回流任务的任务名称。将自动采用此名称作为定时 SQL 任务名称。
描述
数据回流任务的简单描述。

配置数据源。

配置	说明
数据源类型	选择数据回流任务的数据源类型：当前仅支持日志服务 TLS。
日志项目	待进行数据回流的原始日志所在的日志项目。
日志主题	待进行数据回流的原始日志所在的日志主题。

配置过滤规则。

配置	说明
回流字段	回流字段来源于数据源索引中的键值字段，支持添加自定义字段。可使用原字段名，或设置别名（别名不能重复）作为导出后的字段名。以下场景必须设置字段别名： JSON 格式字段日志服务预留字段
条件配置	支持通过设置回流字段筛选条件进行过滤，支持设置多条且关系过滤条件。

编写数据处理加工规则。

系统自动生成 AgentLoop 加工规则，不建议直接修改。

可根据页面提示在输入框内新增自定义数据加工规则。日志服务支持多种 DSL 语法函数，您可以在加工函数页签中单击函数名称，查看语法的说明和示例，还可以一键插入指定语法，快速编写加工规则。支持的语法函数列表请参考函数列表。

测试数据处理加工规则。

根据页面提示使用日志主题中的日志数据或指定的测试数据进行测试。单击执行预览，测试加工规则。

配置调度规则。

配置数据回流任务的调度规则。

配置	说明
开始时间	数据回流任务的调度开始时间，即第一个实例被调度的开始时间。
结束时间	数据回流任务的调度结束时间。结束时间不能早于开始时间和当前时间。

配置目标。

配置	说明
目标 Region	数据回流目标端日志所在的目标 Region。
日志项目	数据回流目标端日志所在的日志项目。
日志主题	数据回流目标端日志所在的日志主题。目标日志主题不可与源日志主题相同。
其他目标	支持投递到 AgentLoop 评测集或 TOS，开启后，需同时配置投递目标信息。

配置投递到 AgentLoop 评测集时，需配置如下参数：

配置	说明
评测集方式	支持选择已有评测集、创建新评测集。
目标评测集（名称）	选择目标评测集，或输入名称创建新评测集。
字段映射到评测集	选择原始字段对应的评测集列。

配置投递到 TOS 时，需配置如下参数：

投递目标	说明
存储桶	数据投递到 TOS 的指定桶的名称。
选择文件路径	选择或手动输入文件前缀（文件夹路径）或文件完整路径。
分区格式	将按照投递任务的创建时间动态生成 TOS Bucket 目录。不能以正斜线（/）开头，默认值为 %Y/%m/%d/%H/%M，如2022/06/30/14/00。
压缩模式	数据的压缩模式，支持无压缩、snappy、gzip、lz4。
投递格式	数据的投递格式，支持 CSV、JSON、JSONL。

单击提交。

分析数据回流日志

待数据回流任务运行成功，且数据加工任务执行成功后，可在目标端查看、分析数据回流日志。

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择资源管理 > 日志项目。

单击目标端日志项目名称，进入日志项目详情页。

单击目标端日志主题名称，或单击操作列的检索分析，进入日志检索分析页面。

手动输入检索语句，或使用 AI 助手分析数据回流后的日志，详情可参考分析日志。

说明

目标日志主题需开启索引配置。

支持在数据加工任务中查看目标端日志项目与日志主题。

在数据回流任务列表，单击数据加工任务名称/ID列的数据加工任务名称，进入数据加工任务详情页，即可查看目标日志项目、目标日志主题名称和数据加工规则。

后续操作

查看、编辑数据回流任务，详情可参考管理数据回流任务。

最近更新时间：2026.07.29 15:38:08

这个页面对您有帮助吗？

有用

有用

无用

无用