文档中心

日志服务

数据加工

创建数据加工任务

创建数据加工任务

日志服务提供灵活便捷的数据加工功能，支持对采集到的日志数据进行清洗过滤、内容脱敏、数据分裂和数据分发。创建数据加工任务之后，日志服务会自动读取源日志主题的数据，根据指定的加工规则进行加工处理后，写入到不同的日志主题中。

本文档介绍通过控制台创建数据加工任务的操作步骤。

前提条件

已采集到日志数据。操作步骤请参考快速入门。

已创建日志项目和日志主题。

创建数据加工任务之前，请阅读数据加工概述，了解功能相关的说明与限制。

操作步骤

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择数据处理 > 数据加工。

在数据加工-任务列表页面，单击创建数据加工任务。

在创建数据加工任务页面，完成如下配置。

填写数据加工任务的基本配置，然后单击下一步：加工规则配置。

参数	说明
任务名称	数据加工任务的名称。
描述	数据加工任务的简单描述。
源日志项目	待进行数据加工的日志所在的日志项目。
源日志主题	待进行数据加工的日志所在的日志主题。
目标日志主题	输出目标的相关信息，即加工后的日志数据存储的日志主题。支持指定最多 20 个不同的日志主题（一个目标日志主题中只能选择一个日志主题、或填写一个日志主题 ID），指定多个时表示将数据加工结果存储到多个日志主题中。日志服务支持同账号和跨账号加工，每个输出目标均需要指定以下信息：同账号：投递类型：选择本账号。目标名称：自定义输出目标的名称，在数据加工规则中需要使用此名称指代输出目标。目标Region：加工后的日志数据存储的 Region。配置跨区域存储日志数据会产生跨区域传输流量费用，详情请参考计费概述。配置跨区域存储日志数据后，仅需填写日志主题 ID。当前支持华北2（北京）、华南1（广州）、华东2（上海）地域。日志项目：加工后的日志数据存储的日志项目。日志主题：加工后的日志数据存储的日志主题。日志主题 ID：仅配置跨区域存储日志数据后，填写加工后的日志数据存储的日志主题 ID。跨账号：投递类型：选择其他账号。 IAM角色：跨账号加工时，需配置 IAM 角色，即输入自定义角色的 TRN，授权加工任务扮演该自定义角色将数据加工后再跨账号写入到其他账号下的日志服务中。此自定义角色需具备目标 Topic 的查询及写入权限。创建角色并为角色授权的操作，请参考配置跨账号加工权限。目标名称：自定义输出目标的名称，在数据加工规则中需要使用此名称指代输出目标。目标Region：加工后的日志数据存储的 Region。配置跨区域存储日志数据会产生跨区域传输流量费用，详情请参考计费概述。当前支持华北2（北京）、华南1（广州）、华东2（上海）地域。日志主题ID：加工后的日志数据存储的日志主题ID。 Tip 请根据源日志主题分区数量合理设置目标日志主题的日志分区数量，如果源日志写入流量较大，目标日志主题的分区数量较少时可能会影响数据加工的任务处理性能。指定多个目标日志主题时，默认将数据加工结果写入到指定的第 1 个日志主题中；您也可以在编辑加工规则时，通过 e_output 函数将处理后的数据分发至不同的日志主题中。详细说明请参考 e_output 函数。
加工时间范围	待加工数据的时间范围。此处的时间范围为日志数据保存在日志服务服务端的时间。所有日志：加工指定日志主题中保存的全量数据，包括所有历史日志数据和持续写入的新数据。从某时间开始：加工指定时间点之后采集到的数据，包括后续持续写入的新数据。若未指定时间点，表示加工所有日志。指定时间范围：加工过去某个指定时间范围内的历史数据。 Tip 时间范围为左闭右开区间。若未指定开始时间，表示从最早一条日志开始加工；若未指定结束时间，表示持续加工写入的新数据。

编写加工规则。

根据页面提示在输入框内填写数据加工规则。日志服务支持多种 DSL 语法函数，您可以在加工函数页签中单击函数名称，查看语法的说明和示例，还可以一键插入指定语法，快速编写加工规则。支持的语法函数列表请参考函数列表。

单击执行预览，测试加工规则。

根据页面提示使用源日志主题中的日志数据或指定的测试数据进行测试。

如果页面提示DSL 代码编译检查不通过，表示加工语句错误，您可以参考页面提示的错误信息，修复指定行中的语法问题，并再次测试加工规则。

如果确认数据加工结果无误，单击完成任务创建。

在弹出的任务创建后立即开启对话框中，选择是否立即开启任务。

立即开启：完成任务配置后立即启动数据加工任务。

进入暂停态：完成配置后数据加工任务为已暂停状态，需要择机手动启动任务。

取消：取消创建数据加工任务。

Tip

数据加工任务处于停止或者运行完成状态时，日志服务并不会主动删除其依赖的消费组实例，建议及时清理处于停止或运行完成状态、并且确认不再使用的数据加工任务，减少无效消费组实例。

相关操作

数据加工任务开始运行后，日志服务会在服务日志中记录数据加工任务的执行状态与进度等数据，您可以在对应的日志主题中查看并分析相关日志数据。详细说明请参考服务日志字段。

成功创建数据加工任务之后，您可以根据业务需求修改或删除数据加工任务，详细说明请参考管理数据加工任务。

建议为目标日志主题开启索引，便于检索分析处理后的数据。操作步骤请参考配置索引。

最近更新时间：2026.07.30 17:18:10

这个页面对您有帮助吗？

有用

有用

无用

无用