文档中心

日志服务

请输入

数据消费处理器

消费处理器概述

日志服务支持普通的数据实时消费，和通过消费处理器处理后基于规则的数据消费功能，本文档介绍日志服务消费处理器功能，使用限制等信息。

说明

消费处理器为邀测功能，若有相关业务需求，可联系客户经理开通白名单。

计费说明

消费处理器目前为邀测功能，暂不收取费用，后续收费时间另行通知。

功能概述

基于规则的数据消费

日志服务的数据消费处理器，是一款在服务端使用数据加工语法对日志中的弱结构化数据进行预处理和数据清洗的强大工具。例如在消费日志数据前，对日志数据执行包括行过滤、列裁剪、正则提取、JSON 字段提取等操作，适用于流计算和实时计算中需要数据预处理的场景。

可直接在日志服务控制台创建消费处理器，通过类 SQL 的 DSL（数据处理语言）编写处理规则，实现对字段的字符串脱敏、加密、重命名等功能，以及条件判断、流程控制和对 JSON 字段结构化处理等功能。

普通数据消费

日志服务也提供如下普通数据消费方式，其中 ConsumeLogs API 支持通过添加消费处理器实现基于规则的数据消费功能：

数据消费类型	参考文档
通过 Kafka 协议消费	通过 Kafka 协议消费日志通过 Spark Streaming 消费日志通过 Flink 消费日志通过 ByteHouse 消费日志
通过 ConsumeLogs API 消费	通过 ConsumeLogs 消费日志
通过消费组消费	通过消费组消费数据

功能特点

数据写入处理器、消费处理器和数据加工任务，都支持对日志数据进行实时、轻量级数据清洗过滤、内容脱敏、数据转换、富化能力等，主要区别对比如下：

功能对比	写入处理器	消费处理器	数据加工任务
处理阶段	写入日志服务前的数据	已采集到日志服务的数据	已采集到日志服务的数据
作用范围	存在于日志项目中，作用于该日志项目中的日志主题。不支持跨地域，跨账号，跨日志项目。	存在于日志项目中，作用于该日志项目中的日志主题。不支持跨地域，跨账号，跨日志项目。	独立存在的加工任务，作用于选定的源日志主题，目标日志主题。支持跨地域，跨账号，跨日志项目。
计费说明	暂不收费，收费时间另行通知。	暂不收费，收费时间另行通知。	数据加工费用，跨区域传输流量等费用。
加工规则	支持使用 TLS DSL 提供的内置函数编写加工规则。其中，不支持 e_output 函数、e_auto_output 函数、res_rds_mysql 函数。	支持使用 TLS DSL 提供的内置函数编写加工规则。	支持使用 TLS DSL 提供的内置函数编写加工规则。

使用限制

限制项	规格说明
消费处理器数量	每个日志项目中最多可以创建 100 个消费处理器。如需调整配额，请参考申请资源配额。
DSL 限制	每个 DSL 长度不超过 4000 个字符。仅支持行处理指令，不支持聚合、逻辑判断等指令。
生效时间	新建或编辑消费处理器后，1 分钟内生效。
DSL 规则与性能影响	详情请参考数据加工概述。说明在 DSL 语法错误、或缺失源数据字段等情况下，可能会导致获取到的数据缺失或失败。

最近更新时间：2026.05.27 15:43:37

这个页面对您有帮助吗？

有用

无用