You need to enable JavaScript to run this app.
文档中心
日志服务

日志服务

复制全文
下载 pdf
数据写入处理器
写入处理器概述
复制全文
下载 pdf
写入处理器概述
本文档介绍日志服务写入处理器功能,使用限制等信息。​
说明​
写入处理器为邀测功能,若有相关业务需求,可联系客户经理开通白名单。​
计费说明​
写入处理器目前为邀测功能,暂不收取费用,后续收费时间另行通知。​
功能概述​
日志服务的写入处理器,是一款在数据写入日志服务前,用于实时、轻量级数据清洗、转换、富化能力的强大工具。适用于需要在数据落盘前进行统一格式化、过滤无效数据、保护敏感信息的各类业务场景。​
​​​
可直接在日志服务控制台创建写入处理器,关联日志主题,通过类 SQL 的 DSL(数据处理语言)编写处理规则,实现对字段的字符串脱敏、加密、重命名等功能,以及条件判断、流程控制和对 JSON 字段结构化处理等功能。​
  • 支持的数据处理函数,详情请参考函数列表。​
说明​
暂不支持函数列表中的如下函数:​
  • 事件处理函数:e_output 函数、e_auto_output 函数。​
  • 资源函数:res_rds_mysql 函数 。​
功能特点​
  • 零客户端开销:所有处理在服务端完成,不占用客户端任何计算资源。​
  • 集中化规则管理:通过统一的 DSL 规则,集中管理所有数据源的预处理逻辑,确保一致性。​
  • 提升数据质量:有效拦截“脏数据”,从源头保证入库数据的规整与高价值。​
  • 降低成本与风险:通过过滤与脱敏,减少无效数据存储成本,并降低敏感信息泄露风险。​
​
功能对比​
写入处理器​
消费处理器​
数据加工任务​
处理阶段​
写入日志服务前的数据​
已采集到日志服务的数据​
已采集到日志服务的数据​
作用范围​
  • 存在于日志项目中,作用于该日志项目中的日志主题。​
  • 不支持跨地域,跨账号,跨日志项目。​
  • 存在于日志项目中,作用于该日志项目中的日志主题。​
  • 不支持跨地域,跨账号,跨日志项目。​
  • 独立存在的加工任务,作用于选定的源日志主题,目标日志主题。​
  • 支持跨地域,跨账号,跨日志项目。​
计费说明​
暂不收费,收费时间另行通知。​
暂不收费,收费时间另行通知。​
数据加工费用,跨区域传输流量等费用。​
加工规则​
支持使用 TLS DSL 提供的内置函数编写加工规则。​
其中,不支持 e_output 函数、e_auto_output 函数、res_rds_mysql 函数。​
支持使用 TLS DSL 提供的内置函数编写加工规则。​
支持使用 TLS DSL 提供的内置函数编写加工规则。​
​
使用限制​
​
限制项​
规格说明​
写入处理器数量​
​
  • 每个日志项目中最多可以创建 100 个写入处理器。​
关联关系​
  • 一个日志主题最多关联一个写入处理器。​
  • 一个写入处理器可被多个日志主题关联。​
  • 不支持跨日志项目关联日志主题。​
生效时间​
新建或编辑写入处理器后,1 分钟内生效。​
协议兼容​
兼容所有日志服务提供的日志数据方式,包括 Logtail、各类语言 SDK/API、Web Tracking 等。​
DSL 规则与性能影响​
详情请参考数据加工概述。​
​
​
最近更新时间:2026.05.27 15:15:11
这个页面对您有帮助吗?
有用
有用
无用
无用