- 文档首页
日志服务
用户指南
数据采集
LogCollector 采集
LogCollector 插件
使用 LogCollector 插件处理日志
LogCollector 插件
使用 LogCollector 插件处理日志
使用 LogCollector 插件处理日志
通过 LogCollector 采集文本日志时,可以通过 LogCollector 插件对采集到的日志数据指定字段进行采集后处理,例如某个字段的正则模式解析等。本文档介绍使用 LogCollector 插件处理日志的操作步骤。
背景信息
对于日志结构复杂、格式不固定等复杂场景,配置文本日志的 LogCollector 采集规则时,可以开启插件功能,填写用于处理日志的插件配置,日志服务处理采集到的日志数据时,会根据插件配置依次执行对应的处理逻辑,对采集到的日志数据指定字段进行采集后处理,例如某个字段的正则模式解析等。
在这种场景下创建采集配置时,可以通过各种采集模式对原始日志的外层结构进行初次拆分和解析,再通过 LogCollector 插件指定字段进行再次拆分和解析。支持添加一个或多个插件,LogCollector 将按照填写插件配置的顺序依次执行。
前提条件
操作步骤
1 填写采集配置
- 在日志接入页面的LogCollector日志采集页签中,根据业务需求及日志类型、结构,选择合理的采集模式,并填写相关采集规则。
- 根据采集模式设置初始配置,并填写规则名称、采集路径、采集模式,并确认高级设置。其中,插件配置的设置方式请参考2 填写插件配置。 不同采集模式的基础设置请参考以下文档。
2 填写插件配置
创建采集配置并填写采集规则时,在插件配置区域选择启动,并填写插件配置。
插件配置格式为 JSON,请填写一个完整的 JSON 对象。其中 key 固定为 processors,value 基础为 JSON Object 数组,数组的每个 Object 代表一个 LogCollector 插件配置。LogCollector 支持的插件列表及其配置方式请参考插件列表。
日志样例
例如某应用的原始日志如下:
通过单行全文模式采集以上单行日志时,日志服务会对日志全文进行字段封装,最终保存在服务端的日志数据为:
其中 __content__ 字段可以通过分隔符进行二次拆分,即可以开启插件处理,并指定通过 delimiter 插件使用分隔符模式提取 __content__ 字段中的内容。
插件配置如下:
__content__ 字段的处理结果如下:
最近更新时间:2025.11.26 17:23:56