文档中心

日志服务

请输入

LogCollector 插件

插件概述

通过 LogCollector 采集文本日志时，如果业务日志结构复杂、格式不固定，无法通过 JSON 模式等常规的日志采集模式进行解析时，您可以添加 LogCollector 插件进行采集后处理。

功能概述

LogCollector 提供分隔符模式、JSON 模式、完整正则模式等多种文本日志采集模式，并支持日志过滤等多种高级配置，可覆盖大多数典型场景的日志采集和处理需求。在某些复杂的场景中，例如业务日志结构复杂，日志中同时存在 JSON 格式和分隔符日志、日志字段不固定等情况，无法通过某个模式进行统一解析处理，可以通过 LogCollector 插件进行采集后处理。

配置文本日志的 LogCollector 采集规则时，只需开启插件功能，并依次填写用于处理日志的插件配置即可，日志服务处理采集到的日志数据时，会根据插件配置依次执行对应的处理逻辑。详细使用方式请参考使用 LogCollector 插件处理日志。

LogCollector 插件模块提供多种丰富的插件，配合 LogCollector 采集模块的数据采集功能，加强日志服务在复杂日志场景的采集后处理能力。目前支持的插件列表请参考插件列表。如果需要根据日志内容判断是否执行某个插件，可以在插件配置中添加插件条件，例如检查字段值是否为某个固定值、检查字段值是否包含某个指定字符串等，支持的执行条件列表请参考执行条件列表。

注意事项

启用插件配置之后，可以添加一个或多个 LogCollector 插件，LogCollector 将按照 LogCollector 插件的定义顺序依次执行。如果其中一个 LogCollector 插件执行失败，那么整个 LogCollector 插件处理环节将执行失败。

启用插件配置之后，目前提供的高级功能仍然有效，包括过滤器配置、使用采集时间、上传解析失败日志、解析采集路径、上传原始日志、上传常量字段、扩展配置等。

LogCollector 插件通常需要针对一个特定字段的内容进行解析，当选择的采集模式是单行全文或多行全文时，因为单行全文或多行全文的日志对应的字段名称是 __content__，所以第一个 LogCollector 插件配置的字段名称应指定为 __content__。

不支持通过插件处理容器元数据字段。

LogCollector 插件功能持续更新，推荐使用最新版本的 LogCollector 体验全量功能。

插件列表

类别	LogCollector插件	说明
字段提取	delimiter 插件	delimiter 插件用于指定 LogCollector 通过分隔符模式提取字段。
		fullregex 插件	fullregex 插件用于指定 LogCollector 通过完整正则模式提取字段。
		kv 插件	kv 插件用于指定 LogCollector 通过键值对模式提取字段。
添加字段	add_kvs 插件	add_kvs 插件用于指定 LogCollector 添加指定字段。
JSON 解析	json 插件	json 插件用于指定 LogCollector 通过 JSON 模式解析并展开字段。
数据脱敏	desensitize 插件	desensitize 插件用于将指定日志内容替换为对应的 MD5 值，实现数据脱敏的目的。
字符串替换	replace 插件	replace 插件用于将指定日志内容替换为指定字符串。
时间解析	时间解析插件	strp_time 插件用于解析日志中的时间内容，并将解析后的时间作为日志时间戳记录在服务端。
重命名	重命名插件	rename 插件用于重命名字段名称。
过滤日志	过滤日志插件	drop_log 插件支持日志字段名称与正则表达式进行匹配，以过滤掉不符合条件的日志。
丢弃字段	丢弃字段	drop_fields 插件用于丢弃日志中不需要的字段。
JSON 提取插件	JSON 提取插件	json_extract 插件用于从指定 JSON 内容中提取值，并将其作为一个新的 JSON 数组添加到日志中。
字段切割重组插件	字段切割重组插件	split_select 插件用于拆分指定字段的值，选择拆分的字段拼接为新的字段添加到日志中。
URL 解析插件	URL 解析插件	url_parse 插件用于解析指定字段中的 URL 字符串，提取 URL 字符串的各组成部分添加到日志中。
保留字段插件	保留字段插件	keep_fields 插件用于保留指定字段，丢弃其余所有字段。

最近更新时间：2025.11.26 17:23:56

这个页面对您有帮助吗？

有用

无用