文档中心

日志服务

数据采集

使用 Logstash 上传日志

使用 Logstash 上传日志

日志服务支持通过以下两种 Logstash 插件将 Logstash 采集的日志上传至日志服务，本章节介绍通过ve-tls-logstash-output插件将日志上传至日志服务。

插件	说明
logstash_output_kafka	Logstash 内置的 Kafka 输出插件，通过 Kafka 协议上传日志数据到日志服务。详情可参考通过 Logstash 上传日志。
ve-tls-logstash-output	日志服务开发的 Logstash output 插件，提供输出日志到日志服务的功能。

前提条件

已创建日志项目和日志主题。详细操作步骤请参考创建日志项目、创建日志主题。

推荐使用 IAM 用户进行访问鉴权。使用 IAM 用户前，需确认已创建 IAM 用户且拥有上传日志的权限，即具备PutLogs 权限。详细信息请参考可授权的操作。

安装插件

获取 ve-tls-logstash-output 插件包。

执行以下命令在本地安装插件包。

logstash-plugin install --local /xxxxxx/ve-tls-logstash-output-0.0.1.gem

执行以下命令查看安装的插件及其版本。

logstash-plugin list --verbose ve-tls-logstash-output

在 Logstash 的 Pipeline 配置文件（如logstash.conf）中，配置如下output。

output {
vetls {
endpoint => "your project endpoint"
region => "your region"
topic => "your topic id"
access_key_id => "your access id"
access_key_secret => "your access key"
max_send_retry => 3
max_batch_count => 4096
max_batch_size_bytes => 2097152
linger_ms => 2000
total_size_in_bytes => 104857600
time_key => "@timestamp"
}
}

参数名	参数类型	是否必填	备注
endpoint	string	是	日志服务的服务地址，详情可参考服务地址。示例：私网服务地址：https://tls-cn-hongkong.ivolces.com 公网服务地址：https://tls-cn-hongkong.volces.com
region	string	是	日志服务所在的地域（Region），需要和 endpoint 匹配。示例：cn-hongkong。
topic	string	是	日志服务的日志主题 ID。
access_key_id	string	是	火山引擎账号或 IAM 用户的 AccessKey ID。推荐使用 IAM 用户密钥，请确认该用户具备相关的操作权限。
access_key_secret	string	是	火山引擎账号或 IAM 用户的 AccessKey Secret。推荐使用 IAM 用户密钥，请确认该用户具备相关的操作权限。
source	string	否	上传日志中的 source 字段。
max_send_retry	number	否	上传失败重试次数。
max_batch_count	number	否	发送缓存日志条数上限，默认为4096。
max_batch_size_bytes	number	否	发送缓存日志字节数上限，默认为2097152 (2MB)。
linger_ms	number	否	发送缓存日志时间上限，默认为2秒。
total_size_in_bytes	number	否	缓存日志总字节数上限，默认为104857600 (100MB)。
time_key	string	否	上传日志中的时间戳字段，默认为"@timestamp"。

最近更新时间：2025.12.04 11:55:23

这个页面对您有帮助吗？

有用

有用

无用

无用