文档中心

日志服务

请输入

数据采集

采集概述

火山引擎日志服务提供 LogCollector、SDK 等多种日志采集方式，适用于宿主机、容器、移动端、云产品等各种数据源的日志数据采集场景。本文档介绍日志服务支持的采集方式及采集方案。

功能概述

日志服务提供日志采集工具 LogCollector、多语言 SDK 等日志采集方式，兼容 Kafka 协议、OpenTelemetry 协议等多种开源协议框架，支持主机应用、K8s 集群、移动客户端、火山引擎云产品、其他云厂商等多种来源的日志类数据采集。

您可以在控制台首页或指定日志主题的日志接入页面选择日志接入的方式，并通过简单的配置快速将日志数据接入火山引擎日志服务中。日志写入到日志主题并设置索引后，可以在日志检索页面实时预览采集到的日志数据，并通过日志服务提供的检索分析语法进行进一步查询分析，实现数据可视化等其他高级功能。

采集方式

采集方式	说明
LogCollector 采集	通过日志服务提供的日志采集工具 LogCollector 可以采集宿主机或容器的应用日志，支持单行全文等多种采集模式、数据脱敏等多种采集插件。通过 LogCollector 快速接入日志服务的流程请参考快速入门。
Kafka 协议	日志服务支持通过 Kafka 协议上传日志数据到服务端，即可以使用 Kafka Producer SDK 来采集日志数据，并通过 Kafka 协议上传到日志服务。详细信息请参考使用 Kafka 协议上传日志。
OpenTelemetry 协议	Trace 存储基于原生的 OpenTelemetry 协议与标准，支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。详细信息请参考 Trace 功能概述。
API 方式采集	日志服务提供上传日志的 OpenAPI 接口，用于上传结构化的日志到指定日志主题。详细信息请参考 PutLogs。
SDK 方式采集	日志服务提供多语言的 SDK，通过 SDK 调用 OpenAPI 接口 PutLogs 可以上传日志到指定日志主题。详细信息请参考 SDK 概述。

采集方案

数据源类型	日志来源	说明	相关文档
OS 系统	Linux	通过 LogCollector 采集 Linux 操作系统日志，支持火山引擎云服务器、自建 IDC、其他云厂商服务器。	安装 LogCollector
		K8s 集群	支持自建 K8s 集群、火山引擎容器服务或其他云厂商的 K8s 集群日志采集。支持采集的数据类型：文本日志标准输出、标准错误	容器采集概述
		iOS	通过日志服务提供的 iOS SDK 采集日志数据。	iOS SDK
		Android	通过日志服务提供的 Android SDK 采集日志数据。	Android SDK
应用程序	应用程序输出日志	通过 LogCollector 采集各种系统与应用的输出日志。	安装 LogCollector
		Web 页面	通过 Web Tracking 采集网页应用的日志数据。	使用 Web Tracking 采集日志
		链路跟踪	Trace 存储基于原生的 OpenTelemetry 协议与标准，支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。	Trace 功能概述
		Logstash	只需修改 Logstash 配置文件，即可通过 Logstash 内置 Kafka 输出插件（logstash_output_kafka）上传日志数据到日志服务。	使用 Kafka 协议上传日志
语言	Logback Appender	只需通过 XML 文件简单配置即可上报日志到日志服务，具有异步发送、高性能、失败重试等特性，适用于高并发场景。	TLS Logback Appender
数据导入	火山引擎对象存储 TOS	从 TOS 中存储的数据进行结构化，并保存在日志服务中。目前仅支持导入历史数据。	从 TOS 导入日志
		阿里云日志服务 SLS	从阿里云日志服务的 Logstore 中导入数据，此外还支持导入 SLS 的日志采集配置。	从 SLS 导入日志导入 SLS 采集配置
		Elasticsearch 集群	从火山引擎、自建或其他云厂商的 Elasticsearch 集群中导入数据。目前仅支持导入历史数据。	从 Elasticsearch 导入数据
火山引擎云产品	CDN、TOS 等火山引擎云产品	日志服务支持采集容器服务、对象存储等多种云产品的日志数据，例如容器日志、访问日志等。	云产品日志采集

费用说明

将日志写入到日志服务中，涉及到日志存储、写流量、日志分区数量费用，如果通过 API 或 SDK 写入日志数据，还会产生服务请求次数费用。详细的计费规则请参考计费项。

云服务日志提供一定免费额度，详细计费策略请参考各个云服务的产品文档。

限制说明

将日志数据写入到日志服务时，应注意以下写入限制。关于日志服务的基础资源配额、读写流量限额、查询分析并发等限制，请参考使用限制。

LogCollector 采集限制

Kakfa 协议写入限制

Trace 服务限制说明

PutLogs 写入限制

最近更新时间：2025.11.26 17:23:57

这个页面对您有帮助吗？

有用

无用