文档中心

日志服务

投递日志到 TOS

以 CSV 格式投递

日志服务支持投递日志到 TOS 中，本文档以 CSV 格式为例，介绍创建投递配置的操作流程。

前提条件

已开通日志服务，并成功采集到日志数据。详细说明请参考快速入门。

已开通火山引擎对象存储，并在指定日志主题的同一地域创建了存储桶。详细说明请参考创建存储桶。

日志服务需要扮演 ServiceRoleForTLS 角色来实现跨服务访问其他云服务资源，即您需要授予日志服务产品访问并写入 TOS 资源的权限。

如果您还未创建 ServiceRoleForTLS 角色，日志服务会在您创建投递配置时引导您进行操作，推荐使用火山引擎账号进行授权，相关说明请参考跨服务访问授权。

操作步骤

登录日志服务控制台。

在顶部导航栏中，选择日志服务所在的地域。

在左侧导航栏中，选择数据处理 > 日志投递。

在日志投递页面，单击创建 TOS 投递配置。

在创建 TOS 投递配置页面，完成如下配置。

授权配置。

如果是同账号投递，则保持默认配置。

如果是跨账号投递，则需配置授权信息。

参数	说明
投递目标	选择投递到其他账户。
IAM角色（TRN）	输入自定义角色的 TRN，授权投递任务扮演该自定义角色将数据跨账号投递到 TOS Bucket 中。此自定义角色需具备投递数据的权限。创建角色并为角色授权的操作，请参考配置跨账号投递权限。

配置基本信息。

参数	说明
配置名称	日志投递配置的名称。
源日志项目	在下拉列表中选择数据源所在的日志项目。
源日志主题	在下拉列表中选择数据源所在的日志主题。

配置投递对象信息。

参数	说明
目标存储桶	选择 TOS 存储桶，必须与源日志主题位于同一地域。如果没有合适的存储桶，您可以参考页面提示创建新的存储桶。
投递目录	存储桶的顶级目录名称。通过此投递配置投递的所有日志数据均将被投递到该目录下。
分区格式	存储桶中的子目录命名格式。日志服务会在指定投递目录下，按照投递配置的创建时间动态生成存储桶中的子目录。子目录命名格式支持 strftime 语法。

分区格式取值示例及对应的 TOS 桶目录结构如下：

分区格式取值	对应的 TOS 桶目录结构（时间以2022/06/30/14/00为例）
%Y/%m/%d/%H/%M（默认值）	tos://桶名称/顶级目录名称/2022/06/30/14/00/
%Y%m%d%H	tos://桶名称/顶级目录名称/2022063014/
%Y%m%d	tos://桶名称/顶级目录名称/20220630/
ds=%Y%m%d/%H	tos://桶名称/顶级目录名称/ds=20220630/14/
year=%Y/mon=%m/day=%d/log_%H%M	tos://桶名称/顶级目录名称/year=2022/mon=06/day=30/log_1400/

（可选）配置投递对象高级设置信息。

参数

说明

根据 value 设置分区

存储桶中的子目录命名格式，该目录将置于时间分区子目录的父级或子级。

默认不启用，启用后需选择该层目录的层级，并设置对应的 key 和 value 的正则表达式。

key（必填）：选择要分区投递 value 值的 key。

value 正则表达式（可选）：

设置提取对应 key 的值的正则表达式，提取到的值将作为存储桶中子目录名称。

不设置该值，将自动提取对应 key 的值的所有字段，并分别作为存储桶中子目录名称。

说明

可能产生过多小文件，最多支持 100 个分区，超出的将被投递至以others命名的分区子目录中，请谨慎配置。

如果配置的 key 不存在，或者正则提取失败，设置将不生效。

示例：

原始日志：{"name":"李四","address":"广东省深圳市xxx科技园","phone":"13xxxxxx321"}

配置示例：

投递结果：

在 TOS 目标桶中，根据是否设置正则表达式(.*?省)，数据将被投递至如下目录。

设置正则表达式：tos://if-tls-test/No1-test/广东省/2022/06/30/14/00/。

未设置正则表达式：tos://if-tls-test/No1-test/广东省深圳市xxx科技园/2022/06/30/14/00/。

配置投递数据格式。

参数	说明
压缩类型	日志数据支持根据指定的压缩格式压缩后再投递到对象存储 TOS 中，帮助您节省读流量费用。支持不压缩、snappy、gzip、lz4。
投递格式	数据被投递到 TOS 后存储的格式。本文档以 CSV 格式为例，投递成功后，CSV 文件的表头为各个投递字段。
投递字段	以 CSV 格式投递时，您可以选择需要投递的字段。
分隔符	选择导出 CSV 文件中字段间的分隔符。
转义符	选择指定转义符，当日志字段内包含分隔符时，需要使用转义符包裹整个字段。
无效字段填充方式	日志中指定的 Key 无值时，用此处字段填充。
字段名称是否写入	是否把 Key 作为 CSV 的第一行写入。

配置投递规则。

投递规则用于指定数据投递行为的触发规则。创建投递配置后，日志服务将持续记录距离上次投递的间隔时间，达到指定的时间间隔时，会将每个分区的日志数据分别打包投递至对象存储 TOS。如果某些分区的新数据量超过指定的投递文件大小，则自动切片以满足大小要求。

Tip

每个投递文件对应对象存储中的一个 Object。

投递文件大小指投递前未压缩的原始数据量。如果开启了压缩功能，则投递后保存在 TOS 中的文件会小于投递文件大小，节约存储成本。

参数	说明
投递文件大小	每个分区（Shard）需要投递的原始文件大小，即未压缩的日志文件大小。单位为 MiB，取值范围为 5~256。
投递时间间隔	投递日志的时间间隔。单位为秒，取值范围为 60~900。
投递时间范围	投递指定时间范围内的日志数据。开始时间：待投递的日志数据最早的写入时间。默认开始时间为当前时刻，支持选择历史时刻，即创建投递规则之前采集到的日志数据也可以被投递到 TOS。结束时间：待投递的日志数据最晚的写入时间，日志服务不投递此时刻之后采集的日志数据。未填写结束时间时，表示持续投递最新写入的日志数据。说明投递配置创建完成后，无法修改投递时间范围。

单击创建。

后续操作

成功创建投递配置后，日志服务会自动将任务状态设置为开启，并触发一次数据投递。您可以在日志投递页面查看投递配置的名称等信息，详细说明请参考查看投递任务；也可以直接在对象存储控制台查看已投递的日志数据。

最近更新时间：2026.04.17 10:53:00

这个页面对您有帮助吗？

有用

无用