日志服务
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
ProjectId | String | 否 | f3e901c3-b17f-42fd-aa8c-dc91a6c7**** | 指定日志项目 ID。 用于查询指定日志项目下的数据投递配置。 |
ProjectName | String | 否 | fa************ | 指定日志项目名称。 用于查询指定日志项目下的数据投递配置。支持模糊匹配。 |
IamProjectName | String | 否 | default | 指定 IAM 项目名称。 用于查询指定 IAM 项目下的数据投递配置。 |
PageNumber | Integer | 否 | 10 | 分页大小。默认为 20,最大为 100。 |
PageSize | Integer | 否 | 20 | 分页查询时的页码。 默认为 1,即从第一页数据开始返回。 |
ShipperName | String | 否 | test | 指定投递配置名称,支持模糊匹配。 |
ShipperId | String | 否 | f3e901c3-b17f-42fd-aa8c-dc91a6c7**** | 指定投递配置 ID。 |
TopicName | String | 否 | test | 指定日志主题名称。 用于查询该日志主题相关的数据投递配置。支持模糊匹配。 |
TopicId | String | 否 | f3e901c3-b17f-42fd-aa8c-dc91a6c7**** | 指定日志主题 ID。 用于查询该日志主题相关的数据投递配置。 |
ShipperType | String | 否 | tos | 指定投递类型,用于查询该投递类型相关的投递配置。可选值包括:
|
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Shippers | / | 投递配置相关信息。 | |
Total | Integer | 5 | 投递配置数量。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Status | Boolean | true | 是否开启投递配置。 |
TopicId | String | c7**** | 待投递日志所在的日志主题 ID。 |
ProjectId | String | dc7**** | 待投递日志所在的日志项目 ID。 |
ShipperId | String | 4a9bd4bd-53f1-43ff-b88a-64ee1be5**** | 投递配置 ID。 |
TopicName | String | mytopic | 待投递日志所在的日志主题名称。 |
CreateTime | String | 2024-08-01 14:01:02 | 投递配置的创建时间。 |
ModifyTime | String | 2024-08-01 14:01:10 | 投递配置的最近修改时间。 |
ContentInfo | / | 投递日志的内容格式配置。 | |
DashboardId | String | / | 投递的默认内置仪表盘 ID。 |
ProjectName | String | myproject | 待投递日志所在的日志项目名称。 |
ShipperName | String | tosship | 投递配置名称。 |
ShipperType | String | tos | 投递类型。 |
ShipperEndTime | Integer | 1723709712496 | 投递结束时间。 |
TosShipperInfo | / | 投递到 TOS 的相关信息。 | |
KafkaShipperInfo | / | 投递到 Kafka 的相关信息。 | |
ShipperStartTime | Integer | 1723709602496 | 投递开始时间。 |
RoleTrn | String | trn:iam::2100000001:role/TLSETLAccessForUserA | 自定义角色的 Trn。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Format | String | json | 日志内容解析格式。
|
CsvInfo | / | CSV 格式日志内容配置。 | |
JsonInfo | / | JSON/JSONL 格式日志内容配置。 | |
ParquetInfo | / | Parquet 格式日志内容配置。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Bucket | String | mytos | 对象存储桶名称。 |
Prefix | String | testprefix | 存储桶的顶级目录名称。通过此投递配置投递的所有日志数据均将被投递到该目录下。 |
MaxSize | Integer | 5 | 每个分区(Shard)最大可投递的原始文件大小,即未压缩的日志文件大小。单位为 MiB。 |
Compress | String | snappy | 压缩格式。 |
Interval | Integer | 300 | 投递时间间隔,单位为秒。 |
PartitionFormat | String | %Y/%m/%d/%H/%M | 投递日志的分区规则。 |
EnablePartitionKV | Boolean | false | 是否启用基于键值对的分区功能。当设置为 true 时,日志将根据指定的键值对进行分区存储。默认值为 false。 |
PartitionFromValue | / | 基于键值对的分区配置,用于指定日志投递到 TOS 时的分区规则。当 EnablePartitionKV 为 true时生效。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
EndTime | Integer | 1723709712496 | 投递结束时间,毫秒时间戳,如果不配置,则会一直投递。 说明 投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。 |
Compress | String | snappy | 压缩格式,当前支持 snappy、gzip、lz4、none。 |
Instance | String | kafka-cnngbnntswg1**** | Kafka 实例。 |
StartTime | Integer | 1723709602496 | 投递开始时间,毫秒时间戳,如果不配置,默认为当前时间。 说明 投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。 |
KafkaTopic | String | topic-c | Kafka Topic 名称。通过此投递配置投递的所有日志数据均将被投递到该 Topic 中。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Keys | Array of String | ["user","log","ip"] | 配置需要投递的字段。
|
Delimiter | String | , | 分隔符,支持填入逗号、制表符、竖线、分号、空格。 |
EscapeChar | String | false | 转义符,字段内容包含分隔符时,使用转义符包裹该字段,当前仅支持单引号,双引号,空字符。 |
PrintHeader | Boolean | false | 首行是否打印 Key。 |
NonFieldContent | String | test | 无效字段填充内容,长度为 0~128。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Keys | Array of String | ["__content", "pod_name"] | 以 JSON/JSONL 格式投递时,如果不配置此参数则表示投递所有字段,包括 __content__(必选)、__source__、__path__、__time__、__image_name__、__container_name__、__pod_name__、__pod_uid__、namespace、 __tag____client_ip__、__tag____receive_time__。 |
Enable | Boolean | true | 启用标志。 |
Escape | Boolean | true | 是否转义。必须配置为 true。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Fields | / | 以 Parquet 格式投递日志时,需要投递的字段及其对应的数据类型。每个字段需要包含字段名称和数据类型。 |
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Key | String | key1 | 用于指定日志投递到 TOS 时基于键值对的分区字段名称。当 EnablePartitionKV 为 true时,日志将根据该字段的值进行分区存储。 |
Regex | String | ^[0-9a-zA-Z]+$ | 用于指定日志投递到 TOS 时基于键值对的分区字段值的正则表达式规则。当 EnablePartitionKV 为 true时,日志将根据该正则表达式对指定字段的值进行匹配,符合规则的日志才会被投递到对应的分区。 |
Position | String | before_time | 指定基于键值对的分区字段在分区路径中的位置。支持的取值如下所示。
|
参数 | 类型 | 示例值 | 描述 |
参数 | 类型 | 示例值 | 描述 |
Key | String | log_content | 指定以 Parquet 格式投递日志时,需要投递的字段名称。每个字段需要与 TransType配合使用,定义字段的数据类型。 |
TransType | String | string | 指定以 Parquet 格式投递日志时,字段的数据类型。支持的取值如下所示。
|