日志服务
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
ContentInfo | 否 | / | 日志内容的投递格式配置。 | |
KafkaShipperInfo | 否 | / | 投递到 Kafka 的相关配置。 | |
ShipperId | String | 是 | 4a9bd4bd-53f1-43ff-b88a-64ee1be5**** | 投递配置 ID。 |
ShipperName | String | 否 | test | 在一个日志项目中唯一。 |
ShipperType | String | 否 | tos | 投递的数据源类型。可选值:
|
Status | Boolean | 否 | true | 是否开启投递配置。默认值为 true。 |
TosShipperInfo | 否 | / | 投递到对象存储 TOS 的相关信息。 | |
RoleTrn | String | 否 | trn:iam::2100000001:role/TLSETLAccessForUserA | 自定义角色的 Trn。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Format | String | 否 | json | 日志内容解析格式。
|
CsvInfo | 否 | / | CSV 格式日志内容配置。 | |
JsonInfo | 否 | / | JSON/JSONL 格式日志内容配置。 | |
ParquetInfo | 否 | / | Parquet 格式日志内容配置。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Compress | String | 是 | snappy | 压缩格式,当前支持 snappy、gzip、lz4、none。 |
Instance | String | 是 | kafka-cnngbnntswg1**** | Kafka 实例。 |
KafkaTopic | String | 是 | topic-c | Kafka Topic 名称。通过此投递配置投递的所有日志数据均将被投递到该 Topic 中。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Prefix | String | 否 | testprefix | 存储桶的顶级目录名称。通过此投递配置投递的所有日志数据均将被投递到该目录下。
|
MaxSize | Integer | 否 | 5 | 每个分区(Shard)最大可投递的原始文件大小,即未压缩的日志文件大小。单位为 MiB,取值范围为 5~256。 |
Compress | String | 否 | snappy | 压缩格式,当前支持 snappy、gzip、lz4、none。 |
Interval | Integer | 否 | 300 | 投递时间间隔,单位为秒,取值范围为 300~900。 |
PartitionFormat | String | 否 | %Y/%m/%d/%H/%M | |
EnablePartitionKV | Boolean | 否 | true | 是否启用基于键值对的分区功能。当设置为 true 时,日志将根据指定的键值对进行分区存储。默认值为 false。 |
PartitionFromValue | 否 | / | 基于键值对的分区配置,用于指定日志投递到 TOS 时的分区规则。当 EnablePartitionKV 为 true时生效。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Keys | Array of String | 是 | ["user","log","ip"] | 配置需要投递的字段。
|
Delimiter | String | 是 | , | 分隔符,支持填入逗号、制表符、竖线、分号、空格。 |
EscapeChar | String | 是 | false | 转义符,字段内容包含分隔符时,使用转义符包裹该字段,当前仅支持单引号,双引号,空字符。 |
PrintHeader | Boolean | 是 | false | 首行是否打印 Key。 |
NonFieldContent | String | 是 | test | 无效字段填充内容,长度为 0~128。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Keys | Array of String | 否 | ["__content", "pod_name"] | 以 JSON/JSONL 格式投递时,如果不配置此参数则表示投递所有字段,包括 __content__(必选)、__source__、__path__、__time__、__image_name__、__container_name__、__pod_name__、__pod_uid__、namespace、 __tag____client_ip__、__tag____receive_time__。 |
Enable | Boolean | 是 | true | 启用标志。 |
Escape | Boolean | 否 | true | 是否转义。必须配置为 true。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Fields | 是 | / | 以 Parquet 格式投递日志时,需要投递的字段及其对应的数据类型。每个字段需要包含字段名称和数据类型。 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Key | String | 否 | key1 | 用于指定日志投递到 TOS 时基于键值对的分区字段名称。当 EnablePartitionKV 为 true时,日志将根据该字段的值进行分区存储。 |
Regex | String | 否 | ^[0-9a-zA-Z]+$ | 用于指定日志投递到 TOS 时基于键值对的分区字段值的正则表达式规则。当 EnablePartitionKV 为 true时,日志将根据该正则表达式对指定字段的值进行匹配,符合规则的日志才会被投递到对应的分区。 |
Position | String | 否 | before_time | 指定基于键值对的分区字段在分区路径中的位置。支持的取值如下所示。
|
参数 | 类型 | 是否必选 | 示例值 | 描述 |
参数 | 类型 | 是否必选 | 示例值 | 描述 |
Key | String | 是 | log_content | 指定以 Parquet 格式投递日志时,需要投递的字段名称。每个字段需要与 TransType配合使用,定义字段的数据类型。 |
TransType | String | 是 | string | 指定以 Parquet 格式投递日志时,字段的数据类型。支持的取值如下所示。
|