You need to enable JavaScript to run this app.
文档中心
日志服务

日志服务

复制全文
下载 pdf
数据投递
CreateShipper
复制全文
下载 pdf
CreateShipper
调用 CreateShipper 创建投递配置。​
请求说明​
  • 请求方式:POST​
  • 请求地址:https://{tls-endpoint}/CreateShipper​
请求参数​
下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。​
Body​
​
参数​
类型​
是否必选​
示例值​
描述​
ContentInfo​
Object of ContentInfo​
是​
/​
日志内容的投递格式配置。​
KafkaShipperInfo​
Object of KafkaShipperInfo​
否​
/​
投递到 Kafka 的相关配置。​
ShipperEndTime​
Integer​
否​
1723709712496​
投递结束时间,毫秒时间戳。​
如果不配置,则会一直投递。​
说明​
投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。​
ShipperName​
String​
是​
tosship​
投递配置名称,命名规则请参考资源命名规则。​
在一个日志项目中唯一。​
ShipperStartTime​
Integer​
否​
1723709602496​
投递开始时间,毫秒时间戳。​
如果不配置,默认为当前时间。​
说明​
投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。​
ShipperType​
String​
是​
tos​
投递类型。​
  • tos:投递到 TOS。​
  • kafka:投递到 Kafka。​
TopicId​
String​
是​
c7****​
待投递日志所在的日志主题 ID。​
TosShipperInfo​
Object of TosShipperInfo​
否​
/​
投递到对象存储 TOS 的相关配置。​
RoleTrn​
String​
否​
trn:iam::2100000001:role/TLSETLAccessForUserA​
自定义角色的 Trn。​
​
ContentInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
Format​
String​
否​
json​
日志内容解析格式。​
  • 投递到 TOS 时,支持配置为 json、jsonl、csv、parquet。​
  • 投递到 Kafka 时,支持配置为 original、json。​
CsvInfo​
Object of CsvInfo​
否​
/​
CSV 格式日志内容配置。​
JsonInfo​
Object of JsonInfo​
否​
/​
JSON/JSONL 格式日志内容配置。​
ParquetInfo​
Object of ParquetInfo​
否​
/​
Parquet 格式日志内容配置。​
​
KafkaShipperInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
EndTime​
Integer​
否​
1723709712496​
投递结束时间,毫秒时间戳,如果不配置,则会一直投递。​
说明​
投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。​
Compress​
String​
是​
snappy​
压缩格式,当前支持 snappy、gzip、lz4、none。​
Instance​
String​
是​
kafka-cnngbnntswg1****​
Kafka 实例。​
StartTime​
Integer​
否​
1723709602496​
投递开始时间,毫秒时间戳,如果不配置,默认为当前时间。​
说明​
投递到 Kafka 时,建议使用 ShipperStartTime 与 ShipperEndTime 字段配置投递的时间范围,将 StartTime 和 EndTime字段留空。​
KafkaTopic​
String​
是​
topic-c​
Kafka Topic 名称。通过此投递配置投递的所有日志数据均将被投递到该 Topic 中。​
​
TosShipperInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
Bucket​
String​
是​
mytos​
选择 TOS 存储桶,必须与源日志主题位于同一地域。​
  • 只能包含数字、横线(-)、字母a-z。​
  • 开始和结尾只能是数字或字母。​
  • 长度在3-63个字符之内。​
Prefix​
String​
否​
testprefix​
存储桶的顶级目录名称。通过此投递配置投递的所有日志数据均将被投递到该目录下。​
  • 不能以正斜线(/)或者反斜线(\)开头,且不能使用连续的正斜线(/)。​
  • 不能以 .. 作为文件夹名称。​
  • 同一存储桶中,文件夹不允许重名。​
MaxSize​
Integer​
否​
5​
每个分区(Shard)最大可投递的原始文件大小,即未压缩的日志文件大小。单位为 MiB,取值范围为 5~256。​
Compress​
String​
否​
snappy​
压缩格式,当前支持 snappy、gzip、lz4、none。​
Interval​
Integer​
否​
300​
投递时间间隔,单位为秒,取值范围为 300~900。​
PartitionFormat​
String​
否​
%Y/%m/%d/%H/%M​
投递日志的分区规则。​
  • 子目录命名格式支持 strftime 语法,默认设置为 %Y/%m/%d/%H/%M,例如 2022/06/30/14/00。​
  • 不能以正斜线(/)或者反斜线(\)开头。​
EnablePartitionKV​
Boolean​
否​
true​
是否启用基于键值对的分区功能。当设置为 true 时,日志将根据指定的键值对进行分区存储。默认值为 false。​
PartitionFromValue​
Object of PartitionFromValue​
否​
/​
基于键值对的分区配置,用于指定日志投递到 TOS 时的分区规则。当 EnablePartitionKV 为 true时生效。​
​
CsvInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
Keys​
Array of String​
是​
["user","log","ip"]​
配置需要投递的字段。​
  • 仅支持字母、数字和_-./,并且不支持以_开头。​
  • 同一个索引中 Key 名称唯一。​
  • 长度为 1~128。​
Delimiter​
String​
是​
,​
分隔符,支持填入逗号、制表符、竖线、分号、空格。​
EscapeChar​
String​
是​
false​
转义符,字段内容包含分隔符时,使用转义符包裹该字段,当前仅支持单引号,双引号,空字符。​
PrintHeader​
Boolean​
是​
false​
首行是否打印 Key。​
NonFieldContent​
String​
是​
test​
无效字段填充内容,长度为 0~128。​
​
JsonInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
Keys​
Array of String​
否​
["__content", "pod_name"]​
以 JSON/JSONL 格式投递时,如果不配置此参数则表示投递所有字段,包括 __content__(必选)、__source__、__path__、__time__、__image_name__、__container_name__、__pod_name__、__pod_uid__、namespace、 __tag____client_ip__、__tag____receive_time__。​
Enable​
Boolean​
是​
true​
启用标志。​
Escape​
Boolean​
否​
true​
是否转义。必须配置为 true。​
​
ParquetInfo​
​
参数​
类型​
是否必选​
示例值​
描述​
Fields​
Array of ParquetField​
是​
/​
以 Parquet 格式投递日志时,需要投递的字段及其对应的数据类型。每个字段需要包含字段名称和数据类型。​
​
PartitionFromValue​
​
参数​
类型​
是否必选​
示例值​
描述​
Key​
String​
否​
key1​
用于指定日志投递到 TOS 时基于键值对的分区字段名称。当 EnablePartitionKV 为 true时,日志将根据该字段的值进行分区存储。​
Regex​
String​
否​
^[0-9a-zA-Z]+$​
用于指定日志投递到 TOS 时基于键值对的分区字段值的正则表达式规则。当 EnablePartitionKV 为 true时,日志将根据该正则表达式对指定字段的值进行匹配,符合规则的日志才会被投递到对应的分区。​
Position​
String​
否​
before_time​
指定基于键值对的分区字段在分区路径中的位置。支持的取值如下所示。​
  • before_time:分区字段位于时间分区之前。​
  • after_time:分区字段位于时间分区之后。​
​
ParquetField​
​
参数​
类型​
是否必选​
示例值​
描述​
Key​
String​
是​
log_content​
指定以 Parquet 格式投递日志时,需要投递的字段名称。每个字段需要与 TransType配合使用,定义字段的数据类型。​
TransType​
String​
是​
string​
指定以 Parquet 格式投递日志时,字段的数据类型。支持的取值如下所示。​
  • string:字符串类型。​
  • int32:32 位整数类型。​
  • int64:64 位整数类型。​
  • float:单精度浮点数类型。​
  • double:双精度浮点数类型。​
  • boolean:布尔类型。​
​
返回参数​
下表仅列出本接口特有的返回参数。更多信息请参见返回结构。​
​
参数​
类型​
示例值​
描述​
ShipperId​
String​
4a9bd4bd-53f1-43ff-b88a-64ee1be5****​
投递配置 ID。​
​
请求示例​
​
POST https://{tls-endpoint}/CreateShipper HTTP/1.1​
Content-Type: application/json​
{​
"ContentInfo": {​
"Format": "json",​
"JsonInfo": {​
"Enable": true​
}​
},​
"ShipperName": "test",​
"ShipperType": "tos",​
"TopicId": "a91c0d37-4c71-xxxx-b9cf-c0fae292d357",​
"TosShipperInfo": {​
"Bucket": "import-test",​
"Compress": "none",​
"Interval": 60,​
"MaxSize": 256,​
"PartitionFormat": "%Y",​
"Prefix": "test/"​
},​
"ShipperStartTime": 1719203400000,​
"ShipperEndTime": 1719204600000​
}​
​
返回示例​
​
{"ShipperId": "4a9bd4bd-53f1-43ff-b88a-64ee1be5****"}​
​
错误码​
您可访问公共错误码,获取更多错误码信息。​
最近更新时间:2026.04.17 14:43:48
这个页面对您有帮助吗?
有用
有用
无用
无用