文档中心

日志服务

数据导入

CreateImportTask

CreateImportTask

调用 CreateImportTask 接口创建数据导入任务。

请求说明

请求方式：POST

请求地址：https://{tls-endpoint}/CreateImportTask

请求参数

下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。

Body

参数	类型	是否必选	示例值	描述
Description	String	否	this is a task	数据导入任务描述。
ImportSourceInfo	Object of ImportSourceInfo	是	/	数据导入任务的导入源端信息。
ProjectID	String	否	fc69****	用于存储数据的日志项目 ID。
SourceType	String	是	tos	导入源端类型。 tos：导入 TOS 数据。 kafka：导入 Kafka 数据。
TargetInfo	Object of TargetInfo	是	/	TOS 数据导入任务的输出端信息。
TaskName	String	是	task-name-1	数据导入任务名称。
TopicID	String	是	fa************	用于存储数据的日志主题 ID。

ImportSourceInfo

参数	类型	是否必选	示例值	描述
TosSourceInfo	Object of TosSourceInfo	否	/	TOS 导入源端信息。当 sourceType 为 tos 时，TosSourceInfo 字段为必填。
KafkaSourceInfo	Object of KafkaSourceInfo	否	/	Kafka 导入源端信息。当 sourceType 为 kafka 时，KafkaSourceInfo 字段为必填。

TargetInfo

参数	类型	是否必选	示例值	描述
Region	String	是	cn-shanghai	地域 ID。
LogType	String	是	json_log	导入时指定日志解析类型。 delimiter_log：CSV类型。 multiline_log：多行全文类型。 minimalist_log：单行全文类型。 json_log：JSON 类型。
LogSample	String	否	/	日志样例。设置 LogType 为 multiline_log 时，需要配置日志样例。建议填写 2 条以上的日志数据作为示例，确保正则表达式可以匹配到每条日志的第一行。建议使用生产环境的真实样例。
ExtractRule	Object of ExtractRule	否	/	日志提取规则。
UserDefineRule	Object of UserDefineRule	否	/	自定义提取规则。

TosSourceInfo

参数	类型	是否必选	示例值	描述
bucket	String	否	import01	日志文件所在的 TOS 存储桶。
prefix	String	否	accesslog/	待导入的文件在 TOS 存储桶中的路径。
region	String	否	cn-shanghai	TOS 存储桶所在的地域。支持跨地域导入数据。
compress_type	String	否	snappy	TOS 存储桶中数据的压缩模式。 none：无压缩。 snappy：使用 snappy 进行压缩。 gzip：使用 gzip 进行压缩。 lz4：使用 lz4 进行压缩。 tar.gz：使用 tar.gz 进行压缩。邀测功能，若有相关业务需求，可联系客户经理开通白名单。
import_archived	Boolean	否	false	导入 TOS 存储桶中的文件是否为归档或冷归档文件。 true：是归档、冷归档文件。 false：不是归档、冷归档文件。

KafkaSourceInfo

参数	类型	是否必选	示例值	描述
host	String	否	kafka-cnngc7an0qpv****.kafka.ivolces.com:9092	不同类型的 Kafka 集群对应的服务地址不同，详细说明如下：火山引擎消息队列 Kafka 版：Kafka 实例的接入点，详细说明请参考查看接入点。如果 Kafka 实例与日志服务 Project 属于同一地域，可使用私网访问，否则需使用公网访问。自建的 Kafka 集群：Kafka Broker 的 IP 地址和端口号或者域名和端口号。仅支持公网访问。多个服务地址之间需使用半角逗号（,）分隔。
group	String	否	mygroup	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
topic	String	否	test	Kafka Topic 名称。多个 Kafka Topic 之间应使用半角逗号（,）分隔。
encode	String	否	UTF-8	数据的编码格式。可选值包括 UTF-8、GBK。
password	String	否	/	用于身份认证的 Kafka SASL 用户密码。
protocol	String	否	plaintext	安全传输协议，可选值包括 plaintext、sasl_ssl、ssl 和 sasl_plaintext。
username	String	否	/	用于身份认证的 Kafka SASL 用户名。
mechanism	String	否	PLAIN	密码认证机制，可选值包括 PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。
instance_id	String	否	kafka-cnngbnntswg1****	当您使用的是火山引擎消息队列 Kafka 版时，应设置为 Kafka 实例 ID。
is_need_auth	Boolean	否	true	是否开启鉴权。如果您使用的是公网服务地址，建议开启鉴权。
initial_offset	Integer	否	/	数据导入的起始位置。可选值： 0：最早时间，即从指定的 Kafka Topic 中的第一条数据开始导入。 1：最近时间，即从指定的 Kafka Topic 中最新生成的数据开始导入。
time_source_default	Integer	否	/	指定日志时间。可选值： 0：使用 Kafka 消息时间戳。 1：使用系统当前时间。

ExtractRule

参数	类型	是否必选	示例值	描述
Keys	Array of String	否	[ "time", "", "level", "msg" ]	日志字段名称（Key）列表。当且仅当 LogType 为 delimiter_log 时有效。支持配置最多 100 个字段名称。不能配置重复的字段名称，不能指定全部字段名称为空。
Quote	String	否	"	引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。
TimeKey	String	否	request_time	日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。
TimeZone	String	否	GMT+08:00	时区，支持机器时区（默认）和自定义时区。其中，自定义时区支持 GMT 和 UTC。 GMT 格式：GMT+08：00。 UTC 格式：Asia/Shanghai。
Delimiter	String	否	#	日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。
BeginRegex	String	否	[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)	用于识别每条日志中第一行的正则表达式，其匹配部分将作为日志的开头。设置 LogType 为 multiline_log 时，需要配置日志样例。
TimeFormat	String	否	%Y-%m-%dT%H:%M:%S,%f	时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。如何配置时间格式，请参考时间格式。
SkipLineCount	Integer	否	2	跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。当且仅当采集的日志类型为 delimiter_log 且导入类型为 tos 时有效。
UnMatchLogKey	String	否	LogParseFailed	当上传解析失败的日志时，解析失败的日志的 key 名称。 UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。
TimeExtractRegex	String	否	[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+	提取时间的正则表达式，用于提取 TimeKey 字段中的时间值并解析为对应的采集时间。
UnMatchUpLoadSwitch	Boolean	否	true	是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。 true：上传解析失败的日志。 false：不上传解析失败的日志。
TimeSample	String	否	2006-01-02T15:04:05Z07:00	时间样例。用于判断填写的时间解析格式是否正确。

UserDefineRule

参数	类型	是否必选	示例值	描述
Plugin	Object of Plugin	否	/	LogCollector 插件配置。启用插件配置之后，可以添加一个或多个 LogCollector 处理器插件，解析结构复杂或不固定的日志。

Plugin

参数	类型	是否必选	示例值	描述
processors	Array of JSON Map	否	{"processors":[{"json":{"field":"_source","allow_overwrite_keys":true,"allow_empty_values":true,"trim_keys":{"mode":"all","chars":"\""},"trim_values":{"mode":"all","chars":"\""}}}]}	LogCollector 插件。支持的插件列表及参数说明请参考 LogCollector 插件概述。

返回参数

下表仅列出本接口特有的返回参数。更多信息请参见返回结构。

参数	类型	示例值	描述
TaskId	String	fa************	导入任务 ID。

请求示例

返回示例

错误码

您可访问公共错误码，获取更多错误码信息。

最近更新时间：2026.07.15 15:14:29

这个页面对您有帮助吗？

有用

有用

无用

无用