调用 DescribeImportTasks 接口查看数据导入任务列表。

请求说明

请求方式：GET

请求地址：https://{tls-endpoint}/DescribeImportTasks

请求参数

下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。

Query

参数	类型	是否必选	示例值	描述
TaskId	String	否	"fa************"	待查询的数据导入任务的 ID。
TaskName	String	否	"test-task"	待查询的数据导入任务名称。
ProjectId	String	否	"fa************"	指定日志项目 ID，用于查询指定日志项目下的数据导入任务。
ProjectName	String	否	"fa************"	指定日志项目名称，用于查询指定日志项目下的数据导入任务。支持模糊查询。
IamProjectName	String	否	default	指定 IAM 项目名称，用于查询指定 IAM 项目下的数据导入任务。
TopicId	String	否	"fa************"	指定日志主题 ID，用于查询该日志主题相关的数据导入任务。
TopicName	String	否	"fa************"	指定日志主题名称，用于查询该日志主题相关的数据导入任务。支持模糊查询。
PageNumber	Integer	否	1	分页查询时的页码。默认为 1，即从第一页数据开始返回。
PageSize	Integer	否	10	分页大小。默认为 20，最大为 100。
SourceType	String	否	"tos"	指定导入类型，用于查询该导入类型相关的数据导入任务。 tos：导入 TOS 数据。 kafka：导入 Kafka 数据。
Status	String	否	"0"	指定导入任务状态，用于查询处于该状态的数据导入任务。 0：导入中。 1：导入完成。 2：导入异常。 3：停止中。 4：已停止。 5：重启中。

返回参数

下表仅列出本接口特有的返回参数。更多信息请参见返回结构。

参数	类型	示例值	描述
TaskInfo	Array of TaskInfo	/	数据导入任务列表。
Total	Integer	5	数据导入任务数量。

TaskInfo

参数	类型	示例值	描述
TaskId	String	fa************	数据导入任务的 ID。
status	Integer	0	数据导入任务的状态。 0：导入中。 1：导入完成。 2：导入异常。 3：停止中。 4：已停止。 5：重启中。
TopicId	String	fa************	用于存储数据的日志主题 ID。
TaskName	String	task-name-1	数据导入任务的名称。
ProjectId	String	fc69****	数据导入任务的日志项目 ID。
TopicName	String	topic-name	数据导入任务的日志主题名称。
CreateTime	String	1970-1-1 00:00:00	数据导入任务的创建时间。
SourceType	String	tos	导入源端类型。
TargetInfo	Object of TargetInfo	/	数据导入任务的输出端信息。
Description	String	this is a task	数据导入任务描述。
ProjectName	String	myproject	数据导入任务的日志项目名称。
TaskStatistics	Object of TaskStatistics	/	数据导入任务的进度。
ImportSourceInfo	Object of ImportSourceInfo	/	数据导入任务的导入源端信息。

TargetInfo

参数	类型	示例值	描述
Region	String	cn-shanghai	地域 ID。
LogType	String	json_log	导入时指定日志解析类型。 delimiter_log：CSV类型。 multiline_log：多行全文类型。 minimalist_log：单行全文类型。 json_log：JSON 类型。
LogSample	String	/	日志样例。 LogType 为 multiline_log 时，该参数有效。
ExtractRule	Object of ExtractRule	/	ExtractRule 导入提取规则。
UserDefineRule	Object of UserDefineRule	/	UserDefineRule 用户自定义规则。

TaskStatistics

参数	类型	示例值	描述
Total	Integer	100	已列举到的总资源个数。
Failed	Integer	100	导入失败的资源个数。
Skipped	Integer	20	跳过导入的资源个数。
NotExist	Integer	10	不存在的资源个数。
BytesTotal	Integer	100	已列举到的总资源字节数。
TaskStatus	String	Success	导入任务的状态。 Preparing：导入准备中。 Importing：导入数据中。 Success：成功导入完成。 Failed：导入失败。 Stopped：导入已暂停。
Transferred	Integer	100	已导入的资源个数。
BytesTransferred	Integer	100	已导入的字节数。

ImportSourceInfo

参数	类型	示例值	描述
TosSourceInfo	Object of TosSourceInfo	/	TOS 导入源端信息。当 sourceType 为 tos 时，TosSourceInfo 字段为必填。
KafkaSourceInfo	Object of KafkaSourceInfo	/	Kafka 导入源端信息。当 sourceType 为 kafka 时，KafkaSourceInfo 字段为必填。

ExtractRule

参数	类型	示例值	描述
Keys	Array of String	[ "time", "", "level", "msg" ]	日志字段名称（Key）列表。当且仅当 LogType 为 delimiter_log 时有效。支持配置最多 100 个字段名称。不能配置重复的字段名称，不能指定全部字段名称为空。
Quote	String	"	引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。
TimeKey	String	request_time	日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。
TimeZone	String	GMT+08:00	时区，支持机器时区（默认）和自定义时区。其中，自定义时区支持 GMT 和 UTC。 GMT 格式：GMT+08：00。 UTC 格式：Asia/Shanghai。
Delimiter	String	#	日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。
BeginRegex	String	[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)	用于识别每条日志中第一行的正则表达式，其匹配部分将作为日志的开头。设置 LogType 为 multiline_log 时，需要配置日志样例。
TimeFormat	String	%Y-%m-%dT%H:%M:%S,%f	时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。如何配置时间格式，请参考时间格式。
SkipLineCount	Integer	2	跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。当且仅当采集的日志类型为 delimiter_log 且导入类型为 tos 时有效。
UnMatchLogKey	String	LogParseFailed	当上传解析失败的日志时，解析失败的日志的 key 名称。 UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。
TimeExtractRegex	String	[0-9]{0,2}/[0-9a-zA-Z]+/[0-9:,]+	提取时间的正则表达式，用于提取 TimeKey 字段中的时间值并解析为对应的采集时间。
UnMatchUpLoadSwitch	Boolean	true	是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。 true：上传解析失败的日志。 false：不上传解析失败的日志。
TimeSample	String	2006-01-02T15:04:05Z07:00	时间样例。用于判断填写的时间解析格式是否正确。

UserDefineRule

参数	类型	示例值	描述
Plugin	Object of Plugin	/	LogCollector 插件配置。启用插件配置之后，可以添加一个或多个 LogCollector 处理器插件，解析结构复杂或不固定的日志。

TosSourceInfo

参数	类型	示例值	描述
bucket	String	import01	日志文件所在的 TOS 存储桶。
prefix	String	accesslog/	待导入的文件在 TOS 存储桶中的路径。
region	String	cn-shanghai	TOS 存储桶所在的地域。支持跨地域导入数据。
compress_type	String	snappy	TOS 存储桶中数据的压缩模式。 none：无压缩。 snappy：使用 snappy 进行压缩。 gzip：使用 gzip 进行压缩。 lz4：使用 lz4 进行压缩。 tar.gz：使用 tar.gz 进行压缩。邀测功能，若有相关业务需求，可联系客户经理开通白名单。
import_archived	Boolean	false	导入 TOS 存储桶中的文件是否为归档或冷归档文件。 true：是归档、冷归档文件。 false：不是归档、冷归档文件。

KafkaSourceInfo

参数	类型	示例值	描述
host	String	kafka-cnngc7an0qpv****.kafka.ivolces.com:9092	不同类型的 Kafka 集群对应的服务地址不同，详细说明如下：火山引擎消息队列 Kafka 版：Kafka 实例的接入点，详细说明请参考查看接入点。如果 Kafka 实例与日志服务 Project 属于同一地域，可使用私网访问，否则需使用公网访问。自建的 Kafka 集群：Kafka Broker 的 IP 地址和端口号或者域名和端口号。仅支持公网访问。多个服务地址之间需使用半角逗号（,）分隔。
group	String	mygroup	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
topic	String	test	Kafka Topic 名称。多个 Kafka Topic 之间应使用半角逗号（,）分隔。
encode	String	UTF-8	数据的编码格式。可选值包括 UTF-8、GBK。
password	String	/	用于身份认证的 Kafka SASL 用户密码。
protocol	String	plaintext	安全传输协议，可选值包括 plaintext、sasl_ssl、ssl 和 sasl_plaintext。
username	String	/	用于身份认证的 Kafka SASL 用户名。
mechanism	String	PLAIN	密码认证机制，可选值包括 PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。
instance_id	String	kafka-cnngbnntswg1****	当您使用的是火山引擎消息队列 Kafka 版时，应设置为 Kafka 实例 ID。
is_need_auth	Boolean	true	是否开启鉴权。如果您使用的是公网服务地址，建议开启鉴权。
initial_offset	Integer	/	数据导入的起始位置。可选值： 0：最早时间，即从指定的 Kafka Topic 中的第一条数据开始导入。 1：最近时间，即从指定的 Kafka Topic 中最新生成的数据开始导入。
time_source_default	Integer	/	指定日志时间。可选值： 0：使用 Kafka 消息时间戳。 1：使用系统当前时间。

Plugin

参数	类型	示例值	描述
processors	Array of JSON Map	{"processors":[{"json":{"field":"_source","allow_overwrite_keys":true,"allow_empty_values":true,"trim_keys":{"mode":"all","chars":"\""},"trim_values":{"mode":"all","chars":"\""}}}]}	LogCollector 插件。支持的插件列表及参数说明请参考 LogCollector 插件概述。

请求示例

返回示例

错误码

您可访问公共错误码，获取更多错误码信息。

日志服务