文档中心

Viking AI 搜索

准备数据集

多模态数据集介绍

若您的候选数据（如商品、内容动态、长视频剧集等）同时包含图片与视频素材，并希望在同一个应用中实现图文检索、视频检索、以图/以文搜索、多模态推荐与智能问答等能力，多模态数据集是更合适的选择。系统将自动调用多模态预处理和理解能力，深度解析图像视觉信息、视频内容信息与文本语义内容，并将这些多模态内容统一索引。

适用内容场景

商品数据：每条数据为一个商品（SKU 或 SPU），可同时包含商品主图、详情图（图片字段）与商品介绍视频（视频字段），适用于电商导购、以图/以视频搜商品等场景。

内容/社交动态：每条数据为一条图文或短视频动态，可包含封面图、正文配图与短视频文件，适用于内容社区的统一检索与个性化推荐。

长视频/剧集：每条数据可包含剧集封面图、剧照与片段视频，适用于视频平台内的语义搜索、陪看问答等场景。

以及其他同时包含图片和视频信息的结构化数据。

数据题材模板

与图文数据集不同，创建多模态数据集时需要额外选择“数据题材”，用于选择数据的题材模板：系统内置了不同数据题材的字段属性和搜索、推荐配置最佳实践，帮助您更快完成配置。目前支持以下 4 种题材：

数据题材	说明
通用	不限定具体业务形态的通用配置，适用于无法归入以下题材的场景
电商	面向商品数据的题材模板，内置商品 ID、名称、描述、图片/视频 URL、类目、价格、品牌、上架时间等属性映射建议
内容	面向图文/短视频内容动态的题材模板
长视频	面向剧集、课程等长视频场景的题材模板

多模态数据要求

多模态数据集同样支持自由的 schema 定义，即不限制数据字段名称，您可以自定义 JSON 结构（字段名、字段类型）来描述被搜索的数据内容。您可以在控制台创建数据集时上传一条或多条 JSON 数据进行 schema 解析，系统的大模型数据解析功能可为您自动识别字段结构、字段类型、字段含义，并自动生成数据集描述。

字段名称：必须以字母开头，且只能包含字母、数字和下划线，字段名不超过 32 个字符。

字段类型：支持 String（Array）、Integer（Array，可定义 Int32/Int64）、Float（Array）、Boolean、Object（Array，最多支持三层嵌套）。

唯一标识：每条记录必须包含且仅包含一个 String 类型的唯一 ID 字段（“商品 ID”属性），作为检索基础。

图片与视频分开存储：建议使用单独的字段分别存储图像和视频的 URL 链接；字段可以使用 URL 数组的方式传入多个链接，例如一个商品同时有多张详情图和一段介绍视频时，分别用 image_url（Array）与 video_url（String/Array）承载。

预留字段属性（属性映射）

与图文数据集类似，字段的“属性”是一系列预留的字段配置。在创建数据集时，系统会引导您将解析出的字段与下列物品属性建立映射，配置为特定属性的字段将会进行特殊处理，并在搜索、推荐、对话时应用于内容理解和排序策略。多模态数据集中，图片 URL 与视频 URL 均被标记为“多模态”属性，且均支持映射多个字段（例如同时存在“主图字段”和“详情图字段”）。

属性名称	是否必需	支持的字段类型	属性介绍
商品 ID（唯一标识）	必需	String	一条数据的唯一标识，即数据的主键；数据 schema 中必须包含且仅包含一个唯一标识，只支持最外层非嵌套字段作为唯一标识
商品名称	非必需	String	商品展示标题；建议上传，会作为核心语义信息参与搜索和个性化推荐
商品描述	非必需	String	商品的主要描述信息，如材质、版型、风格、适用场景等文本内容
图片 URL（多模态）	非必需	String, Array	商品信息中携带的图片下载链接，如主图、详情图等；上传后系统会自动拉取图片并提取视觉特征，支持映射多个字段
视频 URL（多模态）	非必需	String, Array	商品信息中携带的视频下载链接，如商品介绍视频；上传后系统会自动拉取视频并进行多模态理解，支持映射多个字段
类目	非必需	String	商品所属类目的枚举；类目信息会作为核心特征参与搜索和推荐，并在对话助手中用于智能过滤；支持上传多个分类属性（如一级、二级类目）
关键词/标签	非必需	String, Array	商品的关键词或标签信息，可用于搜索召回与补全
价格	非必需	Float, Int	商品售价，可用于价格区间过滤与排序
品牌	非必需	String	商品所属品牌
上架时间	非必需	String, Int64	商品上新/上架时间，支持标准日期字符串或 UNIX 时间戳，可用于搜索和推荐的新度排序

数据示例

以下是一条多模态商品数据示例（同时包含图片字段与视频字段）：

图片数据传输

图片数据的传输规则与图文数据集一致：支持在字段中传入图片 URL（String 或 Array 类型，需公网可访问），系统会自动下载并提取视觉特征参与多模态理解；也支持不推荐的 Base64 传入方式（数据头 + MIME 类型 + Base64 正文）。

支持格式：jpeg、png、webp、bmp、tiff、ico、dib、icns、sgi、jpeg2000（tiff/sgi/icns/jpeg2000 需保证与元数据对齐）。

不支持动图（.gif）及矢量图（.svg、.eps、.ai 等），如包含矢量图素材请先转为位图缩略图。

宽高比（宽/高）需在 [1/100, 100] 范围内，建议控制在 [1/10, 10] 之间。

边长需在 [10, 6000] px 范围内，建议控制在 [300, 3600] px 之间，以获得最佳理解效果。

视频数据传输

这是多模态数据集相较图文数据集新增的能力：支持使用 String 或 Array 类型的字段传入视频下载链接（如商品介绍视频、内容短视频、剧集片段等），系统会自动拉取视频文件并进行多模态理解与索引，处理完成后可在数据集详情页查看“视频有效时长”等处理结果。

说明

图片与视频的详细格式限制（分辨率、时长、大小等）请以控制台创建数据集页面中的“多模态数据格式要求”链接内容为准；导入前建议先用少量样例数据验证格式是否符合要求。

数据异常处理策略

由于图片和视频数据可能会因链接失效、格式不支持、文件过大等问题无法获取，多模态数据集在创建时新增了“数据异常处理策略”配置，用于指定包含异常多模态内容的数据应如何处理：

策略	计费说明	处理方式
不处理，视为异常数据（默认）	不计费	图片或视频处理失败时，该条数据整体不写入索引
跳过异常模态，继续处理	仅文本和视频收费	跳过处理失败的模态内容，数据中其余可正常处理的内容仍会写入索引

“数据异常处理策略”弹窗

该策略在数据集创建完成后仍可在数据集详情页的“数据详情”标签页中点击“数据异常处理策略”按钮进行调整。

最近更新时间：2026.08.05 17:21:18

这个页面对您有帮助吗？

有用

无用