Viking AI 搜索是一款基于生成式 AI 的企业级 AI 搜索产品,基于大模型的多模态语义表征和理解能力,结合字节跳动信息检索领域多年最佳实践,为客户提供开箱即用的 AI 搜索搭建平台服务,帮助客户轻松搭建和集成端到端的多模态图文搜索和推荐能力。 想要体验更多 Viking AI 搜索能力,点击前往:Viking AI 搜索引擎,企业搜推问一体化智能引擎
物品数据集是驱动本平台精准搜索、推荐和对话能力的核心数据基础。本章节将为您提供详细的操作指引,帮助您一步步将自有数据导入并构建成一个结构化的物品数据集,内容涵盖数据上传、信息配置和策略设定等关键环节。
数据集的准备和创建方式取决于您要导入的数据类型。这个文档核心会介绍图文数据的创建流程,包括数据格式要求、字段映射规则以及常见问题的解决方案。若您想创建视频数据集,请查阅 创建物品数据集 - 视频数据。
说明
本章主要聚焦于操作流程。如果您对物品数据集的基本概念、支持的数据格式、各个字段类型的具体定义、参数的详细解释或搜索策略等理论性内容有疑问,请先查阅 数据集介绍章节。理解该章节的基础知识将帮助您更顺畅、更有效地完成本章的实践操作。
本起始步骤旨在引导您进入创建数据集页面,并启动创建流程。
- 点击创建数据集,在弹出的弹窗中选择物品数据集,并点击立即创建,您将正式进入创建数据集的流程中。
本步骤中我们将引导您完成新图文数据集的命名,并上传您的样例文件用于解析数据字段和生成配置。
- 上传数据,在这里上传一部分数据样本。将帮助系统自动识别数据字段并生成初始配置。请放心,这只是用于配置预览,您可以稍后决定是否将这些数据正式添加入数据集。
*数据规范
- 必须包含唯一标识符:每条记录必须包含一个 String 类型的唯一 ID 字段,作为检索基础。
- 多条数据的schema一致:同名字段格式冲突会导致报错。
- 支持多层次数据结构:系统可处理最深3层的嵌套对象,能够有效索引和检索深层属性。
- 图片数据上传:您可以上传多个图片字段,字段类型为 String 或 Array<String> ,字段内容为图片 URL(或 URL 列表)。请确保 URL 公网可访问而且不应该直接下载图片。
- 图像资源处理:支持您使用URL引用的方式传入图片,图片需要在专门的JSON属性内上传,建议图片大小控制在 5MB 以下。
- 系统支持两种上传方式,您可点击上传控件下方的切换按钮来选择您偏好的方式:
上传 JSONL 文件
点击/拖拽 JSONL 文件,格式需遵循标准的 JSONL 规范,按行写入多条数据,文件大小不超过 10 MB。
下方的示例展示了我们所要求的标准 JSONL 格式:
父子商品字段说明:
- item_type:商品类型,枚举值为 parent(父商品/SPU)或 variant(子商品/SKU)。非必填,未填写时默认按子商品处理。
- parent_id:父商品 ID,子商品(variant)必填,指向其父商品的 item_id;父商品(parent)必须为空。
- 一个父商品可关联多个子商品,一个子商品仅可归属一个父商品,不支持父商品嵌套父商品。
粘贴 JSON 数据
使用 JSON 对象(或对象列表Arrayof Objects)格式,粘贴单条或多条图文数据。建议粘贴100条以内数据,请您在输入时必须遵循标准JSON格式。
下方的示例展示了我们所要求的标准 JSON 格式:
- 上传 / 输入完成后,点击下一步:配置字段,进入配置数据部分。
平台会根据您上传的样例数据自动识别大部分数据字段,但在某些情况下,您可能需要手动添加字段。平台提供了以下两种方式来手动添加字段:
方法一:字段列表的下方,点击蓝色的+ 添加字段按钮添加新字段。
方法二:对于数据类型为对象 (Object) 或对象数组 (Array<Object>) 的字段,您可以通过点击对应字段行字段名称旁边的 +图标按钮添加该对象(或数组内对象)所包含的各个嵌套字段,并为这些嵌套字段指定名称、类型等信息。
说明
平台目前支持的嵌套对象最大深度为 3 层。
在配置数据集结构的过程中,如果您发现某些字段是多余的、不再需要的,或者是在初始识别时产生的错误字段,您可以将它们从数据结构定义中删除。请注意,删除字段会移除其相关的配置信息。
- 在字段列表中,找到您希望删除的字段。点击该字段所在行最右侧的删除按钮,即可将该字段删除
系统已根据上传的样本数据自动识别并预填了数据集描述、字段名、字段类型、字段属性。请您检查这些自动生成的配置。在字段列表中,找到需要配置的字段所在行,点击其‘字段属性’列下的下拉菜单,然后勾选一个或多个适用的属性(如‘唯一标识’、‘图片链接’等)。
注意
字段属性会被下游任务使用,并且一旦配置不支持更改。保存前请确保属性配置的正确性。
配置完成并生效后,系统会自动进行数据语义信息的分析和索引处理。
在完成数据集的基础字段配置后,我们还提供了一项基于 AI 大模型的高级功能——“使用大模型合成新字段”,旨在帮助您进一步挖掘现有数据的潜力,实现数据增强。
这项功能能够根据您数据集中已有的字段生成全新的、具有实际应用价值的文本字段,包括生成图文描述、提取核心关键词或是生成相关的用户查询 (Query) 列表等。这些由 AI 生成的新增字段会直接整合到数据集中,能够有效增强搜索及搜索补全的效果,从而提升数据的整体可发现性和应用价值。
这并非创建数据集的必需步骤,而是一个可选的高级数据优化选项。 如果您对利用 AI 自动丰富数据内容感兴趣,想要了解如何启用、配置并使用这项功能,可以查阅后续的使用大模型合成新字段章节获取详细的操作指南和说明。 图文数据集创建后,您可以在数据集列表中查看到刚创建的数据集。进入数据集详情页,即可查看其基本信息、字段配置和操作历史等内容。
- 创建图文数据集成功后,返回数据集页面可查看刚创建好的物品数据集。
- 在数据集列表中,找到您想要查看的数据集,点击该行操作列中的查看按钮。
- 数据集详情页: 进入详情页后,您会看到以下几个关键的标签页:
- 数据配置:在此标签页下,您可以查看和调整当前数据集的各项配置参数。
注意
在此页面对数据集配置进行的修改,需要您手动确认并生效后,才会同步到已经在您的 AI 搜索应用中关联的物品数据集并更新索引配置。
- 数据详情: 在此标签页下,您可以查看图文数据校验和处理的状态。您也可以查看数据导入和最近更新的时间并预览数据
- 如果数据集配置了「商品类型」属性,数据详情页会展示每条记录的「父商品标识」,便于查看子商品与父商品的关联关系。若子商品关联的父商品尚未上传,系统会显示「父内容未上传」告警提示。
- 历史记录: 在此标签页下,您可以查看该数据集执行的所有关键操作,例如配置变更、数据导入任务等。您可以在此追踪数据集的变更历史。
- 除了数据集详情页以外,您也可以在数据集列表页中,点击对应数据集所在行操作列历史记录查看数据的历史记录。