Viking AI 搜索是一款基于生成式 AI 的企业级 AI 搜索产品,基于大模型的多模态语义表征和理解能力,结合字节跳动信息检索领域多年最佳实践,为客户提供开箱即用的 AI 搜索搭建平台服务,帮助客户轻松搭建和集成端到端的多模态图文搜索和推荐能力。 想要体验更多 Viking AI 搜索能力,点击前往:Viking AI 搜索引擎,企业搜推问一体化智能引擎
若您希望将平台上的图文内容(如商品信息、新闻资讯、设计素材等)整合进搜索与推荐系统,并实现基于内容的问答与信息提取,图文数据集是理想的解决方案。图文数据集支持您上传包含图片和相关文本描述的数据。系统将自动调用多模态预处理和理解能力,深度解析图像视觉信息与文本语义内容,并将这些图文内容索引。
图文搜索适用于以下数据内容:
- 商品数据:每条数据为一个商品(SKU或SPU,取决于您希望在搜索和推荐时对用户展示的商品卡片对应的商品层级),可包含商品ID、名称、描述信息、参数信息、价格以及商品详情图片、商品头图等图片信息
- 设计图文素材:每条数据为一个商用素材,可包含素材的商品ID、名称、大缩略图(以url导入)、描述信息、关键词等信息
- 图文新闻文章:每条数据为一个新闻文章,可包含新闻内容的ID、标题、文本正文和附带图片
以及其他包含图片和文本信息的结构化数据。
图文数据集支持自由的schema定义,即我们不限制数据字段名称,您可以自定义JSON结构(字段名、字段类型)来上传任意的图文信息来描述被搜索的数据内容。您可以使用控制台创建AI搜索应用时创建数据集,上传一条或多条JSON数据来进行schema解析,控制台的大模型数据解析功能可为您解析字段结构和字段名称、特殊属性和数据集内容摘要。
字段名称:必须以字母开头,且只能包含字母、数字和下划线,字段名不超过32个字符。
字段类型:支持JSON schema的以下核心数据类型
- Integer (Array<Integer>) :支持定义Int64和Int32
- Object (Array<Object>):支持字段中包含Object嵌套对象,最多支持三层嵌套关系
以下是一条图文数据示例:
支持在图文数据集中使用String或Array<String>类型的属性字段来传入图片数据。每条数据支持使用多个字段来区分不同的图片类型,用来区分图片字段的用途。
例子:在电商平台场景下,一条商品数据可能包含多类图片,如商品列表页面的展示头图、商品顶部轮播图和商品详情页图。其中商品列表页面的展示头图通常用于搜索结果和分类页展示,可能包含商品的完整外观,商品顶部轮播图用于商品详情页顶部展示多角度商品图,而商品详情页图则包含商品细节、尺寸说明的文字长图信息。前两者更适合用于商品图搜的特征,而详情页图片更适合使用大模型解读后参与导购问答。
传入包含一张图片的字段:
使用String类型的字段传入包含一张图片的字段,适用于商用图片素材搜索场景传入素材缩略图,或在商品数据中传入商品列表页展示头图。
传入包含多张图片的字段:
使用Array<String>类型的字段传入可包含多张图片的字段,适用于商品数据中传入商品详情图(包含商品图文描述信息)和商品顶部轮播图(包含商品的完整外观展示)。
使用URL下载链接导入图片
您可以在字段中传入图片分发下载链接(String)来导入图片,您需要保障图片的下载链接是公开可访问的。导入数据后AI 搜索引擎会将图片进行下载拉取,并用于后续的图片理解和多模态数据索引。
使用Base64导入图片(不推荐)
如果您的数据库中存储了图片原始文件但没有设置图片分发服务,则可以在字段中直接传入Base64编码的图片文件。
请确保您的图片Base64编码符合标准格式,包含数据头(Data URI Scheme)与 Base64 编码正文两部分,以保障base64编码可被正确解析:
注意
使用Base64上传图片会使数据导入接口的请求和返回体较大,影响数据上传和查询的时效性。建议使用图片URL来上传图片数据。
在导入数据前请确保图片的格式满足要求:
传入图片需要满足以下条件:
- 支持格式:jpeg、png、 webp、bmp、tiff、ico、dib、icns、sgi、jpeg2000。其中,tiff、sgi、icns、jpeg2000 格式图片,需要保证和元数据对齐,如在对象存储中正确设置文件元数据,否则会解析失败。
- 不能支持动图(.gif)或任何矢量图文件(如.svg、.eps、.ai等格式),如果您的素材图片中包含矢量图,请转为位图缩略图再进行传入。
- 宽高比(宽/高):在范围[1/100, 100] 。最佳不超过[1/10, 10]之间,极端的图片比例可能影响大模型图片理解和图片特征搜索匹配的效果。
- 边长: 必须在[10, 6000] px范围内,即短边像素需大于 10 px,长边像素需小于6000 px,否则将无法进行图片处理。为了获得最佳的模型处理效果,建议将图片边长控制在[300, 3600] px范围内,过小的分辨率可能导致细节丢失,而过大的分辨率会增加处理时间且不会显著提升识别精度。
字段的“属性”为一系列预留的字段配置,在创建数据集时会引导您进行配置,配置为特定属性的字段将会进行特殊的处理并在搜索、推荐、对话时应用于内容理解和排序策略。在准备数据时,您可以预先判断您的数据库中是否包含以下信息,我们建议您将这些属性以既定格式传入,来最大化地利用AI 搜索引擎的智能数据处理和在线策略。
以下是一条图文数据示例: