Viking AI 搜索
Viking AI 搜索
- 文档首页
Viking AI 搜索AI搜索引擎用户手册最佳实践以图搜图与自然语言搜图：基于 Viking AI 搜索构建图片素材平台的多模态搜索最佳实践
复制全文
下载 pdf
文档反馈
问问助手说明
- 本文档旨在为素材平台（通用摄影图库、图标 UI 素材、创意背景素材等）的业务、产品、运营及技术团队提供一份详尽的 Viking AI 搜索—多模态搜索配置的落地实践指南。我们将结合素材检索场景下的具体需求，系统性地介绍从数据准备、搜索模式配置到排序策略优化的全流程最佳实践。
- 了解更多 Viking AI 搜索产品能力，请参见：Viking AI 搜索引擎，企业搜推问一体化智能引擎
一个优秀的素材平台，不仅要有丰富的素材资源，更要有将素材精准匹配用户检索意图的能力。按照本指南完成配置，您可以轻松解锁以下业务效果，提升素材召回率：
** 关键词搜图**
** 自然语言搜图**
** 以图搜图**
在开始配置素材平台搜索系统之前，我们建议您先对字段进行筛选，而非上传全部字段。存在无效字段会增加您的Token成本、干扰大模型的判断。
您可以剔除超大且低价值的字段（如大段的HTML源码、Base64编码图片），保留对搜索模型理解内容语义、进行多模态搜索有效的数据字段。
1.物品数据集
物品数据集包含了素材的标题、标签、发表时间、作者等数据，是构建多模态搜索引擎的基础。
以下是一份通用的素材平台物品数据的核心字段建议表，建议包含以下关键信息，会对整体效果有帮助。
如果缺失一些字段，您也不用担心，按您业务已有字段筛选后，上传就好。
示例字段名（您的实际字段名称无需与此完全一致） | 用途与推荐场景说明 |
|---|---|
post_id | 素材的唯一标识符。避免重复，方便系统更新内容和记录用户点击行为。 |
images | 素材图片。系统会分析图片内容，支持 “以文搜图” “以图搜图” 。 |
post_time | 素材的发布时间。用于设置优先推新素材，或过滤掉过期内容。 |
user_id | 发布者的唯一标识符。用于基于作者的搜索策略（如官方/编辑推荐素材提权）或内容打散（避免搜索结果中同一作者内容过多）。 |
username | 发布者的用户名。用于按创作者搜索，或在搜索框中提供自动补全功能。 |
title | 素材的标题。可用于基于关键词匹配和语义的精准召回。 |
content | 素材的描述内容。系统会深入分析描述的核心意思，找到语义匹配的素材。 |
comments | 评论数量。反映素材的互动活跃度，可用于筛选高热议内容或辅助判断社区氛围。 |
likes | 点赞数量。核心热度指标，用于衡量素材受欢迎程度，常作为搜索排序模型的重要权重特征。 |
shares | 分享数量。代表素材的传播价值，高分享素材通常具有更强的破圈潜力，可用于加权搜索。 |
tags | 素材关联的标签列表。用于内容的分类检索、用户兴趣标签匹配及圈层召回。 |
score_final | 素材的综合评分。反映素材的整体质量，可用于筛选高质量素材或作为排序的重要依据。 |
downloads | 下载数量。核心热度指标，用于衡量素材的实用价值和受欢迎程度，常作为搜索排序模型的重要权重特征。 |
price_type | 素材的价格类型（如免费、收费）。用于区分付费与免费内容，支持配置收费素材优先召回或提权策略。 |
file_type | 素材的文件格式（如JPG、PNG、SVG、EPS）。用于区分不同格式的素材，支持配置特定格式素材提权策略（如矢量素材平台适用）。 |
keywords_count | 素材的关键词数量。用于检测关键词堆砌嫌疑，支持配置反作弊策略（如关键词数量大于50时降权）。 |
2.样例数据准备
在正式全量导入数据前，建议先用50-100条有代表性的数据进行连通性测试，验证物品入库与行为关联的流程是否顺畅。
参考火山引擎快速入门流程，我们将复杂的推荐系统构建简化为四个核心步骤。
步骤一：创建应用
- 登录AI 搜索控制台，点击 “创建应用”。
- 填写应用名称。
- 选择**“素材平台”**模版，这将预加载该场景的策略配置。
步骤二：导入数据
1. 创建数据集
- 写入数据集名称。
- 选择数据类型。“私域物品数据”可用于上传结构化数据，“文档”可用于上传非结构化数据。为了搭建多模态搜索引擎，请您选择“私域物品数据”。
- 选择数据形态，如您的数据集包含多模态内容，则需将图文和视频内容需要分别上传到对应的物品数据集。
- 直接上传JSONL格式样例文件，或通过JSON代码上传数据。
2.配置数据字段
- 数据导入后，大模型会扫描样例数据，推断字段类型、属性、含义和索引配置。大概需要两分钟。
- 您可以按照下表进行手动校准，或删除字段。
示例字段名（您的实际字段名称无需与此完全一致） | 字段属性建议 | 应用配置建议 |
|---|---|---|
post_id | 唯一标识（必须指定一个。这是整个系统的 “身份证”，所有数据更新和关联都依赖此 ID。） | 用于过滤 |
images | 图片链接（只有把素材链接设置为图片链接，才能在控制台将其显示为图片。） | 用于文搜、用于图搜 |
post_time | 上新时间 | 用于过滤 |
user_id | ||
username | 用于文搜、用于搜索补全 | |
title | 用于文搜、用于搜索补全 | |
content | 用于文搜 | |
comments | 用于过滤 | |
likes | 用于过滤 | |
shares | 用于过滤 | |
tags | 用于文搜、用于过滤、用于搜索补全 | |
score_final | 用于过滤 | |
downloads | 用于过滤 | |
price_type | 用于过滤 | |
file_type | 用于过滤 | |
keywords_count | 用于过滤 |
点击下一步，出现异常处理提示，并非因为您的数据真的存在问题。为了避免不必要的Token消耗，您可以选择两种计费方式：
- “不处理，视为异常数据”：建议素材平台选择此项。若图片资产是您的核心资产，则选择此项。选择后，若该条数据中，图片这一项有问题，那么该条数据都不处理。
- “继续处理，仅跳过问题图片”：若您允许用户仅上传图片内容，或文字内容更重要，则选择此项。选择后，你得到的数据里，图片字段可能是空的，但其他字段（如 content, comments 等）是完整的。
3.物品展示样式
- 按照以下内容填充您想要展示的字段。这里只是控制台示意图，具体的页面您可以自行配置。
- 点击完成，系统会开始进行数据上传，每千条数据可能需要10分钟左右。
- 完成后，数据集状态会显示**“配置已生效”，右上角会弹出“配置更新完成”，有效数据量为全部**。
步骤三：配置多模态搜索
以下是素材平台场景中最常用的一些体验配置能力，您可以结合业务需求进行配置：
说明
不要追求一成不变的 “模板化” 配置。素材平台的不同细分场景（如通用摄影图库、图标 UI 素材、创意背景素材等）、不同的素材类型（实景照片 / 矢量图标 / 创意背景）、不同的用户群（设计师 / 自媒体 / 企业采购），其最佳搜索策略都可能存在显著差异。
比如通用摄影图库可能更看重 “画面视觉一致性” 和 “高清分辨率”，而图标 UI 素材可能更看重 “格式规范性（如 SVG/EPS）” 和 “关键词精准匹配”，创意背景素材则可能更关注 “风格匹配度” 和 “版权合规性”。
因此，我们强烈推荐您将搜索策略配置视为一个持续迭代的过程，并通过线上搜索行为数据和用户下载转化反馈来科学地评估和选择最优策略。
1.搜索模式配置：精准匹配您的素材检索需求
搜索模式决定了系统如何理解和匹配用户的搜索意图，是搜索效果的基础。根据素材平台的特性（如图片、视频、设计素材等），以下是各模式的配置方案：
场景名称 | 搜索类型 | 模式选择 | 理由 |
|---|---|---|---|
通用摄影 / 实景图库素材平台 | 文字搜索配置 | 自定义模式 | 数据模态匹配权重（文本 0.4 / 图像 0.6）：摄影图更强调画面感。适当调高 “图像” 权重，让模型去理解 “词语背后的画面”，而不是死磕图像描述。 |
图片搜索配置 | 根据图片相似性检索 | 优先匹配画面的整体视觉特征，能精准复现参考图的画面感，满足摄影类素材对视觉一致性的要求。 | |
图标 / UI 素材 / 矢量插画素材平台 | 文字搜索配置 | 自定义模式 | 数据模态匹配权重（文本 0.8 / 图像 0.2）：图标库通常有非常规范的 naming 体系（如 |
图片搜索配置 | 根据物体相似性检索 | 忽略背景颜色，重点关注线条的形状、轮廓结构。如果是图标，请严格匹配几何特征。 | |
创意/背景素材平台 | 文字搜索配置 | 语义检索优先（或自定义模式） | 数据模态匹配权重：文本 0.2 / 图像 0.8：在这个场景下，文字描述是匮乏的（如“赛博朋克”、“极简冷淡”）。必须极度依赖模型对图像视觉特征的理解。 |
图片搜索配置 | 自定义指令 | 自定义指令建议：忽略具体物体，重点关注色彩分布、纹理材质、艺术风格（如油画、3D渲染、水彩）以及画面情绪。 |
2.返回物品数量配置：优化用户浏览体验
合理设置返回结果数量，能够在兼顾系统响应速度（性能）的同时，满足用户深度翻阅的需求。
- 建议冷启动时先设置为 200-400。这是一个在性能响应速度和内容丰富度之间最平衡的“行业标准值”。后续可以观察用户的“翻页深度”（或下滑深度），如果用户经常刷到底部没图了，再逐步增加到 600 或 800，反之则减少。
- 上调数据时，请注意性能耗时。如果设置成 1000 导致搜索接口响应时间超过 500ms（图片站用户对卡顿零容忍），请下调至 400 或 200。流畅度的重要性大于物品返还数量。
3.召回策略配置：构建多维度素材召回体系
召回策略决定了系统如何从海量素材库中快速筛选出相关候选集，是搜索结果的质量保障。
“重点保障召回”的核心逻辑是：不管相关性分数如何，强制把这几类“特权”图片捞出来，放入候选池。以下是几个素材平台常用的重点保障召回配置：
策略名称 | 建议配置条件 | 目的 |
|---|---|---|
节日热点 |
| 在节日（如万圣节）前两周，令 |
高质量优先召回 |
| 防止搜索结果被低质UGC内容淹没，确保首屏视觉冲击力；即便搜索结果为空，也能呈现优质内容。 |
收费优先召回 |
| 确保付费内容不被免费内容挤占位置，提升营收。 |
4.排序策略配置：让优质素材脱颖而出
排序策略决定了召回结果的最终呈现顺序，是对搜索结果的再次优化。
4.1召回结果重排
- 利用字节自研的 Rerank 模型，对部分结果进行重新排序，将更符合用户搜索词的素材展现给用户，能够优化用户的搜索体验，建议开启。
- 建议将重排序数量设为首屏显示物品数量的 1-2倍，通常设置为20，在提升用户首屏素材效果的同时，将加载耗时维持在可接受的范围内。请勿盲目增加重排结果，那会导致加载消耗的时间和Token数量增长。
4.2提权、降权
除了让搜索结果匹配用户搜索词外，您还可以根据素材付费属性或下载数量等特征，动态调整素材在结果中的排序权重，权重分数将持续累加。以下是几个素材平台常用的调权配置：
策略分类 | 配置图 | 生效范围 | 配置 | 效果说明 |
|---|---|---|---|---|
高下载量素材提权 |
| 提权 5%~10% | 确保搜索结果前几名是高质量素材。 | |
优质素材提权 |
| 提权 5%~10% | ||
收费素材提权 |
| 提权 20% | 在搜索结果前几排穿插付费素材，吸引用户开通会员或单张购买。 | |
官方/编辑推荐素材提权 |
| 提权 20% | 由运营团队人工挑选的图，代表平台的最高水准，强力置顶。 | |
特定素材格式提权 |
| 提权 50% | 矢量素材平台适用。当用户搜图标时，可编辑的矢量格式比位图（JPG/PNG）价值高得多。 | |
| ||||
低质素材降权 |
| 降权 20% | 将低质内容沉底。 | |
低下载量素材降权 |
| |||
关键词堆砌嫌疑素材降权 |
| 降权 50% | 反作弊。有些上传者为了蹭流量，给一张图打了50个无关标签。大量降权防止乱七八糟的结果混进来。 |
说明
请注意，如果一条素材因与用户搜索词的相关性较低，可能在召回阶段就被过滤，提权将无法生效。因此，对于新素材、节日素材等需要优先展示的物品，建议同时配置“提权”“重点保障召回”，为这些物品建立专属召回通道，确保提权策略能真正起效。
4.3根据字段排序
这是搜索链路最后一道关卡，决定了算法计算出的相关性分数相同时，如何决定最终排序。您可以设置多个排序规则的优先级。
优先级 | 选择字段 | 排序方式 | 配置图 |
|---|---|---|---|
1 |
| 倒序 | |
2 |
| 倒序 | |
3 |
| 倒序 |
5.搜索引导配置
6.搜索词典配置
当有些用户搜索的词语找不到结果时，可以通过同义词典，把这些搜不到结果的词和现有的词语关联起来。此外，一些需要关联的特殊行业用语（如毛玻璃, 磨砂, 模糊, Glassmorphism）也可以通过该功能进行配置。
在有大模型（语义搜索）帮忙的情况下，Viking AI 搜索的“同义词典”不用把特别基础的行业词汇都包含进去，它主要是用来“弥补不足”和“纠正偏差”的。
我们建议您定期将「搜索结果与预期不符的搜索词」通过同义词典关联到现有词上，以增进用户的搜索体验。
步骤四：上传全量数据与集成搜索 API
1.上传全量数据
- 点击数据集列表，找到需要上传全量数据的数据集
- 点击查看，进入该数据集的详情页面。
- 点击数据导入。
- 物品数据支持本地JsonL文件导入、API导入两种方式。API导入支持批量导入与实时导入，详细步骤请查看：
2.搜索功能上线
当全量数据导入并生效后，即可将配置好的搜索策略接入您的业务系统，让用户体验智能搜索功能。
- 同步配置至 API ：在推荐场景配置页右上角，点击 “更新配置” 按钮，选择需要发布的配置。
- 创建与集成 API Key ：
- 创建一个新的 API Key，并将其与您要上线的搜索策略绑定。
- 选择“搜索”，复制平台提供的 API 调用示例代码 ，交给您的技术团队。
- 技术团队需将搜索 API 接口集成到您的应用前端页面中，从而获取搜索结果并展示给用户。
3.搜索功能集成逻辑
为了将构建好的能力集成到您的 App 、小程序或网页中，Viking AI 提供了标准的 API。以下是该接口的调用概要。
说明
若您是技术人员，请查看Search - 搜索
若您是业务人员，请看以下内容。
为了在图文素材平台中打造极速、安全且高度贴合业务的搜索体验，我们强烈建议您采用**“前端交互 -> 业务后端中转 -> AI 搜索服务”**的三层架构。
3.1完整的数据流转路径
- 前端发起智能检索：用户在 Web/App 端输入搜索词，或上传参考图片进行“以图搜图”。（强烈建议：前端在上传前对图片进行预压缩，确保单次请求的包体大小严格控制在 10MB 的系统限制内）。
- 业务后端封装与鉴权：业务后端接收前端请求后，构造对 AI 搜索 API 的 POST 请求。在此阶段，后端需附加 API Key 进行安全鉴权，并显式注入必要的系统级参数（例如，明确指定所要搜索的素材库
dataset_id，以及当前操作者的user_id）。 - 引擎执行多路召回：AI 搜索服务接收请求，对文本查询词或图片（Base64 编码）进行特征提取，在您的图文素材库中进行毫秒级匹配与检索，并返回包含结果列表的 JSON 数据。
- 后端数据处理与前端渲染：业务后端接收到 AI 引擎的原始响应后，可根据需要对数据进行裁剪或格式化（例如，仅提取前端展示所需的
display_fields，或组装分页信息），再将其返回给前端。前端解析数据后，将其渲染为富媒体交互界面（如瀑布流素材卡片、视频预览列表），并根据spell_correction字段动态提示用户纠错建议。
3.2为什么必须通过“业务后端”进行中转？
虽然技术上允许前端直接向 AI 搜索 API 发起请求，但在真实的生产环境中，通过您的业务后端做一层网关封装是必不可少的，主要基于以下核心考量：
- 🔒 守住资产安全底线： 将 API Key 或 Access Key 硬编码在前端代码中存在极高的泄露风险，容易导致接口被恶意盗刷。通过后端中转是隐藏密钥、保护系统安全的最基础防线。
- 🛡️ 业务规则与权限的统一管控（Filter 机制）： 前端应专注于用户意图的表达，而业务的过滤规则应由后端掌控。例如，后端可以在向 AI 引擎发起请求时，强制附加
filter条件（如：仅检索status为“已发布”的素材，或基于当前用户的 VIP 等级过滤特定版权的图文库）。这种解耦保证了前端代码的纯粹性与系统数据的安全性。 - 👤 精准的用户行为沉淀与上下文注入： 由后端在请求体中统一注入当前登录用户的
user_id。这能为您积累可靠的系统操作日志和搜索行为路径，为未来的个性化内容分发提供数据支撑。 - 🚦 带宽优化与流量防刷： 图片 Base64 编码通常体积较大。业务后端可以对用户的搜图频率进行限流（Rate Limiting），拦截异常的超大体积并发请求，从而保护整体业务系统的可用性。
1.文搜搜索返空
- 检查 用作文搜、用作图搜的字段是否充分
- 检查过滤条件传参是否正确，详见Search - 搜索
2.图搜搜索返空
排查项 | 排查逻辑 与 建议 |
|---|---|
确认图搜功能已启用 | 需在配置界面勾选"用于图搜"选项。若未勾选，图片的Embedding不会被存储，仅会将图片理解的文本入库检索。无需重新上报数据，只需在配置界面点击"配置字段"并提交即可。 |
图片索引是否构建成功 | 查看绑定的物品数据集有效数据量是否符合预期，主要看图片索引是否构建成功。对于索引不成功的物品，到物品数据集详情处，查看物品是否有 图片获取失败、图片格式错误等报错信息。一般图片索引失败原因有：
|
3.搜索耗时长
搜索耗时长，很可能是因为输入信息过多导致的。
尤其是要检查下 用于文搜的字段是否有大字段。类似下面这些字段
排查项 | 排查逻辑与建议 |
|---|---|
召回结果重排 | 召回结果重排数量是否太大。建议配置为20个 |
用于文搜的是否有大字段 |
4.文搜-返回相关性差的物品
排查项 | 排查逻辑 与 建议 |
|---|---|
用于文搜的字段 是否合适 |
|
搜索匹配策略 是否合适 |
|
5.图搜-返回相关性差的物品
当前图搜逻辑是把query的图片embedding后，去检索用于图搜的 图片候选池。
可以通过调整搜索指令来调优搜索效果。
6.搜索-过滤没有生效
搜索过滤不生效，一般是因为传参格式不规范，可以按照在搜索时过滤参数规范比对是否正确。
说明
- 了解更多 Viking AI 搜索产品能力，请参见：Viking AI 搜索引擎，企业搜推问一体化智能引擎