云搜索服务
云搜索服务
文档指南
请输入
- 文档首页
云搜索服务最佳实践应用构建云搜索混合检索 + Rerank 操作示例（使用豆包 embedding 模型）
复制全文
下载 pdf云搜索混合检索 + Rerank 操作示例（使用豆包 embedding 模型）
文档反馈
问问助手本文介绍如何通过火山引擎云搜索服务使用混合检索、Rerank 等功能。
原理介绍
在搜索应用中，传统的 Keyword Search 一直是主要的搜索方法，它适合精确匹配查询的场景，能够提供低延迟和良好的结果可解释性，但是 Keyword Search 并没有考虑上下文信息，可能产生不相关的结果。最近几年，基于向量检索技术的搜索增强技术 Semantic Search 越来越流行，通过使用机器学习模型将数据对象（文本、图像、音视频等）转化成向量，向量距离代表对象间的相似性，如果使用的模型和问题领域相关性高，则往往能更好地理解上下文和搜索意图，进而提高搜索结果的相关性，反之，如果模型和问题领域相关性不高，则效果会大打折扣。
Keyword Search 和 Semantic Search 都存在明显的优劣势，那么是否可以通过组合它们的优点来整体提高搜索的相关性？答案是，简单的算术组合并不能收到预期的效果，主要原因有两个：
- 首先是不同类型查询的评分并不在同一个可比较的维度，因此不能直接进行简单的算术计算。
- 其次是在分布式检索系统中，评分通常在分片级别，需要对所有分片的评分进行全局归一化处理。
综上，我们需要寻找一种理想的查询类型来解决这些问题，它能单独执行每个查询子句，同时收集分片级别的查询结果，最后对所有查询的评分进行归一化合并后返回最终的结果，这就是混合搜索（Hybrid Search）方案。
通常一次混合搜索查询可以分为以下几步：
- 查询阶段：使用混合查询子句进行 Keyword Search 和 Semantic Search。
- 评分归一化和合并阶段，该阶段在查询阶段之后。
- 由于每种查询类型都会提供不同范围的评分，该阶段对每一个查询子句的评分结果执行归一化操作，支持的归一化方法有 min_max、l2、rrf。
- 对归一化后的评分进行组合，组合方法有 arithmetic_mean、geometric_mean、harmonic_mean。
- 根据组合后的评分对文档重新排序并返回给用户。
实现思路
从前面原理介绍可以看到要实现一个混合检索应用，至少需要用到以下基础技术设施：
- 全文检索引擎
- 向量检索引擎
- 用于向量 Embedding 的机器学习模型
- 将文本、音频、视频等数据转化成向量的数据管道
- 融合排序
火山引擎云搜索构建在开源的 Elasticsearch 和 OpenSearch 项目上，从上线起就支持了完善成熟的文本检索和向量检索能力，同时针对混合搜索场景也进行了一系列的功能迭代和演进，提供了开箱即用的混合搜索解决方案。本文将以图像搜索应用为例，介绍如何借助火山引擎云搜索服务的解决方案快速开发一个混合搜索应用。
其端到端流程概括如下：
- 配置创建相关对象。
- Ingestion Pipeline：支持自动调用模型把图片转换向量并存到索引中。
- Search Pipeline：支持将文本查询语句自动转换成向量以便进行相似度计算。
- k-NN 索引：存放向量的索引。
- 将数据集数据写入 OpenSearch 实例，OpenSearch 会自动调用机器学习模型将文本转为 Embedding 向量。
- Client 发起混合搜索查询时，OpenSearch 调用机器学习模型将传入的查询转为 Embedding 向量。
- OpenSearch 执行混合搜索请求处理，组合 Keyword Seach 和 Semantic Seach 的评分，返回搜索结果。
前提条件
- 已创建 OpenSearch 2.9.0 或更新版本实例，具体操作，请参见创建实例。
- 已在创建的实例中安装 opensearch-remote-inference、opensearch-intervention、opensearch-enhancements 插件。具体操作，请参见管理系统内置插件。
- 已创建两个推理服务，分别选择 Embedding 模型和 Rerank 模型。
说明
本示例中，Embedding 模型选用 Doubao-embedding-vision，Rerank 模型选用 Qwen/Qwen3-VL-Reranker-2B。请根据实际需求选择合适模型。
在 ContextSearch 中使用 Embedding 模型和 Rerank 模型
- 在 ContextSearch 服务中查看 Embedding 模型和 Rerank 模型的调用示例，并获取 model 字段的值。具体操作，请参见查看推理服务。
说明
本示例中，Embedding 模型选用 Doubao-embedding-vision，Rerank 模型选用 Qwen/Qwen3-VL-Reranker-2B。请根据实际需求选择合适模型。
- 此外，您还可以在推理服务的监控页签查看单次请求 token 输入数量。
- 创建并查看用于调用模型的 API Key。具体操作，请参见创建 API Key。
登录 OpenSearch Dashboards
创建 OpenSearch 索引
在 OpenSearch Dashboards 左侧的导航栏中选择 Dev Tools。
创建名为 text_index 的索引，内容如下。
创建 OpenSearch Embedding Pipelin
创建 OpenSearch Insert Pipeline
在 Dev Tools 中创建名为 post_embedding 的 Pipeline，用于向 OpenSearch 中写入数据。Pipeline 内容如下，注意根据注释替换字段值。
创建 OpenSearch Search Pipeline
在 Dev Tools 中创建名为 search_pipeline 的 Pipeline，用于在 OpenSearch 中检索数据。Pipeline 内容如下，注意根据注释替换字段值。
写入测试数据
在 Dev Tools 中写入 100 条测试数据。
从 OpenSearch 索引中查询数据。查询到数据表示写入成功。
数据检索测试
向量 + Keyword 混合检索
测试向量 + Keyword 混合检索效果。示例如下。
Rerank 测试
导出 API Key 到本地环境变量。
Rerank 接口调用
Rerank 接口调用支持通过命令行调用和通过 OpenSearch Pipeline 调用。
- 在 Dev Tools 中创建名为 search_pipeline_with_rerank 的 Rerank Pipeline，包含 Embedding 和 Rerank 模型，用于在 OpenSearch 中查询数据。Pipeline 内容如下，注意根据注释替换字段值。
-
- 使用 OpenSearch Rerank Pipeline 进行查询。
-
-
最近更新时间：2026.10.19 11:21:46
这个页面对您有帮助吗？
有用
有用
无用
无用