文档中心

向量数据库VikingDB

请输入

检索能力

searchWithMultiModal

概述

searchWithMultiModal 用于多模态数据检索。多模态数据检索是指向量数据库支持直接通过图文等多模态数据类型进行检索，且支持模态的组合，如文搜图，图搜图，图搜文+图等。

当前支持文本、图片类型的非结构化数据。
Collection 数据写入/删除后，Index 数据更新时间预计20s，不能立即在 Index 检索到。

前提条件

从控制台选择了从向量化开始的数据库类型，并在创建数据集时配置了向量化字段；或通过 create_collection 接口创建数据集时，通过设置 vectorize 参数配置了 Collection 的向量化功能。
通过 upsert_data 接口写入数据时，已写入 text或image 类型的字段名称和字段值。
通过 create_index 创建索引时，已创建 vector_index 向量索引。

请求参数

请求参数是 SearchWithMultiModalParam，SearchWithMultiModalParam 实例包含的参数如下表所示。

参数	类型	是否必选	默认值	参数说明
text	string	text 和 image 参数至少需选取其中一个	None	检索的输入文本。
image	string	text 和 image 参数至少需选取其中一个	None	检索的输入图片，当前支持2种方式：图片tos链接。`tos://{bucket}/{object_key}`。 base64字符串。`base64://{Base64编码}`。
filter	map	否		过滤条件，详见标量过滤。默认为空，不做过滤。过滤条件包含 must、must_not、range、range_out四类查询算子，包含 and 和 or 两种对查询算子的组合。
limit	int	否	10	检索结果数量，最大5000个。
denseWeight	float	否	0.5	对于混合检索，dense_weight 用于控制稠密向量在检索中的权重。范围为[0.2，1]。仅在检索的索引为混合索引时有效。
outputFields	list	否		过滤字段，指定要返回的标量或向量字段列表。 outputFields 不传时，返回所有的标量字段，不返回向量字段。 outputFields 为空列表时，不返回 fields 字段。 outputFields 格式错误或者过滤字段不是 collection 里的字段时, 接口返回错误。如果索引的距离方式为cosine，向量字段返回的向量是归一化后的向量。
partition	string/int	否	"default"	子索引名称，类型与 partitionBy 的 fieldType 一致，字段值对应 partitionBy 的 fieldValue。 fieldType 为 int64，list 时，partition 输入类型为 int64。 fieldType 为 string，list 时，partition 输入类型为 string，格式要求 "^[a-zA-Z0-9._]+$"。
needInstruction	bool	否	由模型默认值决定，豆包系列模型默认为true，其他模型默认为false	用于多模态检索场景，对 query 做向量化时是否在 query 前增加 instruction。
scale_k	float64	否	1	检索时的 ef 是索引参数 ef 的 scale_k 倍。默认1，取值范围[0.1, 100]，值越大检索结果越精确，但相应地会降低性能。
needReturnVector	bool	否		用于检索返回向量化后的数据。将__VECTOR__字段填充到fields中。

示例

运行示例前，请完成以下准备：
在 Java 项目中引入 VikingDB SDK，并将示例放入可执行的 main 方法后编译运行。
将 <YOUR_HOST>、<YOUR_REGION> 和 <YOUR_SCHEME> 替换为地域和访问域名中与实例一致的服务地址、地域和协议。
将 <YOUR_AK>、<YOUR_SK> 替换为火山引擎控制台“密钥管理”中创建的 Access Key ID 和 Secret Access Key；请勿把真实凭证提交到代码仓库。
将 Collection、Index、Task 等资源占位符替换为控制台中对应资源的名称或接口返回的 ID。若示例包含 TOS 路径，请从 TOS 控制台确认桶名和对象路径，并使用 tos://<YOUR_BUCKET_NAME>/<YOUR_OBJECT_KEY> 或文档要求的路径格式。

请求参数

请在火山引擎控制台的密钥管理页面获取 AK 和 SK，并将示例中的 <YOUR_AK>、<YOUR_SK> 等占位符替换为真实配置。

//获取指定索引，程序初始化时调用即可，无需重复调用
IndexClient indexClient = new IndexClient("<YOUR_COLLECTION_NAME>", "<YOUR_INDEX_NAME>", "api-vikingdb.volces.com", "cn-beijing", "<YOUR_AK>", "<YOUR_SK>", "http");

// 执行多模态搜索，输入文本和图片 
List<DataObject> datas = indexClient.searchWithMultiModal(new SearchWithMultiModalParam() 
    .setText("1")  // 设置文本输入为 "1"
    .setImage("tos://your_bucket/your_object")  // 设置图片输入为存储在指定路径的图片 
    .build()); 

// 输出搜索结果
System.out.println(datas);

返回值

Java 调用执行上面的任务，返回 List 。DataObject 实例包含的属性如下表所示。

属性	说明
id	主键 id。
fields	请求返回中的 fields 字段，是具体的数据，map 类型。
score	表示找到的向量和输入的向量的匹配程度。
text	文本非结构化检索时返回。

最近更新时间：2026.09.08 15:30:57

这个页面对您有帮助吗？

有用

无用

向量数据库VikingDB

请求参数 #

返回值 #

请求参数

返回值