You need to enable JavaScript to run this app.
文档中心
向量数据库 Milvus 版

向量数据库 Milvus 版

复制全文
下载 pdf
数据迁移
多模态数据向量化
复制全文
下载 pdf
多模态数据向量化
数据迁移工作流中的 Embedding 节点支持配置豆包多模态向量化模型(doubao-embedding-vision-250615),可对文本、图片、视频进行多个数据进行混排多模态向量化,然后写入向量数据库 Milvus 版实例中。本文介绍多模态数据向量化。​
背景信息​
豆包多模态向量化模型 API 支持通过 URL 的方式访问数据,也支持在请求体中传入 Base64 编码的图片或视频数据,但对于请求体大小有一定的限制。详情请参见多模态向量化 API。​
多模态数据存储和读取​
文件存储​
图片、视频文件通常较大,一般存储在 TOS 中。在数据行中仅需记录对应的地址,在运行时再从 TOS 中读取下载使用。​
模型读取​
模型在向量化前需要下载需要向量化的图片或者视频文件,TOS 的预签名机制可直接签发可下载对象的 URL,无需添加其他的鉴权信息即可下载。输入的图片、视频都需要通过预签名机制,模型向量化时可直接下载这些资源。​
示例数据​
示例数据如下。数据中所涉及的图片、视频文件都存储在 TOS 中,字段中只保存文件对象的预签名 URL。​
​
{​
"description": "多模态数据测试",​
"text": "图片和视频分别是什么",​
"image": "https://xxx-project.tos-cn-beijing.volces.com/doc_image/tower.png?${pre_signature}",​
"video": "https://xxx-project.tos-cn-beijing.volces.com/doc_video/ark_vlm_video_input.mp4?${pre_signature}"​
}​
​
多模态数据向量化​
数据迁移工作流中的 Embedding 节点配置方式如下,支持对单个文本、图片、视频进行向量化,也支持对多个文本、图片、视频进行同模态或多模态向量化。具体操作,请参见创建工作流。​
配置规范​
多模态数据需指定 field,modality(默认值为 text)和 format(默认值为 text)。​
说明​
Embedding 节点支持自动模态检测。当未显式指定 modality 且 format 不为 binary 时,系统会根据字段值的文件后缀自动检测模态类型。​
​
配置键​
说明​
取值范围​
field ​
数据来源。​
上游节点输出字段。​
modality​
模态类型。​
  • 图片:jpeg (jpg,jpeg),png(png,apng),gif,webp,bmp(bmp,dib),tiff(tiff,tif),ico,icns,sgi,jpeg2000(j2c,j2k,jp2,jpc,jpf,jpx)。​
  • 视频:mp4,avi,mov。​
  • 文本:text(默认)。​
format​
数据格式。​
  • text:文本格式(默认)。​
  • url:URL 格式。​
  • binary:二进制数据格式。​
​
配置示例​
​
{​
# 指定 Embedding 模型 API 地址​
"api_path": "https://ark.cn-beijing.volces.com/api/v3/embeddings/multimodal",​
"vectorization_fields": {​
# 单个文本字段 Embedding​
"text_vector": "text",​
# 单个图片字段 Embedding(显示指定模态类型)​
"image_vector": {​
"field": "image",​
"modality": "png",​
"format": "url"​
},​
# 单个视频字段 Embedding​
"video_vector": {​
"field": "video",​
"modality": "mp4",​
"format": "url"​
},​
# 多个同模态字段 Embedding​
"multi_field_text_vector": [​
"text",​
"description"​
],​
# 多个多模态字段 Embedding​
"multi_field_mix_vector": [​
"text",​
{​
"field": "image",​
"modality": "png",​
"format": "url"​
},​
{​
"field": "video",​
"modality": "mp4",​
"format": "url"​
}​
]​
}​
}​
​
最近更新时间:2026.04.09 14:06:20
这个页面对您有帮助吗?
有用
有用
无用
无用