TOS Vectors 是对象存储(TOS)为 AI 原生时代设计的存储、查询和管理向量数据的新存储服务,让海量非结构化数据拥有原生的语义理解与相似度搜索能力,将传统对象存储从“数据保存”升级为“理解数据”。TOS Vectors 能够以极低的存储成本存储大规模向量,并利用对象存储的高可靠性和弹性扩展特性,为智能搜索、RAG(检索增强生成)、AI Agent 等应用提供向量数据基础设施。
TOS Vectors 由以下协同工作的关键组件组成:
- 向量桶 Vector Bucket:一种新的桶类型,用于存储和查询向量。
- 向量索引 Vector Index:在向量桶中,向量按向量索引的方式组织,您可以对向量索引中的向量数据进行相似性查询。
- 向量 Vectors:向量桶中存储的基本元素,一组浮点类型数值,用来表示文本、图像或音频之间的语义关系。查询时,可以基于语义意义进行相似性搜索。向量同时可以包含相关元数据,以便基于条件(例如时间戳、类型等)进行过滤查询。
- 新架构:TOS Vectors 基于 Serverless 架构设计,解决了传统存算一体架构在面对海量、低频 AI 数据时的成本高、扩展性差等痛点。
- 极致成本优化:采用极简透明的计费模式,仅按数据上传量、存储容量和检索扫描数据量计费,避免了传统数据库或独立检索系统的高额计算运维成本,可将存储向量的总成本降低 90% 以上。
- 无限弹性与大规模:基于面向大规模向量数据的分布式架构,支持海量向量数据的存储与管理 。其 Serverless 弹性扩缩容能力支持系统自动根据负载动态调整,保证高可用和高性能。
- 原生语义检索:支持对索引表中的向量数据进行查询,并获取基于相似度的语义检索结果。支持基于标量元数据的过滤查询,实现检索结果的精准筛选。支持定义非过滤元数据,作为检索结果的描述信息一同返回。
- 分层存储:可作为低成本、长周期的“向量冷存服务”,与高性能向量数据库(如 VikingDB、火山云搜索服务等)协同工作,实现冷热数据的分层存储与按需调度,平衡速度、成本与记忆深度。
- 易使用:提供完整的 API、SDK,满足开发者从自动化到可视化的多场景操作需求。通过 TOS 控制台可完成管控操作,包括检索查询、向量数据写入、批量插入等常见功能。
随着 AI 业务发展,向量数据爆炸式增长,存储和检索成本压力剧增。对于知识问答、智能客服、医疗影像检索等对检索延迟容忍度较高的场景,使用 TOS 向量桶作为 RAG 应用的向量存储底座 ,能以极低的成本满足业务需求。
不同的 AI Agent 对检索性能要求各异。可以将全量向量数据集中存储在成本极低的 TOS 向量桶中,作为长期记忆/低频记忆;对于需要高性能、低延迟的业务场景,再将热点数据同步至高性能向量数据库中,构建分层检索的 Agent 应用架构。
AI 应用带来海量非结构化内容(原始数据)与相应的向量化结果(向量数据),存储与检索体系容易割裂。通过将原始数据存入通用 TOS 存储桶,向量数据存入 TOS 向量桶,仅需一套 API/SDK 即可同时管理和访问原始文件与向量索引,构建高效、统一的 AI 内容管理平台。
- 支持向量检索召回(余弦、欧拉),支持结合元数据进行过滤。
提供独立的公网和内网访问域名,与通用 TOS Bucket 隔离。
支持通过 HTTPS 协议进行加密传输,保障数据在传输过程中的安全。
支持基于资源的桶策略权限管理机制,可将权限控制精确到向量桶、单个或多个向量索引级别。
TOS Vectors 的工作原理如下图所示。
该功能目前处于免费邀测中,仅开放华北2(北京)地域,请联系客户经理进行试用申请。