文档中心

文件存储 vePFS

数据流动

数据流动概述

通过创建数据流动，可以实现 vePFS 文件系统和 TOS 存储桶之间的数据同步。本文介绍数据流动的基本信息。

背景信息

为相同地域的 vePFS 文件系统和 TOS 存储桶之间配置数据流动后，vePFS 文件系统和 TOS 存储桶两者之间即可进行数据流动，vePFS 文件系统中的数据可导出至 TOS 存储桶（数据沉降），TOS 存储桶中的数据也可导入至 vePFS 文件系统（数据预热），从而保持两者之间数据同步。

规格说明

类别	规格	指标	备注
兼容性	支持使用的文件系统规格	所有规格的文件系统均支持使用	-
配置带宽	支持配置的带宽范围	[500MB/s，min(20GB/s，该实例当前最大写带宽）]	如一个 6TiB 的 100MB/s/TiB 实例最大支持配置 500MB/s 的数据流动带宽
配置带宽		带宽配置步长	500MB/s	-
预热性能	预热带宽上限	配置带宽	大文件（如4MiB）情况下可以达到上限
		单个预热任务 QPS 上限	min（配置带宽每 GB/s × 2000, 20000）	小文件（如 4KiB）情况下可以达到上限文件列表方式预热 QPS 上限 20000 路径配置方式预热 QPS 上限 12000
		多个预热任务并发 QPS 上限	min（配置带宽每 GB/s × 2000, 80000）	小文件（如 4KiB）情况下可以达到上限
沉降性能	沉降带宽上限	配置带宽	大文件（如 4MiB）情况下可以达到上限
		单个沉降任务 QPS 上限	min（配置带宽每 GB/s × 2000, 20000）	小文件（如 4KiB）情况下可以达到上限文件列表方式沉降 QPS 上限 20000 路径配置方式沉降 QPS 上限 6000
		多个沉降任务并发 QPS 上限	min（配置带宽每 GB/s × 2000, 80000）	小文件（如 4KiB）情况下可以达到上限
对账性能	单个对账任务 QPS 上限	min（配置带宽每 GB/s ×2000, 10000）	-
对账性能		多个对账任务并发 QPS 上限	-	min（配置带宽每 GB/s × 2000, 80000）
任务配置限制	同时运行中的手动任务上限	10	-
		单个目录支持配置的流动任务	1 个	-
		单个任务可操作的最大文件/对象数量	100 亿
		任务对应文件系统路径深度限制	无限制
		任务对应文件系统路径总长度上限	1024 个字符
		任务对应文件系统中的目录名称长度上限	255 个字符
		任务对应文件系统中的文件名称长度上限	213 个字符
		任务指定文件列表中的文件数量	TOS 中的文件列表：10 亿控制台上传文件列表：10 万
		任务对应目录是否支持软链接	支持文件系统软链接导出	软链接可选忽略或导出为新文件

使用限制

限制项	限制说明
流动配置	支持对 vePFS 文件系统中的 Fileset (子目录）或目录手动配置数据流动任务。当前仅支持为同地域的 vePFS 文件系统和 TOS 存储桶手动配置数据流动任务。任务中配置的 Fileset（子目录）或目录、桶前缀不能与其他任务（状态为创建中、运行中或取消中）中的配置存在嵌套。
文件系统	目录、文件名中的特殊字符需要谨慎使用，支持大小写字母、数字、感叹号（！）、中划线（-）、下划线（_）、半角句号（.）、星号（*）和半角圆括号（()）。符合以下任一条件的名称即被判定为非法名称，不执行实际的导入导出操作：名称中含有 ./。名称含有 ../。名称含有连续多个 /。名称以单个 / 结尾。文件夹名称过 255 个字符文件名超过 213 个字符名称只有 .，例如 a/b/c/...。不支持超长路径，路径长度范围为 1 ~ 1024 个字符。
数据流动	仅支持对象存储 TOS 的扁平桶（FNS），暂不支持分层桶（HNS）。仅支持预热对象存储 TOS 中的标准文件或者低频文件。仅支持将文件存储中的数据沉降为对象存储 TOS 中的标准文件。不支持沉降目录至 TOS 存储桶。不支持沉降文件属性至 TOS 存储桶。在稀疏数据沉降时，0 值会在填充后再沉降至 TOS 存储桶。不支持 TOS 中的软链接预热到文件系统。不支持将文件系统中的 socket、FIFO、块设备沉降到 TOS。不支持大于 48.8TiB 的文件沉降至 TOS。（TOS 分片上传最大支持上传 48.8TiB 文件）支持的对象存储 TOS 事件通知类型如下。更多信息，请参见事件通知概述。 tos:ObjectCreated:Put tos:ObjectCreated:Post tos:ObjectCreated:Origin tos:ObjectCreated:Fetch tos:ObjectCreated:Copy tos:ObjectCreated:CompleteUpload tos:ObjectReplication:ObjectCreated tos:ObjectReplication:ObjectModified tos:ObjectRemoved:Delete tos:ObjectRemoved:DeleteMarkerCreated tos:LifecycleExpiration:Delete tos:LifecycleExpiration:DeleteMarkerCreated

注意事项

数据流动需要开启 vePFS 服务对 TOS 服务的访问授权，删除授权后数据流动将无法工作。

若调整数据流动带宽为 0，即关闭数据流动带宽，则所有正在运行中的数据流动策略和任务均会被停止，策略和任务不会被删除。在重新配置带宽并启用策略后，将重新执行数据流动任务，原数据会被覆盖。

在创建任务时，请确认手动输入目录路径的准确性，若目录不存在则会直接创建该目录。

数据流动依赖文件 xattr 功能以及 TOS 自定义元数据能力，请慎重清理文件 inode 相关 xattr 以及 TOS Header，否则会导致数据流动行为未定义。

数据流动任务类型

按数据流动任务对数据的操作，可分为预热任务、沉降任务、删除任务和对账任务。

任务类型	说明
预热	导入 TOS 存储桶中指定前缀下的数据至 vePFS 文件系统 Fileset（子目录）或目录。
沉降	导出 vePFS 文件系统指定 Fileset（子目录）或目录下的数据至 TOS 存储桶中指定前缀。
删除	删除 vePFS 文件系统内或与对象存储关联的文件。说明删除型任务目前处于邀测状态，如需创建此类任务，请提交工单或联系客户经理。
对账	对账任务只针对vePFS与对象存储侧设定目录内的文件进行对账，不执行任何文件的导入导出动作。

按数据流动任务的发起者，可分为手动任务和系统任务。

任务类型	说明
手动任务	通过控制台或 OpenAPI 创建的任务。
系统任务（即将支持）	通过数据流动策略生成的任务。在数据流动策略中配置数据更新自动预热或数据更新自动沉降后，当 TOS 端或 vePFS 文件系统端数据发生更新时，vePFS 自动发起导入或导出任务。

计费说明

在配置数据流动带宽后，会根据配置带宽进行收费。计费项的价格详情，请参见 vePFS 价格详情。

数据流入到对象存储后，TOS 侧会对写入的数据产生存储容量费用。具体计费说明，请参见存储容量费用。

开启日志分析功能后，日志服务将根据实际写入数据量等进行收费。具体计费说明，请参见计费概述。

使用流程

创建 vePFS 文件系统

创建 Fileset

配置数据流动带宽

创建手动任务

管理手动任务

最近更新时间：2026.03.26 12:00:23

这个页面对您有帮助吗？

有用

无用