文档中心

大数据文件存储

最佳实践

元数据一致性最佳实践

CloudFS 数据湖模式的工作原理是利用高速存储介质对 TOS 提供读写加速能力，在元数据服务中会挂载 TOS Bucket ，将 CloudFS 与 TOS 的元数据映射起来，提供统一的元数据视图和命名空间。

元数据一致性

CloudFS 提供统一元数据视图，从 CloudFS 可以读取到最新的 TOS 数据，而非老版本的数据，那么认为数据是一致的。什么情况下需要关注元数据一致性呢？这主要和用户数据的写入姿势相关。写加速是 CloudFS 的一个核心特性，目前主要使用场景是利用写加速，数据直接写入 CloudFS，然后异步刷写到 TOS 中，这时不需要关注元数据一致性，因为总是能读到最新数据，这也是最推荐的使用方法。某些情况下，需要绕过 CloudFS 直接写入 TOS 且需要使用读加速能力，对于这些文件或目录，无法读到最新数据，这时需要关注元数据一致性。

解决方案

CloudFS 经过大量的实践，根据使用场景针对元数据一致性提供了不同的解决方案。

元数据加载

当存在绕过 CloudFS 写入 TOS 的情况，可以通过 CLI 将 TOS 元数据主动加载到 CloudFS 中以获取最新的数据。需注意 CloudFS 消费 TOS 事件，只能消费到开启同步功能时间点后的增量事件，所以如果 TOS Bucket 在挂载进 CloudFS 前已经存在数据，需要主动将存量元数据加载到 CloudFS 中。详细参见文档缓存加速 CLI 命令。

基于时间戳自动刷新元数据

CloudFS 也支持基于时间戳的自动刷新元数据能力，默认是关闭的，通过一个客户端配置（ cfs.filesystem.sync-interval 元数据同步间隔）打开元数据自动刷新功能。有几种不同的配置方式：

配置为 -1（默认），对于一个路径的元数据访问请求，仅仅在路径不存在的情况下，会触发元数据同步，将元数据加载到 CloudFS 中（如图对应流程 1），后续的访问，就不会再触发新的同步了（如图对应流程 4）。

配置为大于 0，如 30 则代表在元数据访问时，会对比路径或父路径的最近一次加载时间，和本次访问的时间间隔是否在 30 秒内，如果满足条件则认为元数据依旧生效未过期无需刷新，否则需要重新同步元数据（如图对应流程 3 和 5）。

注意

元数据同步间隔配置越小，就会越频繁触发路径元数据同步，而该操作有时会是一个较重的操作，例如对于宽目录的 List 或 Rename 请求，若触发同步会增加元数据请求耗时（耗时目录大小相关），同时可能会影响其他对该目录下的元数据访问请求，导致耗时增加。元数据同步会增加很多元数据比对及同步开销，如需使用，则需要忍受元数据同步带来的请求时延增加的开销，详细请联系火山引擎技术支持工程师了解。

最近更新时间：2025.09.29 16:19:59

这个页面对您有帮助吗？

有用

无用