You need to enable JavaScript to run this app.
文档中心
大数据文件存储

大数据文件存储

复制全文
下载 pdf
附录
缓存 CLI 命令
复制全文
下载 pdf
缓存 CLI 命令
对于数据湖模式的实例,支持使用缓存 CLI 命令。本文介绍在缓存场景常用的 CLI 命令的使用方式。​
部署CLI​
机器学习平台【开发机】和【自定义训练】已经集成 CLI,无需部署,可直接使用。​
  1. 执行以下命令,下载 1.5.6.65 版本的 CloudfsSDK 包。​
  • ​
    https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.6.65.tar.gz​
    ​
  1. 执行以下命令,解压 CloudfsSDK 包。​
  • ​
    tar -zxvf cloudfs-client-1.5.6.65.tar.gz​
    ​
  1. 配置环境变量。​
  • ​
    export LD_LIBRARY_PATH=${CLOUDFSSDK_HOME}/lib/​
    ​
CLI配置文件​
机器学习平台【开发机】和【自定义训练】已经集成CLI,无需配置,可直接使用。​
  • 任意路径创建并配置 cloudfs.conf 配置文件​
  • ​
    vim ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf​
    ​
  • 编辑配置文件 cloudfs-fuse.conf​
  • ​
    # CloudFS Client Configurations​
    ​
    # CloudFS endpoint, e.g. cfs://xxx.cfs-cn-beijing.ivolces.com​
    cfs.filesystem.uri=​
    cfs.filesystem.fs-mode=ACC​
    ​
    # IAM Auth info​
    cfs.access.key=​
    cfs.secret.key=​
    ​
    # Required settings for ACC mode​
    cfs.filesystem.ns-id=​
    cfs.filesystem.ufs-path=​
    ​
  • ​
    • 参数​
    说明​
    cfs.filesystem.uri​
    文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。​
    如何获取,请参见查看实例详情。​
    cfs.access.key​
    创建文件存储实例时的账号的 Access Key ID,获取方式请参见密钥管理。​
    cfs.secret.key​
    创建文件存储实例时的账号的 Secret Access Key,获取方式请参见密钥管理。​
    cfs.filesystem.ns-id​
    文件存储实例挂载的存储桶的 Namespace ID(即 TosNamespace ID)。如何获取,请参见查看实例详情。​
    cfs.filesystem.ufs-path​
    文件存储实例挂载的存储桶的完整存储地址,格式为tos://<存储桶名称>/<文件存储前缀>。​
    示例:tos://bucket/prefix/。​
    ​
执行示例​
执行以下命令获取文件列表。​
  • ​
    cfs-cli ls tos://bucket/object​
    ​
  • 自行部署安装方式​
  • ​
    ${CLOUDFSSDK_HOME}/bin/cfs ls tos://bucket/object --config-file ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf​
    ​
命令列表​
ls​
CLI 列举文件,使 CloudFS 同步 TOS 上的元数据。列举的path填写需要执行的 TOS 路径。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs ls [OPTION] <path>​
​
DESCRIPTION​
-r, --recursive​
递归列举子目录​
-s, --skipSync​
不做元数据同步​
--persistStatus​
展示文件持久化状态​
--depth​
配合"-R"使用,表明list路径深度。"0"表示仅list当前路径,"1"表示list 当前路径及其子路径,以此类推。默认值为32767.​
--concurrency​
递归列举子目录最大并发量。默认值为100。​
--showPin​
展示文件是否被Pin​
--config-file​
配置文件路径​
​
  • 如果超过 30s 没有打印 list 结果,会打印当前一共 list 的文件数量,以示进度。示例如下:​
  • ​
    1327202 paths have been listed as of Dec 21 10:37:06​
    ​
load​
将底层文件系统的元数据或数据加载至 CloudFS 缓存。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs load [OPTION] <path>​
命令执行后会返回JOB ID,该JOB ID用于之后查询任务状态​
​
DESCRIPTION​
-d, --data​
将数据从底层文件系统加载至CloudFS缓存​
-m, --metadata​
将元数据从底层文件系统加载至CloudFS缓存​
-r, --recursive​
递归加载数据或元数据​
--replica​
加载数据的副本数(默认为1)​
--config-file​
配置文件路径​
​
free​
释放 CloudFS 中的数据或元数据(不会影响底层文件系统的数据)。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs free [OPTION] <path>​
命令执行后会返回JOB ID,该JOB ID用于之后查询任务状态​
​
DESCRIPTION​
-r, --recursive​
递归释放数据或元数据​
--config-file​
配置文件路径​
​
lookup​
查询任务状态。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs lookup <job ID>​
​
DESCRIPTION ​
--config-file​
配置文件路径​
​
cancel​
取消任务。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs cancel <job ID>​
​
DESCRIPTION​
--config-file​
配置文件路径​
​
du​
展示 CloudFS 中路径缓存使用统计值。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs du [OPTION] <path>​
​
DESCRIPTION​
-h, --human-readable ​
-s, --summarize​
对指定路径进行汇总显示​
--config-file​
配置文件路径​
​
setPolicy​
设置路径的读写策略。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs setPolicy [OPTION] <path>​
​
DESCRIPTION​
-u, --uploadIntervalMs​
是否写回底层存储。当前仅支持0 (立即回写)、-1(不回写)​
--config-file​
配置文件路径​
​
getPolicy​
获取所有路径的读写策略。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs getPolicy [OPTION] <path>​
​
DESCRIPTION​
--config-file​
配置文件路径​
​
listPolicy​
获取文件系统实例中所有路径的读写策略。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs listPolicy [OPTION]​
​
DESCRIPTION​
--config-file​
配置文件路径​
​
removePolicy​
移除路径的读写策略。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs removePolicy [OPTION] <path>​
​
DESCRIPTION​
-r, --replicaPolicy​
删除副本策略​
-u, --uploadPolicy​
删除回写策略​
--config-file​
配置文件路径​
​
pin​
将文件数据 pin 在 CloudFS 缓存中,防止数据被淘汰。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs pin [OPTION] <path>​
​
DESCRIPTION​
--recursive​
是否递归执行。递归模式会将所有子路径标记为被PIN 状态,非递归模式仅标记请求路径自身。两种模式都将对增量路径标记为PIN状态​
--config-file​
配置文件路径​
​
unpin​
解除被 pin 路径,unpin 后缓存中的数据根据算法自动淘汰。​
​
SYNOPSIS​
${CLOUDFSSDK_HOME}/bin/cfs unpin [OPTION] <path>​
​
DESCRIPTION​
--recursive​
是否递归执行​
--config-file​
配置文件路径​
​
​
最近更新时间:2026.06.04 16:14:40
这个页面对您有帮助吗?
有用
有用
无用
无用