You need to enable JavaScript to run this app.
文档中心
大数据文件存储

大数据文件存储

复制全文
下载 pdf
快速入门
访问数据湖实例
复制全文
下载 pdf
访问数据湖实例
数据湖场景(即 ACC 模式)的文件存储实例支持原生 TOS,主要用于数据湖分析场景和机器学习场景。本文为您介绍如何创建、挂载 ACC 模式的文件存储实例,并使用 FUSE 协议访问文件存储实例。​
前提条件​
  • 已完成火山引擎企业实名认证,并授权大数据文件存储访问其他服务的权限。更多信息,请参见跨服务授权。​
  • 已购买 Debian 操作系统的 ECS 实例。如何购买,请参见购买云服务器。​
说明​
购买的 ECS 实例所属的网络环境必须和需要挂载的文件存储系统保持一致,否则无法访问 CloudFS。​
步骤一:创建文件存储​
  1. 在顶部菜单栏选择目标地域。​
  1. 在左侧导航栏选择文件存储列表,然后单击创建文件存储。​
  1. 在创建文件存储页面,配置数据湖场景实例的相关信息。​
  • ​
    配置​
    说明​
    计费类型​
    目前仅支持按量计费。​
    如需了解产品计费的详细信息,请参见计费说明。​
    文件存储名称​
    自定义文件存储实例的名称。​
    • 全局唯一且不能为空字符串。​
    • 支持英文字母、数字、中划线(-),只能以字母开头。​
    • 长度为 2~63 个字符。​
    可用区​
    选择文件存储实例所处的可用区。​
    应用场景​
    此处选择数据湖场景,以创建一个支持原生 TOS ,用于数据湖分析场景和机器学习场景的文件存储实例。​
    如需了解文件存储场景实例如何创建和访问,请参见访问文件存储实例。​
    项目​
    选择当前创建的文件存储实例所属的 IAM 项目。​
    如果未指定 IAM 项目,文件存储会将新实例添加到名为 default 的 IAM 项目中。​
    如果您尚未创建任何 IAM 项目或没有合适的 IAM 项目以供选择,可以单击新建项目,创建一个新的 IAM 项目。​
    标签​
    单击添加一行,输入标签键和标签值,为实例添加标签。​
    标签用于云资源的标识与分类,您可以将文件存储实例通过标签进行归类,便于实例的搜索和资源聚合。​
    描述​
    文件存储实例的简单描述。​
    • 只能包含中文、字母、数字、空格、“.”、“_”、“-”、“=”、“,”、“,”、“。”,以中文、字母或数字开头。​
    • 长度为 0~120 个字符。​
    对象存储来源​
    支持选择当前账号下的存储桶,也支持选择其他账号下的存储桶,请根据实际情况选择。​
    ​
    本账号的对象存储​
    • 对象存储桶名称:从下拉列表中选择目标存储桶。​
    • 对象存储前缀:数据文件在 TOS 的存储路径。​
    • 支持将 TOS 的子路径挂载到文件存储实例。非必填项,可为空,为空时表示挂载全部路径;填写时不得以左斜线(/)开头,需要以左斜线(/)结尾,如prefix/。​
    • 示例: TOS 路径为tos://tos-doctest/prefix,配置的文件存储前缀可以为prefix/。此时访问 CFS 实例的根目录就等同于访问 TOS 的 prefix/;访问 CFS 实例的/test,就等于 TOS 的prefix/test。​
    ​
    其他账号的对象存储​
    • 对象存储桶名称:从下拉列表中选择目标存储桶。​
    • 对象存储前缀:数据文件在 TOS 的存储路径。​
    • 支持将 TOS 的子路径挂载到文件存储实例。非必填项,可为空,为空时表示挂载全部路径;填写时不得以左斜线(/)开头,需要以左斜线(/)结尾,如prefix/。​
    • 示例: TOS 路径为tos://tos-doctest/prefix,配置的文件存储前缀可以为prefix/。此时访问 CFS 实例的根目录就等同于访问 TOS 的 prefix/;访问 CFS 实例的/test,就等于 TOS 的prefix/test。​
    • 访问密钥:从其他账号下选择 TOS 时,需要填写与该账号匹配的 Access Key ID 和 Secret Access Key。只有设置与账号 ID 匹配的访问秘钥后,才可以通过鉴权认证,添加 TOS。​
    • 如何获取账号的访问密钥,请参见访问密钥。​
    类型​
    选择缓存加速基线。​
    当前仅支持选择性能1型,性能2型的加速基线已售罄。​
    选择性能1型的基线,表示每 TiB 容量可用带宽为 200MB/s。​
    容量​
    请按照业务缓存需求设置文件存储实例的缓存容量,起步 10 TiB,步长 5 TiB。​
    如果您需要的缓存容量空间超过 200 TiB,请提交工单申请。​
    私有网络​
    从下拉列表中选择 VPC。​
    如果没有可用 VPC,可以单击创建私有网络,然后创建私有网络。详细操作,请参见创建私有网络。​
    子网​
    在下拉列表中选择子网。​
    如果没有可用的子网,可以单击创建子网,然后创建子网。详细操作,请参见创建子网。​
    如果选中勾选后支持该私有网络下所有子网访问,则表示在关联 VPC 内所有子网都可以访问您创建的实例。​
    安全组​
    从下拉列表中选择安全组。​
    如果没有可用的安全组,可以单击创建安全组,然后创建安全组。详细操作,请参见创建安全组。​
    ​
  1. 文件存储实例配置填写完成后,单击页面右下角的确认订单。​
  1. 在订单详情页确认订单信息,确认无误后阅读并勾选大数据文件存储相关协议,然后单击立即购买。​
  1. 创建成功后,单击返回文件存储列表,查看文件存储基本信息。​
  • 刚创建的文件存储实例显示为创建中,创建完成后显示为运行中。您可以查看文件存储状态,缓存加速配置、应用场景、创建时间等信息。​
步骤二:获取挂载点信息​
挂载点是文件存储实例在网络环境中的连接点,通过挂载点连接实例并实现数据传输。​
  1. 在文件存储列表页面,单击目标文件存储实例的名称,进入详情页面。​
  1. 在详情页签下,找到挂载点信息并单击复制按钮,即可获取完整的挂载地址。​
步骤三:挂载文件存储实例​
  1. 连接 ECS 实例。​
  1. 安装 libfuse3。​
说明​
veLinux/Debian(>=9)/Ubuntu(>=20.0) 可以通过 apt 直接安装,其他系统可以通过 libfuse 源码编译。​
  • ​
    sudo apt-get update​
    sudo apt-get install fuse3​
    ​
  1. 获取 FUSE 二进制。​
  1. 下载 FUSE 压缩包。​
  • ​
    https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.6.65.tar.gz​
    ​
  1. 创建文件夹,然后将压缩包解压到该文件夹。​
  • ​
    # 解压 FUSE 压缩包。​
    tar -zxvf cloudfs-client-1.5.6.65.tar.gz​
    ​
  1. 进入文件夹,查看文件。​
  • ​
    # 进入文件夹。​
    cd cloudfs-client​
    ​
  • 主要文件结构如下:​
  • ​
    cloudfs-client/​
    ├── bin​
    │ ├── cfs​
    │ ├── cfs-fuse​
    │ ├── cloudfs-fuse​
    │ └── csi​
    ├── conf​
    │ └── cloudfs-fuse.conf.template​
    ├── include​
    │ └── cloudfs.h​
    ├── lib​
    │ └── libcloudfs.so​
    └── versions​
    └── CLOUDFSSDK_VERSION​
    ​
  1. 配置 cloudfs-fuse.conf 配置文件。​
  • ​
    # CloudFS FUSE Configurations​
    ​
    # CloudFS endpoint, e.g. cfs://testfs.cfs-cn-beijing.ivolces.com​
    cfs.filesystem.uri=​
    # ACC​
    cfs.filesystem.fs-mode=​
    # Client network vpc&subnet info, e.g. 172.16.0.0/20​
    cfs.client.network.segment=​
    ​
    # IAM Auth info​
    cfs.access.key=​
    cfs.secret.key=​
    ​
    # Required settings for ACC mode​
    cfs.filesystem.ns-id=​
    cfs.filesystem.ufs-path=​
    ​
  • ​
    参数​
    说明​
    cfs.filesystem.uri​
    文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。​
    如何获取,请参见查看实例详情。​
    cfs.filesystem.fs-mode​
    文件存储实例的类型,此处为数据湖模式,对应的类型为 ACC。​
    cfs.client.network.segment​
    创建文件存储实例时所使用的子网的网段。​
    您可在文件存储实例详情页面,单击子网名称,查看子网对应的网段。如何获取,请参见查看实例详情。​
    cfs.access.key​
    创建文件存储实例时的账号的 Access Key ID,获取方式请参见密钥管理。​
    cfs.secret.key​
    创建文件存储实例时的账号的 Secret Access Key,获取方式请参见密钥管理。​
    cfs.filesystem.ns-id​
    文件存储实例挂载的存储桶的 Namespace ID(即 TosNamespace ID)。如何获取,请参见查看实例详情。​
    cfs.filesystem.ufs-path​
    文件存储实例挂载的存储桶的完整存储地址,格式为tos://<存储桶名称>/<文件存储前缀>。​
    示例:tos://doctest/prefix/。​
    ​
  1. 创建一个挂载目录,然后挂载文件存储实例。​
  • ​
    # 创建挂载目录。​
    mkdir /mnt/cfs​
    ​
    # 挂载文件存储实例​
    ./bin/cloudfs-fuse mount /mnt/cfs --config-file conf/cloudfs-fuse.conf​
    ​
  • 文件实例挂载成功后,返回Mount CloudFS Success!提示信息。​
步骤四:访问文件存储实例​
  1. 在挂载目录下创建文件夹,查看存储桶中是否生成对应的文件夹。​
  • ​
    mkdir dir​
    ​
  • ​Image​​
  1. 往文件夹中写入数据,并查看存储桶中是否生成对应的文件。​
  • ​
    echo 'hello world' > /mnt/cfs/dir/file​
    ​
  • ​Image​​
  1. 查看文件中的内容。​
  • ​
    cat /mnt/cfs/dir/file​
    ​
  • 返回内容如下:​
  • ​
    hello world​
    ​
卸载目录​
​
umount /mnt/cfs​
​
注意​
如果挂载点正在被访问,umount 可能会返回 “target is busy.” 错误信息。​
​
最近更新时间:2025.09.22 19:08:47
这个页面对您有帮助吗?
有用
有用
无用
无用