云服务器
云服务器
文档指南
请输入
- 文档首页
云服务器云服务器ECS最佳实践自助建站搭建应用搭建Ceph
复制全文
下载 pdf搭建Ceph
文档反馈
问问助手Ceph是一种开源分布式文件系统，具有高可靠、自动重均衡、灵活扩展等特点，支持对象存储、块存储以及文件存储。本文为您介绍如何搭建Ceph。
Ceph组成
RADOS（Reliable Autonomic Distributed Object Store）是Ceph存储系统的核心，也称Ceph存储集群，具有高可用、自我修复、自我管理等特性，包括Ceph Monitor和Ceph OSD两个核心组件。
- Ceph Monitor ：通过图表方式监控集群运行状态，包括监视器图、OSD 图、归置组（PG）图和 CRUSH 图。
- Ceph OSD ：存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他 OSD 守护进程的心跳向 Ceph Monitors 提供一些监控信息。通常至少需要3个Ceph OSD来实现冗余和高可用性。
前提条件
- 云服务器状态为 运行中 。
实践规划
本最佳实践通过火山引擎平台云服务器、私有网络、公网NAT网关等产品进行 Ceph 部署，本文中相关产品规划如下：
环境部署
在部署Ceph前，您需要先完成火山引擎平台上的一系列环境部署，包括私有网络VPC的创建，云服务器的创建以及公网NAT网关的创建。这些是您开启Ceph安装的必要条件。
创建VPC和Subnet
- 登录云服务器控制台。
- 在左侧导航树中，单击“网络与安全 > 私有网络”。
- 在顶部导航栏选择“华北2（北京）”地域。
- 在私有网络列表页面，单击“创建私有网络”。
- 在创建私有网络页面，进行私有网络和子网相关参数配置，具体配置描述见下表。
- 类别配置项说明基本信息地域华北2（北京）名称ceph-vpc网络段IPv4 CIDR172.16.0.0/12子网可用区可用区A名称ceph-cluster-subnetIPv4 CIDR172.16.3.0/24
- 参数配置完成后，单击“确定”。
创建云服务器
- 登录云服务器控制台。
- 在顶部导航栏选择地域为“华北2（北京）”，并单击“创建实例”。
- 在左侧导航树中，选择“实例与镜像 > 实例”。
- 在创建实例页面中，配置相关参数，具体如下表。
- 基础配置
-
- 网络配置
-
- 自定义配置
-
- 单击“下一步：确认订单”。
- 在确认订单页面中，确认各项参数信息。确认无误后，请根据控制台指引查阅并确认相关协议，并单击“立即购买”按钮，创建实例。
- 本文中部署Ceph需创建4台ECS实例，请参考实践规划进行创建。
创建弹性公网 IP
- 登录云服务器控制台。
- 在左侧导航树中，单击“网络与安全 > 公网 IP”。
- 在公网 IP列表页，单击“申请公网 IP”。
- 按下图配置公网 IP相关参数，单击“同意并购买”，创建公网 IP。
-
创建公网NAT网关
- 登录云服务器控制台。
- 在左侧导航树中，单击“网络与安全 > 公网NAT网关”。
- 在公网NAT网关列表页，单击“创建公网NAT网关”。按下图配置相关参数，单击“确认订单”。
-
- 确认配置详情后，请根据控制台指引查阅并确认相关协议，并单击“立即购买”按钮，完成公网NAT网关创建。
-
- 在公网NAT网关控制台，单击已创建的ceph-nat，进入公网NAT网关详情页。单击“公网 IP > 绑定公网 IP”，添加公网 IP ceph-eip。
- 在公网NAT网关详情页，单击“SNAT规则 > 创建SNAT 规则”，添加SNAT规则。
-
Ceph集群安装准备
为了更加快速部署Ceph集群，本实践中大部分操作使用Ansible批量操作，以减少各个节点来回切换的时间。
说明
下列操作只有修改主机名步骤需要登录到各个节点进行修改，其它均在部署节点ceph-node1执行即可。
主机规划
主机 | IP | 功能 |
ceph-node1 | 172.16.3.76 | mon、osd、mgr、deploy |
ceph-node2 | 172.16.3.237 | mon、osd、mgr |
ceph-node3 | 172.16.3.223 | mon、osd、mgr |
ceph-client | 172.16.3.211 | - |
准备安装环境
修改主机名
在ceph-node1配置环境
- 配置域名解析文件。
- 执行vim /etc/hosts命令，打开/etc/hosts文件。
- 按i，进入编辑模式。
- 在/etc/hosts文件末尾添加如下内容，请将私网IP地址修改为您自己的私网IP。
-
- 按Esc键，输入:wq按回车键，保存并退出文件。
- 配置免密登录。
- ssh密钥默认保留在 ~/.ssh 目录中，您可以根据需求在配置密钥时，指定ssh密钥保存位置。如不指定，在设置密钥保存位置时回车即可。
-
- 安装Ansible。
- 执行以下命令，安装Ansible。
-
- 执行vim /etc/ansible/hosts命令，打开/etc/ansible/hosts文件。
- 按i，进入编辑模式。
- 在/etc/ansible/hosts文件末尾，添加如下内容。
-
- 按Esc键，输入:wq按回车键，保存并退出文件。
- 执行以下命令，查看节点是否都能无密登录。
-
- 出现如下回显信息，即为设置成功。
-
- 执行以下命令，拷贝hosts到其他机器，将管理机文件复制到远程主机中。
-
- ceph-node1，2，3出现如下回显信息，即为配置成功。
-
- 配置Ceph源。
- 执行vim /etc/yum.repos.d/ceph.repo命令，打开 /etc/yum.repos.d/ceph.repo 文件。
- 按i，进入编辑模式。
- 在/etc/yum.repos.d/ceph.repo文件添加如下内容。
-
- 按Esc键，输入:wq按回车键，保存并退出文件。
- 执行以下命令，将配置修改拷贝到其它节点。
-
- ceph-node1，2，3出现如下回显信息，即为配置成功。
-
- 配置 /etc/yum.conf 文件，限制安装 Ceph 的版本。
- 执行vim /etc/yum.conf命令，打开 /etc/yum.conf 文件。
- 按i，进入编辑模式。
- 在/etc/yum.conf文件末尾，添加如下内容。
- exclude=*12.2.13*
- 按Esc键，输入:wq按回车键，保存并退出文件。
- 执行以下命令，将修改好的yum配置复制到其它节点中。
-
安装和配置Ceph集群
- 执行以下命令，安装ceph-deploy。
-
- 可查询到版本信息，即为安装成功。
-
- 使用ceph-deploy安装Ceph。
注意
进行此操作前，请确保已安装epel源，否则会报错。
- 执行以下命令，安装 Ceph。
-
- 返回如下回显信息即为安装成功。
-
- 执行以下命令，查看 Ceph 版本。
-
- 返回如下回显信息：
-
- 部署 RADOS存储集群。
- 执行以下命令，初始化集群。
-
- 返回如下回显信息：
-
- 执行cat ceph.conf命令，查看配置如下图：
-
- 执行以下命令，部署 mon 节点。
-
- 返回如下回显信息：
-
- 执行以下命令，拷贝 admin 配置到其他节点。
-
- 返回如下回显信息：
-
-
- 部署ceph-mgr。
- Ceph-mgr作为Ceph 12.2主推的功能之一，是负责Ceph集群管理的组件，目标是实现Ceph集群的管理，为外界提供统一的入口。
- 执行以下指令进行部署。
-
- 返回如下回显信息：
-
- 启动Ceph Dashboard。
- Ceph提供了原生的Dashboard功能，通过Dashboard可以获取Ceph集群的各种基本状态信息。
- 执行以下命令，开启Dashboard。
-
- 为Ceph Dashboard所在节点绑定公网 IP。
- 安装完成后，打开浏览器并在地址栏输入：http://<Dashboard 所在节点公网IP>:7000
说明
-
- 添加OSD。
- 执行以下命令，为各节点创建OSD。
-
- 执行ceph -s命令，查询集群状态。
-
块存储RBD创建
RBD（RADOS Block Device）块存储，是最稳定且最常用的存储类型。RBD块设备类似磁盘可以被挂载。 RBD块设备具有快照、多副本、克隆和一致性等特性，数据以条带化的方式存储在Ceph集群的多个OSD中。
- 执行以下命令，创建ceph pool。
-
- 返回如下回显信息，即为创建成功。
-
- 执行以下命令，在ceph pool中创建image1。
-
- 返回如下回显信息，即为创建成功。
-
- 执行rbd list <poolname> 命令，查看ceph pool中image信息。
- 返回如下回显信息：
-
使用client挂载RBD到本地
- 在ceph-node1执行以下命令，安装ceph-client。
-
- 在ceph-client环境执行以下命令，挂载RBD到本地。
-
- 返回如下回显信息，即为挂载成功。
-
集群卸载
执行以下命令，进行集群卸载。
最近更新时间：2025.09.18 18:47:47
这个页面对您有帮助吗？
有用
有用
无用
无用