在rhel7中的ceph存储集群搭建的具体步骤

美奇科技

ceph是一种可以提供存储集群服务的软件

它可以实现将主机做成存储集群，并提供分布式文件存储的功能
ceph服务可以提供三种存储方式：
1.块存储
2.对象存储
2.文件系统存储
这里我将介绍如何使用ceph搭建一个存储集群：

环境介绍：

    node1 node2 node3 这三台主机作为存储集群服务器，分别都有3块10G的硬盘，并且我会将node1及作为存储服务器也作为管理主机(管理存储服务器的服务器)
将client作为访问的客户端
node1 node2 node3这第三台服务器要配置NTP同步服务，同步client的NTP服务，分别配置yum源以及node1免密以及/etc/hosts文件
1.环境配置，这里部分简单的就省略了：
　　(1)配置/etc/hosts文件，实现本机的域名解析

[root@node1 ~]# cat /etc/hosts      #切忌不要将本机的回环地址删了，只需要添加命令即可，不要删东西
192.168.4.50 client
192.168.4.51 node1
192.168.4.52 node2
192.168.4.53 node3

　　为了方便要保证node2 node3 这两台主机上的/etc/hosts文件都是有这些命令的
(2)在node1管理主机上配置免密操作：

[root@node1 ~]# ssh-keygen -N '' -f /root/.ssh/id_rsa
[root@node1 ~]# ssh-copy-id node1
[root@node1 ~]# ssh-copy-id node2
[root@node1 ~]# ssh-copy-id node3
[root@node1 ~]# ssh-copy-id client
　　(3)拷贝yum源为其他主机，保证每个主机上的yum源都有需要安装的软件包

[root@node1 ~]# scp /etc/yum.repos.d/ceph.repo node2
[root@node1 ~]# scp /etc/yum.repos.d/ceph.repo node3
[root@node1 ~]# scp /etc/yum.repos.d/ceph.repo client
2.在node1管理主机上创建存储集群的功能目录以及配置集群
　　(1)在node1上安装提供存储集群服务的软件包   ceph-deploy.noarch

[root@node1 ~]# yum -y install ceph-deploy.noarch
　　(2)在node1管理主机上创建一个自定义目录ceph-cluster

        [root@node1 ~]# mkdir ceph-cluster
[root@node1 ~]# cd ceph-cluster
　　(3)指定node1 node2 node3为存储集群服务器，创建存储集群服务器

        [root@node1 ceph-cluster]# ceph-deploy new node1 node2 node3     #这里耐心等待，会花一段时间
　　(4)为所有的存储集群服务器安装ceph-deploy工具

        [root@node1 ceph-cluster]# ceph-deploy install node1 node2 node3
　　(5)为所有集群初始化monitor这个监控程序

        [root@node1 ceph-cluster]# ceph-deploy mon create-initial
　　(6)为node1 node2 node3将/dev/vdb分两个区，作为/dev/vdc /dev/vdd这两块磁盘的日志盘

        [root@node1 ceph-cluster]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
[root@node1 ceph-cluster]# parted /dev/vdc mkpart primary 50% 100%
[root@node2 ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
[root@node2 ~]# parted /dev/vdc mkpart primary 50% 100%
[root@node3 ~]# parted /dev/vdc mktable gpt mkpart primary 1M 50%
[root@node3 ~]# parted /dev/vdc mkpart primary 50% 100%
　　(7)为日志盘设置归属，保证ceph用户后续存放日志才有权限

        [root@node1 ceph-cluster]# chown ceph:ceph /dev/vdc*
[root@node2 ~]# chown ceph:ceph /dev/vdc*       #这些是临时设置，要想重启也有效需要写到/etc/rc.local文件下并且服务x权限
[root@node3 ~]# chown ceph:ceph /dev/vdc*
永久设置：以node2为例
[root@node2 ~]# echo "chown ceph:ceph /dev/vdc*" >> /etc/rc.local
[root@node2 ~]# chmod +x /etc/rc.local
　　(8)在node1管理主机上格式化所有需要共享的磁盘/dev/vdb /dev/vdd    #这些都是在node1管理主机上操作的

        [root@node1 ceph-cluster]# ceph-deploy disk zap node1:vdb node1:vdd
[root@node1 ceph-cluster]# ceph-deploy disk zap node2:vdb node2:vdd
[root@node1 ceph-cluster]# ceph-deploy disk zap node3:vdb node3:vdd
　　(9)创建osd磁盘，这些也都是在管理主机上做就可以了

        [root@node1 ceph-cluster]# ceph-deploy osd create node1:vdb:/dev/vdc1 node1:vdd:/dev/vdc2
[root@node1 ceph-cluster]# ceph-deploy osd create node2:vdb:/dev/vdc1 node2:vdd:/dev/vdc2
[root@node1 ceph-cluster]# ceph-deploy osd create node3:vdb:/dev/vdc1 node3:vdd:/dev/vdc2
3.ceph存储集群就搭建好了，这里使用ceph -s命令检查状态，只有是OK才是正常的

        [root@node1 ceph-cluster]# ceph -s
cluster e9877c9f-d0ca-40c6-9af4-19c5c9dea10c
health HEALTH_OK
.......
[root@node1 ceph-cluster]# ceph osd lspools                 #创建存储集群后默认会为我们自动创建一个存储池
0 rbd,