Ceph分布式存储学习笔记之jewel
本文介绍在Oracle Linux上创建配置ceph集群。Ceph软件代号为jewel。一、操作系统设置
以下操作在每个ceph集群节点都要操作。
1、OS内核设置
# cat /proc/sys/kernel/pid_max
32768
# vi /etc/sysctl.conf
kernel.pid_max = 4194303
# sysctl -p
2、软件仓库
# yum -y install yum-utils
# yum-config-manager --enable ol7_ceph ol7_latest ol7_optional_latest ol7_addons
3、禁用防火墙和Selinux
# systemctl disable firewalld
# systemctl stop firewalld
# sed -i -e 's,enforcing,disabled,' /etc/sysconfig/selinux
4、设置免密码SSH互访(略)
5、各个节点配置NTP服务
# echo "server ntp1.aliyun.com" >>/etc/ntp.conf
# echo "server ntp2.aliyun.com" >>/etc/ntp.conf
# echo "server ntp3.aliyun.com" >>/etc/ntp.conf
# systemctl enable ntpd
# systemctl start ntpd
# ntpdate -u ntp1.aliyun.com
二、安装配置Ceph
2.1 管理节点安装配置ceph
# yum -y install ceph-deploy
# mkdir fc;cd fc
--创建集群
# ceph-deploy new fc
2.2 编辑ceph配置文件
# vi ceph.conf
osd pool default size = 3
public network = 192.168.120.0/24
rbd_default_features = 3
2.3 安装配置集群存储节点
# ceph-deploy install hdp0{2..4}
此步骤就是调用yum安装软件包，如果之前配置了ceph的yum仓库，在安装过程中它会重新初始化yum仓库，如果网络差的情况下，此步骤会非常慢。最直接的就是在各个节点手工安装以下软件包：
# yum -y install ceph-osd ceph-mds ceph-mon ceph-radosgw
# yum -y install ceph-osd ceph-mds ceph-mon ceph-radosgw
# yum -y install ceph-osd ceph-mds ceph-mon ceph-radosgw
2.4 创建ceph监控节点
# ceph-deploy mon create-initial
# ceph-deploy mon create hdp0{2,3,4}
在ceph集群中的监控节点都是奇数个，这里使用了4个监控节点。创建完成后，收集下各个节点的密钥信息：
# ceph-deploy gatherkeys hdp0{2,3,4}
2.5 创建OSDs
# ceph-deploy disk zap hdp01:sdb
# ceph-deploy osd create hdp01:sdb
--检查ceph集群状态
# ceph -s
cluster ef4bfc8f-6e8b-497e-a5e5-336213a7f4f7
health HEALTH_ERR
64 pgs are stuck inactive for more than 300 seconds
64 pgs degraded
64 pgs stuck inactive
64 pgs undersized
monmap e1: 1 mons at {hdp01=192.168.120.96:6789/0}
election epoch 3, quorum 0 hdp01
osdmap e5: 1 osds: 1 up, 1 in
flags sortbitwise
pgmap v8: 64 pgs, 1 pools, 0 bytes data, 0 objects
34004 kB used, 46023 MB / 46056 MB avail
64 undersized+degraded+peered
创建其他几个OSD：
# ceph-deploy disk zap hdp02:sdb
# ceph-deploy osd create hdp02:sdb
# ceph-deploy disk zap hdp03:sdb
# ceph-deploy osd create hdp03:sdb
# ceph health
HEALTH_OK
# ceph status
cluster 87d6656b-1ba9-4345-904e-37c9f860ebc3
health HEALTH_OK
monmap e4: 4 mons at {hdp01=192.168.120.96:6789/0,hdp02=192.168.120.97:6789/0,hdp03=192.168.120.98:6789/0,hdp04=192.168.120.99:6789/0}
election epoch 8, quorum 0,1,2,3 hdp01,hdp02,hdp03,hdp04
osdmap e23: 3 osds: 3 up, 3 in
flags sortbitwise
pgmap v189: 214 pgs, 2 pools, 14624 kB data, 16 objects
153 MB used, 134 GB / 134 GB avail
214 active+clean
三、安装配置ceph客户端
3.1 设置客户端和ceph集群之间的SSH互访(略)
3.2 安装ceph-common软件包
# yum -y install ceph-common
3.3 同步ceph配置文件到客户端
# ceph-deploy admin hdp05
四、创建RBD块设备
4.1 客户端创建存储池
# ceph osd pool create datastore 150 150
4.2 创建块设备镜像
# rbd create --size 4096 --pool datastore vol01
如果没有指定pool参数，则rbd使用默认的rbd pool。
4.3 将image映射为块设备
# rbd map vol01 --pool datastore
# ll /dev/rbd0
brw-rw---- 1 root disk 248, 0 Apr 11 10:27 /dev/rbd0
# ll /dev/rbd/datastore/
total 0
lrwxrwxrwx 1 root root 10 Apr 11 10:27 vol01 -> ../../rbd0
# lsmod|grep rbd
rbd 778241
libceph 2498561 rbd
# rbd ls -p datastore
vol01
4.4 创建文件系统
可以直接对映射的设备创建文件系统，也可以对映射后的设备进行分区操作，然后创建文件系统。
# mkfs.xfs /dev/rbd0
# mount /dev/rbd0 /mnt
4.5 RBD设备自动映射
如果安装了ceph-common软件包，默认会在/etc/ceph下面产生一个rbdmap文件。此文件主要作用是在系统启动的时候自动映射块设备。
# RbdDevice Parameters
datastore/vol01 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
其中，rbdevice为poolname/blockname,parameters的id，这里用的是admin，也就是ceph服务端的admin。
4.6 RBD设备扩容
# rbd resize -p datastore --image vol01 -s 5120
Resizing image: 100% complete...done.
# rbd info -p datastore --image vol01
rbd image 'vol01':
size 5120 MB in 1280 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.11342ae8944a
format: 2
features: layering
flags:
# mount /dev/rbd0 /mnt
# df /mnt
Filesystem SizeUsed Avail Use% Mounted on
......
/dev/rbd0 4.0G 33M4.0G 1% /mnt
# xfs_growfs /mnt
# df /mnt
Filesystem SizeUsed Avail Use% Mounted on
/dev/rbd0 5.0G 33M5.0G 1% /mnt
4.7 查看image状态
# rbd status -p datastore --image vol01
Watchers:
watcher=192.168.120.103:0/3157940806 client.4408 cookie=1
# rbd status datastore/vol01
Watchers:
watcher=192.168.120.103:0/3157940806 client.4408 cookie=1
4.8 查看image信息
# rbd info --pool datastore --image vol01
rbd image 'vol01':
size 4096 MB in 1024 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.11342ae8944a
format: 2
features: layering
flags:
五、删除RBD设备
-- 卸载挂载点
# umount /mnt
--删除映射
# rbd unmap /dev/rbd/datastore/vol01
--删除块设备
# rbd rm vol01 -p datastore
--删除存储池
在删除存储池之前，必须在ceph.conf文件中加入下面内容，然后同步到其他ceph集群节点：
# vi /etc/ceph/ceph.conf
mon allow pool delete = true
# for i in {2..4};do scp /etc/ceph/ceph.conf hdp0$i:/etc/ceph/;done
然后在各个节点重启mon服务：
# systemctl restart ceph-mon.target
# systemctl restart ceph-mon.target
# systemctl restart ceph-mon.target
# systemctl restart ceph-mon.target
# ceph osd pool delete datastore datastore --yes-i-really-really-mean-it
六、CephFS配置
Ceph 文件系统（ Ceph FS ）是个 POSIX 兼容的文件系统，它使用 Ceph 存储集群来存储数据。Ceph 文件系统要求 Ceph 存储集群内至少有一个 Ceph 元数据服务器。这里将hdp04作为cephfs的元数据服务节点(MDS)。
6.1 创建MDS服务
# ceph-deploy --overwrite-conf mds create hdp04
# echo $(sed -n 's/.*key *= *\([^ ]*.*\)/\1/p' < /etc/ceph/ceph.client.admin.keyring) > /etc/ceph/admin.secret
# chmod 600 /etc/ceph/admin.secret
# cat /etc/ceph/ceph.client.admin.keyring
key = AQBfZM1aAhtVIhAAToLlVABZs/nH107Dt6z/jg==
# cat /etc/ceph/admin.secret
AQBfZM1aAhtVIhAAToLlVABZs/nH107Dt6z/jg==
# scp /etc/ceph/admin.secret hdp07:/etc/ceph/
# scp /etc/ceph/admin.secret hdp05:/etc/ceph/
6.2 创建CephFS
MDS需要使用两个pool，一个pool用来存储数据，一个pool用来存储元数据。
# ceph osd pool create cephfs_data 1
pool 'cephfs_data' created
# ceph osd pool create cephfs_metadata 2
pool 'cephfs_metadata' created
# ceph fs new cephfs cephfs_metadata cephfs_data
new fs with metadata pool 5 and data pool 4
# ceph mds stat
e5: 1/1/1 up {0=hdp04=up:active}
# mount -t ceph hdp04:6789:/ /mnt -o name=admin,secretfile=/etc/ceph/admin.secret
# df
Filesystem SizeUsed Avail Use% Mounted on
......
192.168.120.99:6789:/ 135G156M135G 1% /mnt
还有一种方法就是通过fuse挂载，如下：
# yum -y install ceph-fuse
# ceph-fuse -c /etc/ceph/ceph.conf /mnt
2018-04-11 16:44:47.705919 7ff65fab5e80 -1 init, newargv = 0x559559a5a510 newargc=11
ceph-fuse: starting ceph client
ceph-fuse: starting fuse
# df /mnt
Filesystem SizeUsed Avail Use% Mounted on
ceph-fuse 135G156M135G 1% /mnt
如果客户端没有安装ceph-common软件，则使用下面的方法：
# mkdir -p /etc/ceph
# scp /etc/ceph/ceph.conf root@hdp08:/etc/ceph
# scp /etc/ceph/ceph.client.admin.keyring root@hdp08:/etc/ceph
# chmod -R 644 /etc/ceph/
# ceph-fuse -c /etc/ceph/ceph.conf /mnt
# df /mnt
Filesystem SizeUsed Avail Use% Mounted on
ceph-fuse 135G156M135G 1% /mnt
# umount /mnt
页:
[1]