Ceph 块设备实战

x625802392

　　在上一期博文中，我们已经成功部署了 Ceph 集群，并且我们也掌握了相关 Ceph 的应用。今天，我们就来重点讲下 Ceph 块设备在实际环境中的应用-------将 Ceph 存储系统提供的镜像做为虚拟机的硬盘来安装虚拟机系统。
　　一、前提
　　在今天这个大数据时代，我们大部分企业中，每天产生的数据大小，都可能会是一个天文数字。显然，随着数据量的激增，我们现有的服务器将无法满足实际的需求，我们不可能为了增加一块硬盘而重装 RAID ，也不可能无限制的购买服务器，每个服务器做成单独的 RAID ，再重新开始写数据，那怎么办呢？当然，有需求，我们就有方案，我们选择分布式存储。将所有数据全部写到分布式存储系统中，就可以完美解决我们目前所遇到尴尬。
　　二、使用 Ceph 块设备
　　之前，我们已经有了 Ceph 集群，现在，我们直接使用现有的集群环境即可，关于集群的部署，可参考小弟的另外一篇博文 ：http://blog.运维网.com/4746316/2329558
　　1、拓扑

　　2、创建名为 vm-image 的镜像，大小为50G
　　①、创建镜像
[root@ceph-a ceph]# rbd create cephrbd/vm-image --image-feature layering --size 50G　　②、查看镜像
[root@ceph-a ceph]# rbd info cephrbd/vm-image

　　或者
[root@ceph-a ceph]# qemu-img info rbd:cephrbd/vm-image

　　此命令格式为：qemu info 协议:池/镜像
　　3、将物理主机做为 Ceph 集群的客户端，安装客户端软件包，并将 Ceph 的配置文件拷贝到物理主机中。
[root@localhost ~]# yum -y install ceph-common
[root@ceph-a ceph]# scp /etc/ceph/ceph.c* root@192.168.20.151:/etc/ceph/　　4、创建一台 kvm  虚拟机，取名为 mycentos7 ，等向导结束后，强制关机。
　　5、导出我们刚才创建的 mycentos7 虚拟机的声明文件，再将此虚拟机删除。
[root@localhost opt]# virsh dumpxml mycentos7 >/opt/centos.xml
[root@localhost opt]# virsh undefine mycentos7　　6、关于虚拟机使用 Ceph 的镜像，首先需要 Ceph 的认证，而认证方式就是先生成虚拟机的 secret ，再将 secret 与 Ceph 账户进行映射。
　　①、编写 Ceph 账户信息文件，创建临时 secret.xml 文件，账户信息文件的模板可在官方文档中找到。
[root@localhost opt]# vim secret.xml　　内容如下：

   
        client.admin secret
   
　　②、生成 secret.xml 文件
[root@localhost opt]# virsh secret-define --file secret.xml

　　secret 为：93eb11ed-2367-44cd-85ef-56810d4186e6
　　③、查看 secret
[root@localhost opt]# virsh secret-list

　　7、将虚拟机的 secret 与 Ceph 管理员用户进行关联
　　①、查看 Ceph 管理员密钥
[root@localhost opt]# cat /etc/ceph/ceph.client.admin.keyring

　　管理员密钥为：AQBBhQ9cJh/tDxAAzdcwBz3QZzPsCfWbQE0qjg==
　　②、关联 secret 和 Ceph 管理员
[root@localhost opt]# virsh secret-set-value --secret 93eb11ed-2367-44cd-85ef-56810d4186e6 --base64 AQBBhQ9cJh/tDxAAzdcwBz3QZzPsCfWbQE0qjg==

　　8、修改虚拟机的配置文件 centos.xml，将 Ceph 管理员信息写入到该文件中，并指定虚拟机磁盘使用 Ceph 镜像。
[root@localhost opt]# vim centos.xml

　　如上图，找到红框区域，编辑黄颜色框区域的内容为途中样式。或者修改问以下内容，

   
   
        
   
   
        
   
   
   
　　注意：device='disk'，是使用磁盘，device='cdrom'，是使用光盘，别搞错。disk type 字段修改为 network，driver type 字段修改为 raw，添加 auth 部分，uuid 需要根据自己的实际情况来填写，添加 source 部分，name 字段需要根据自己创建的池和镜像来填写，host name 和 port 字段需要写自己 Ceph 集群的 ceph-mon 的地址和端口。可以使用 netstat –tpnl 来查看
　　9、利用 xml 文件来生成虚拟机
[root@localhost opt]# virsh define centos.xml

　　10、打开虚拟机管理器，操作虚拟机
[root@localhost opt]# virt-manager　　①、打开并运行虚拟机，如下图：

　　②、当我们运行虚拟机后，发现虚拟机界面提示：no bootable device，这时候，我们单击虚拟机界面左上角的灯泡状的图标。如下图：

　　③、选择引导选项，在右边引导设备顺序中，选择 IDE CDROM1 并勾选， 再单击向上的箭头⇧，如下图：

　　④、确认 IDE CDROM1 已经上移至第一位时，单击 应用 ，如下图：

　　⑤、再左边选择 IDE CDROM1 ，单击右边的 连接 ，如下图：

　　⑥、弹出选择介质对话框后，我们单击 浏览 ，如下图：

　　⑦、弹出选择存储卷后，我们找到自己上的光盘镜像（这里为：CentOS-7-x86_64-Everything-1804.iso），并单击 选择卷 ，如下图：

　　⑧、回到选择介质对话框，单击 确定 ，如下图：

　　⑨、最后，我们将虚拟机强制关机后在开机，就会进入系统安装界面（对于系统的安装过程，我们就不再进行说明了），如下图：

　　到此为止，我们的 Ceph 块设备的实战算是优点眉目，后续深层次的发挥还得我们继续努力。
　　关于 Ceph 集群的实现，请参阅小弟的另外一篇博文：http://blog.运维网.com/4746316/2329558
关于 CephFS 文件系统的应用，请参阅小弟的另外一篇博文：http://blog.运维网.com/4746316/2330186
关于 Ceph 对象存储，请参阅小弟的另外一篇博文：http://blog.运维网.com/4746316/2330455


　　三、总结
　　开始，我们在部署 Ceph 集群的时候，感觉时很麻烦，有时候甚至会很头疼，尤其是遇到错的时候，但是，当我们开始应用时，是不是感觉很简单，很有乐趣？就是这样，知识就是这么有趣，当我们经历完苦涩后就会尝到甜头。