openstack运维实战系列(十八)nova与ceph结合

34233

1. 背景说明
nova负责虚拟机的生命周期管理，包括创建，删除，重建，开机，关机，重启，快照等，作为openstack的核心，nova负责IaaS中计算重要的职责，其中nova的存储格外重要，默认情况下，nova将instance的数据存放在/var/lib/nova/instances/%UUID目录下，使用本地的存储空间。使用这种方式带来的好处是:简单，易实现，速度快，故障域在一个可控制的范围内。然而，缺点也非常明显：compute出故障，上面的虚拟机down机时间长，没法快速恢复，此外，一些特性如热迁移live-migration,虚拟机容灾nova evacuate等高级特性，将无法使用，对于后期的云平台建设，有明显的缺陷。
2.关于分布式存储
  使用openstack时，是否使用分布式文件系统，是一个非常值得思考和深思的问题，使用本地的优点非常明显，同时带来的缺点也显而易见，使用分布式存储，技术上的空白和技术上的难度，也是值得思考的一个问题。同时，分布式存储又改如何选择，应该选择简单的gluserfs还是呼声较高的ceph，这些都是构建云平台需要考虑的地方，同时openstack和ceph都存在一些坑，需要在技术上有足够的积累底蕴才能够控制起来。如果有需要通过openstack在生产环境下构建云平台，我建议初期使用本地的存储，充分利用KVM和本地文件系统的稳定，性能，后续有足够的技术可以逐步灰度至分布式存储glusterfs或者ceph中。建议使用ceph，如果基于技术层面的考虑，可以考虑使用glusterfs，glusterfs以其简单，易管理。

3.nova与ceph结合
1、ceph中创建存储池pool

1 2 3 4 5 6 7 8 9 10 11 12 13 14

[iyunv@controller_10_1_2_230 ~]# ceph osd pool create vms 128    #创建一个pools，名字为vms，128个pg pool 'vms' created [iyunv@controller_10_1_2_230 ~]# ceph osd lspools                #查看pools创建的情况 0 rbd,1 images,2 vms, [iyunv@controller_10_1_2_230 ~]# ceph osd pool stats pool rbd id 0   nothing is going on pool images id 1   nothing is going on pool vms id 2   nothing is going on

2、nova-compute节点安装和配置客户端

1 2	[iyunv@compute1_10_1_2_232 ~]# yum install python-rbd ceph -y     #安装客户端包 [iyunv@controller_10_1_2_230 ~]# scp  /etc/ceph/ceph.conf  root@10.1.2.232:/etc/ceph/ceph.conf #拷贝ceph配置文件

3、配置ceph认证，让nova用户能够访问vms池、images池

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

[iyunv@controller_10_1_2_230 ~]# ceph auth get-or-create client.nova mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=vms, allow rwx pool=images'                        [client.nova]         key = AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg==        #查看ceph的认证信息 [iyunv@controller_10_1_2_230 ~]# ceph auth list installed auth entries: osd.0         key: AQDsx6lWYGehDxAAGwcYP9jDvH2Zaa8JlGwj1Q==         caps: [mon] allow profile osd         caps: [osd] allow * osd.1         key: AQD1x6lWQCYBERAAjIKO1LVpj8FvVefDvNQZSA==         caps: [mon] allow profile osd         caps: [osd] allow * client.admin         key: AQCexqlWQL6OGBAA2v5LsYEB5VgLyq/K2huY3A==         caps: [mds] allow         caps: [mon] allow *         caps: [osd] allow * client.bootstrap-mds         key: AQCexqlWUMNRMRAAZEp/UlhQuaixMcNy5d5pPw==         caps: [mon] allow profile bootstrap-mds client.bootstrap-osd         key: AQCexqlWQFfpJBAAfPCx4sTLNztBESyFKys9LQ==         caps: [mon] allow profile bootstrap-osd client.bootstrap-rgw         key: AQAR7alWok0SGhAAFtOo0PFsZuVzczMvJox1Wg==         caps: [mon] allow profile bootstrap-rgw client.glance         key: AQAl76lWHMySHxAANTfXv3JQ70GCEBOZI5abcQ==         caps: [mon] allow r         caps: [osd] allow class-read object_prefix rbd_children, allow rwx pool=images client.nova         key: AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg==         caps: [mon] allow r         caps: [osd] allow class-read object_prefix rbd_children, allow rwx pool=vms, allow rwx pool=images    #添加了nova用户的认证信息

4、将ceph认证的key拷贝至计算节点

1 2 3 4 5 6 7 8 9 10 11 12

a、查看client.nova的key [iyunv@controller_10_1_2_230 ~]# ceph  auth get-or-create client.nova [client.nova]         key = AQBLXqpWB8HsChAA6hGUBT5JNrFGD116uy+nmg== b、将key拷贝至远端 [iyunv@controller_10_1_2_230 ~]# scp  ceph.client.nova.kering  root@10.1.2.232:/etc/ceph/ ceph.client.nova.kering   c、生成nova临时的key [iyunv@controller_10_1_2_230 ~]# ceph auth get-key client.nova | ssh root@10.1.2.232 tee client.nova.key

5、计算节点的libvirt使用ceph的key

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

a、生成uuid号 [iyunv@compute1_10_1_2_232 ~]# uuidgen 0d154ad2-ec21-4200-952f-7551503da8a1 b、生成加密文件 vim secret.xml <secret ephemeral='no' private='no'>         <uuid>0d154ad2-ec21-4200-952f-7551503da8a1</uuid>         <usage type='ceph'>                 <name>client.cinder secret</name>         </usage> </secret> c、加载加密文件 [iyunv@compute1_10_1_2_232 ~]# virsh secret-define --file secret.xml Secret 0d154ad2-ec21-4200-952f-7551503da8a1 created d、配置libvirt加密，使用client.nova.key [iyunv@compute1_10_1_2_232 ~]# virsh secret-set-value --secret 0d154ad2-ec21-4200-952f-7551503da8a1 --base64 $(cat /root/client.nova.key) Secret value set e、查看libvirt定义的key [iyunv@compute1_10_1_2_232 ~]# virsh secret-list UUID                                 Usage ----------------------------------------------------------- 0d154ad2-ec21-4200-952f-7551503da8a1 Unused