Ceph实验室：第二课：集成ceph与openstack

老爷子88

　　本课程介绍如何配置ceph作为Nova的后端存储，用来存放vm的临时磁盘。


集成ceph与Openstack Nova
　　安装ceph客户端
集成ceph与Openstack的第一步就是要在openstack的节点上安装ceph客户端（一些ceph命令行工具和连接ceph集群需要的libraries)。

$ ceph-deploy install --cli --no-adjust-repos openstack
$ ceph-deploy config push openstack

　　创建pool
给虚拟机的ephemeral disks创建一个ceph pool。

$ ceph osd pool create compute 256
pool 'compute' created

　　给nova客户端创建一个ceph用户和密钥
ceph get-or-create 会产生一个用户名和一个秘钥，并将它们保存在ceph monitor上。下面命令给nova客户端创建一个用户和秘钥，并赋予合适的权限。

[iyunv@ceph ceph]# ceph auth get-or-create client.compute mon "allow r" osd "allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=compute, allow rx pool=images"
[client.compute]
key = AQBLHcJYm1XxBBAA75foQeQ72bT3GsGVDzBZcg==

　　分发秘钥给nova客户端，并修改秘钥文件的group和权限
客户端需要ceph秘钥去访问集群，ceph创建了一个默认用户client.admin,他有足够的权限去访问ceph集群。不能把这个用户共享给其他客户端。更好的做法是用分开的秘钥,创建一个新的ceph用户去访问特定的pool。

[iyunv@ceph ceph]# ceph auth get-key client.compute | ssh openstack tee /etc/ceph/ceph.client.compute.keyring
AQBLHcJYm1XxBBAA75foQeQ72bT3GsGVDzBZcg==
[iyunv@openstack]# chgrp nova /etc/ceph/ceph.client.compute.keyring
[iyunv@openstack]# chmod 0640 /etc/ceph/ceph.client.compute.keyring

　　建一个临时秘钥，用来配置libvirt

[iyunv@ceph ceph]# ceph auth get-key client.compute | ssh openstack tee /etc/ceph/client.compute
AQBLHcJYm1XxBBAA75foQeQ72bT3GsGVDzBZcg==

　　把密钥配置在计算节点的ceph.conf文件
compute节点，其进程需要nova的密钥环文件。

vi /etc/ceph/ceph.conf
[client.compute]
keyring = /etc/ceph/ceph.client.compute.keyring

　　集成ceph和libvirt
libvirt进程需要有访问ceph集群的权限。所以需要把nova客户端的密钥存进libvirt。在计算节点上把nova客户端密钥加进libvirt 。

　　生成一个uuid

   [iyunv@openstack]# uuidgen   
c1261b3e-eb93-49bc-aa13-557df63a6347   

　　创建libvirt secret文件,设置uuid

    <secret ephemeral="no" private="no">   
<uuid>c1261b3e-eb93-49bc-aa13-557df63a6347</uuid>   
<usage type="ceph">   
<name>client.compute secret</name>   
</usage>   
</secret>   
[iyunv@openstack]# virsh secret-define --file ceph.xml      
Secret c1261b3e-eb93-49bc-aa13-557df63a6347 created      

　　把nova密钥加进libvirt

   [iyunv@openstack]# virsh secret-set-value --secret c1261b3e-eb93-49bc-aa13-557df63a6347  --base64 $(cat client.compute.key)   
Secret value set   
[iyunv@openstack]# virsh secret-list   
UUID                                  Usage   
---------------------------------------------------   
c1261b3e-eb93-49bc-aa13-557df63a6347  ceph client.compute secret   

　　配置nova
修改/etc/nova/nova.conf文件里的libvirt部分，增加ceph的认证信息。libvirt会使用该用户来和Ceph集群进行连接和认证。

[libvirt]
images_rbd_pool=compute
images_type=rbd
rbd_secret_uuid=c1261b3e-eb93-49bc-aa13-557df63a6347
rbd_user=compute

　　重启nova compute服务

  [iyunv@openstack]#systemctl restart openstack-nova-compute

　　测试
新建一个vm，然后检查VM’s ephemeral disk是否健在ceph上。

  [iyunv@ceph ceph]# rbd -p compute ls
24e6ca7f-05c8-411b-b23d-6e5ee1c809f9_disk
[iyunv@ceph ceph]# rbd -p compute info 24e6ca7f-05c8-411b-b23d-6e5ee1c809f9_disk
rbd image '24e6ca7f-05c8-411b-b23d-6e5ee1c809f9_disk':
size 1024 MB in 256 objects
order 22 (4096 kB objects)
　　阅读全文：http://click.aliyun.com/m/16677/