云计算/云存储---Ceph和Openstack的cinder模块对接方法

dongfangho

1.创建存储池
　　在ceph节点中执行如下语句。



#ceph osd pool create volumes 128
2.配置 OPENSTACK 的 CEPH 客户端
　　在ceph节点两次执行如下语句，两次{your-openstack-server}分别填控制节点和计算节点IP。
　　如果显示在控制节点和计算节点中没有ceph文件夹，则在两节点中创建对应文件夹。



#ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf < /etc/ceph/ceph.conf
3.安装 CEPH 客户端软件包
　　控制节点上进行librbd的 Python 绑定



#yum install python-rbd
　　计算节点和控制节点进行安装 Python 绑定和客户端命令行工具



#yum install ceph-common
#yum install ceph
4.配置 CEPH 客户端认证
　　在ceph节点为Cinder创建新用户



#ceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes'
　　在ceph节点把 client.cinder的密钥环复制到控制节点，并更改所有权，{your-volume-server}和{your-cinder-volume-server}处填控制节点IP。



#ceph auth get-or-create client.cinder | ssh {your-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
#ssh {your-cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
　　在ceph节点执行如下语句{your-nova-compute-server}为计算节点IP。



#ceph auth get-or-create client.cinder | ssh {your-nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
　　在ceph节点把client.cinder用户的密钥存进libvirt。libvirt 进程从 Cinder 挂载块设备时要用它访问集群，在运行 nova-compute 的节点上创建一个密钥的临时副本。
　　{your-compute-node}为计算节点IP。



#ceph auth get-key client.cinder | ssh {your-compute-node} tee  /etc/ceph/client.cinder.key

　　在计算节点上执行如下语句，把密钥加进 libvirt 、然后删除临时副本。



#uuidgen
　　记录下产生的数字,将下面的UUIDGEN替换为该数字，并在计算节点执行下列语句



cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
<uuid>UUIDGEN</uuid>
<usage type='ceph'>
<name>client.cinder secret</name>
</usage>
</secret>
EOF


#sudo virsh secret-define --file secret.xml
#sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml
　　执行完后，记录好上面产生的uuidgen，下面还会用到。

5.安装并配置控制节点

5.1先决条件
　　在控制节点完成下面的步骤以创建数据库：
　　用数据库连接客户端以 root 用户连接到数据库服务器：



#mysql -u root -p
　　创建cinde数据库



#CREATE DATABASE cinder;
　　配置 cinder 数据库的访问权限，下列CINDER_DBPASS用合适的密码替换。



#GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'localhost' \
IDENTIFIED BY 'CINDER_DBPASS';
#GRANT ALL PRIVILEGES ON cinder.* TO 'cinder'@'%' \
IDENTIFIED BY 'CINDER_DBPASS';
　　退出数据库。
　　获得 admin 凭证来获取只有管理员能执行的命令的访问权限：



# . admin-openrc
　　创建服务证书：
　　创建一个 cinder 用户：



#openstack user create --domain default --password-prompt cinder
　　添加 admin 角色到 cinder 用户上。



#openstack role add --project service --user cinder admin
　　创建 cinder 和 cinderv2 服务实体：



#openstack service create --name cinder \
--description "OpenStack Block Storage" volume
#openstack service create --name cinderv2 \
--description "OpenStack Block Storage" volumev2
　　创建块设备存储服务的 API 入口点：



#openstack endpoint create --region RegionOne \
volume public http://controller:8776/v1/%\(tenant_id\)s

#openstack endpoint create --region RegionOne \
volume internal http://controller:8776/v1/%\(tenant_id\)s

#openstack endpoint create --region RegionOne \
volume admin http://controller:8776/v1/%\(tenant_id\)s

#openstack endpoint create --region RegionOne \
volumev2 public http://controller:8776/v2/%\(tenant_id\)s

#openstack endpoint create --region RegionOne \
volumev2 internal http://controller:8776/v2/%\(tenant_id\)s

#openstack endpoint create --region RegionOne \
volumev2 admin http://controller:8776/v2/%\(tenant_id\)s
5.2安装并配置组件
　　安装软件包



# yum install openstack-cinder
#yum install openstack-cinder targetcli python-keystone
　　在控制节点上编辑cinder.conf。



#vi /etc/cinder/cinder.conf
　　添加如下内容：
　　注意：
1.如果你为 cinder 配置了多后端， [DEFAULT] 节中必须有 glance_api_version = 2
　　2.[ceph]中的rbd_secret_uuid后面对应填的刚刚记录的uuid。



[DEFAULT]
transport_url = rabbit://openstack:RABBIT_PASS@controller
auth_strategy = keystone
my_ip = 控制节点管理网络的IP
enabled_backends = ceph
glance_api_servers = http://controller:9292


[database]
connection = mysql+pymysql://cinder:CINDER_PASS@controller/cinder


[keystone_authtoken]
auth_uri = http://controller:5000

auth_url = http://controller:35357

memcached_servers = controller:11211
auth_type = password
project_domain_name = default
user_domain_name = default
project_name = service
username = cinder
password = CINDER_PASS

[oslo_concurrency]
lock_path = /var/lib/cinder/tmp

[ceph]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
rbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2
rbd_user = cinder
rbd_secret_uuid = a852df2b-55e1-4c1b-9fa2-61e77feaf30f
　　编辑/etc/nova/nova.conf 添加如下内容：



[cinder]
os_region_name = RegionOne
6.重启 OPENSTACK
　　在控制节点重启计算API 服务：



# systemctl restart openstack-nova-api.service
　　启动块设备存储服务，并将其配置为开机自启：



# systemctl enable openstack-cinder-api.service openstack-cinder-scheduler.service
# systemctl start openstack-cinder-api.service openstack-cinder-scheduler.service
　　启动块存储卷服务及其依赖的服务，并将其配置为随系统启动：



# systemctl enable openstack-cinder-volume.service target.service
# systemctl start openstack-cinder-volume.service target.service

7.验证

在控制节点获得 admin 凭证来获取只有管理员能执行的命令的访问权限：



# . admin-openrc
列出服务组件以验证是否每个进程都成功启动：



# cinder service-list
并且登录界面后可以创建卷