使用docker部署standalone cinder

网络浪子

　　| 版权：本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。如有问题，可以邮件：wangxu198709@gmail.com

背景
　　OpenStack社区一直在尝试用Container技术来部署其各个组件，由此还发展出了kolla这个big tent项目，以及衍生项目kolla-ansible。
　　最近项目上有些调整，有了些自由时间，于是开始尝试使用container方式部署OpenStack的组件，自然是从最熟悉的Cinder开始。
　　惊喜的发现Cinder项目自身就有一个简单易上手的脚步，可以帮助理解以container部署Cinder的基本步骤和方式。
　　[请在ROOT用户下执行下面所有的命令，主要是docker和后面的local-attach都需要root或者sudo，直接使用root会少掉很多坑]

配置环境

首先clone下来cinder的源代码：



git clone https://github.com/openstack/cinder

cd contrib/block-box/
　　然后就是安装相关的依赖了，如make, docker，docker-compose

安装make及相关包



sudo apt-get install build-essential
安装docker
　　https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-16-04

安装docker-compose
　　https://www.digitalocean.com/community/tutorials/how-to-install-docker-compose-on-ubuntu-16-04
　　接下来就是build需要的docker image了



make base
　　这个过程中，会clone loci-cinder项目，如果遇到不能clone这个项目，你可以把loci-cinder项目clone到本地，然后修改目录下的Makefile, 指向本地的loci-cinder就行。我就遇到这种问题，于是我做了如下修改



# git diff Makefile
diff --git a/contrib/block-box/Makefile b/contrib/block-box/Makefile
index ca173cc..ff60a56 100644
--- a/contrib/block-box/Makefile
+++ b/contrib/block-box/Makefile
@@ -1,12 +1,12 @@
CINDER_BRANCH ?= master # master, stable/ocata, refs/changes/67/418167/1
NAME_PREFIX ?= ""
-PLATFORM ?= debian # ubuntu, centos
+PLATFORM ?= ubuntu # debian, centos
TAG ?= latest
all: base lvm devbox
base:
-       docker build https://git.openstack.org/openstack/loci-cinder.git\#:$(PLATFORM) --tag cinder:$(TAG) --build-arg PROJECT_REF=$(CINDER_BRANCH)
+       docker build /root/containerized/loci-cinder/$(PLATFORM) --tag cinder:$(TAG) --build-arg PROJECT_REF=$(CINDER_BRANCH)

lvm:
docker build -t cinder-lvm -f ./docker_files/Dockerfile.cinder-lvm .
　　Docker 的image build好过后，马上就可以使用docker-compose命令启动cinder的相关service了。

启动docker的相关service
　　启动之前你要按照自己的需求，修改目录下的etc-cinder/cinder.conf 和 docker-compose.yml文件，你可以参考我的gist文件 cinder.conf 和 docker-compose.yml


　　docker-compose -f docker-compose.yml up -d
　　docker-compose up -d
Creating network "blockbox_cindernet" with driver "bridge"
Creating blockbox_mariadb_1 ...
Creating blockbox_rabbitmq_1 ...
Creating blockbox_mariadb_1
Creating blockbox_mariadb_1 ... done
Creating blockbox_rabbitmq_1 ... done
Creating blockbox_cinder-api_1 ... done
Creating blockbox_cinder-scheduler_1 ...
Creating blockbox_cinder-scheduler_1 ... done
Creating blockbox_cinder-volume_1 ...
Creating blockbox_cinder-volume_1 ... done
　　启动后，查看启动的container，发现cinder-api服务启动后又退出了。



docker ps
　　最后发现，cinder api的相关code有变动，需要在 当前目录(contrib/block-box)的 etc-cinder/cinder.conf，加入下面绿色内容，cinder-api才能启动成功，不让会因为找不到key manager而退出：



[database]
connection = mysql+pymysql://cinder:password@mariadb/cinder?charset=utf8
[key_manager]
backend = cinder.keymgr.conf_key_mgr.ConfKeyManager
　　更改后，重新启动所有docker containers



docker-compose -f docker-compose.yml down
docker-compose -f docker-compose.yml up -d
　　等一段时间，重新检查所有的docker containers



docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                                   NAMES
67180a6e8056        cinder              "bash -c 'pip inst..."   38 seconds ago      Up 37 seconds                                                               blockbox_cinder-volume_1
d963f200be2a        cinder              "cinder-scheduler"       39 seconds ago      Up 38 seconds                                                               blockbox_cinder-scheduler_1
5166d688bbbd        cinder              "sh /init-scripts/..."   39 seconds ago      Up 38 seconds                                                               blockbox_cinder-api_1
a14757b40830        mariadb             "docker-entrypoint..."   40 seconds ago      Up 38 seconds       0.0.0.0:3306->3306/tcp                                  blockbox_mariadb_1
b23d77e10bad        rabbitmq            "docker-entrypoint..."   40 seconds ago      Up 38 seconds       4369/tcp, 5671/tcp, 25672/tcp, 0.0.0.0:5672->5672/tcp   blockbox_rabbitmq_1
　　所有服务都启动成功，后面使用cinder client请求cinder volume
　　TIPS: 可以使用下面命令查看docker里面的log。



docker logs <container id> -f

使用cinder volume

安装cinder client
　　接下来，在host上新建virtual environment并在venv中安装最新的cinder client（只有最新的cinder client才有对noauth这种认证方式的支持）



# 创建venv
virtualenv pyenv
. pyenv/bin/activate
git clone https://github.com/openstack/python-cinderclient
pip install -e python-cinderclient
　　直接请求请求cinder api



(pyenv) peter@ubuntu16:~/pyenv$ cinder --os-auth-type=noauth --os-endpoint="http://127.0.0.1:8776/v3" --os-user-id=admin --os-tenant-id=admin list
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+
| ID                                   | Status    | Name   | Size | Volume Type | Bootable | Attached to |
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+
| 0fefa93d-475e-4cde-9246-cc5666fde991 | available | peter1 | 10   | -           | false    |             |
+--------------------------------------+-----------+--------+------+-------------+----------+-------------+
　　注意上面使用了--os-auth-type-noauth,这就是让它直接请求cinder api，而不是先到keystone去认证。使用--os-endpoint=127.0.0.1:8776/v3是因为cinder-api同时暴露在了host上的这个端口上。
　　这样，就可以使用很多cinder的命令，比如cinder create，list，snapshot-create等等，相关的storage就可以被这个standalone的cinder来管理了。

使用local-attach
　　volume创建好后，这里不能给到VM直接使用，因为没有nova:)。尴尬，难道volume就不能给host用了吗？当然可以。opestack社区提供了一个cinder client的plugin，让volume可以直接attach给一个host
　　安装python-brick-cinderclient-ext



git clone https://github.com/openstack/python-brick-cinderclient-ext
pip install -e python-brick-cinderclient-ext/
　　现在我把刚才创建的volume暴露给host使用（记得在host上安装open-iscsi包）



cinder --os-auth-type=noauth --os-endpoint="http://127.0.0.1:8776/v3" --os-user-id=admin --os-tenant-id=admin local-attach 0fefa93d-475e-4cde-9246-cc5666fde991
　　注意，要保证--os-user-id和--os-tenant-id使用与create volume一样的参数，否则会出现NotVolumeFound类似的error

参考文献：
　　https://thenewstack.io/deploying-cinder-stand-alone-storage-service/
　　https://gorka.eguileor.com/standalone-cinder/