kolla管理openstack容器

tonwei139

　　本文以nova-api容器为例，说明kolla如何将nova-api配置文件传入容器，容器如何启动nova-api服务并读取配置文件
　　注:第一部分比较无趣，二三部分 会有意思一些

1. nova-api容器参数

• 　　nova-api容器定义
  　　
  ansible.roles.nova.defaults.main.yml中定义了nova的所有容器及容器参数，下面的代码nova-api容器的定义， 注意代码中第一条， 对于所有容器kolla都有类似的定义：将/etc/kolla下的配置目录，作为volume挂载到容器内的/var/lib/kolla/config_files目录上，供容器启动时读取
  　　
  
    nova-api:　　
  container_name: "nova_api"
  　　
  group: "nova-api"
  　　
  image: "{{ nova_api_image_full }}"
  　　
  enabled: True
  　　
  privileged: True
  　　
  volumes:
  　　# 将用户nova-api服务配置目录/etc/kolla/nova-api传入容器，映射为/var/lib/kolla/config_files/,并设置为只读
  　　- "{{ node_config_directory }}/nova-api/:{{ container_config_directory }}/:ro"
  　　# 容器时钟和虚拟机时钟同步
  　　- "/etc/localtime:/etc/localtime:ro"
  　　# 宿主机内核，mount给容器之后，容器可以启用宿主机未启用的内核模块
  　　- "/lib/modules:/lib/modules:ro"
  　　# openstack日志目录
  　　- "kolla_logs:/var/log/kolla/"
  
  
• 　　nova-api容器操作定义
  　　
  ansible.roles.nova.handlers.main.yml中定义了对nova各个容器的操作及其参数，下面的代码是nova-api服务restart的参数，注意该函数的名称虽然是restart nova-api，但是action是recreate_or_restart_container，如果restart nova-api容器时，该容器不存在，restart函数会创建该容器并启动。
  　　
  由于nova的服务都是无状态应用，重启容器和重新创建容器没有区别，所以kolla在handler中仅仅定义了restart or recreate操作，但是对于mariadb容器，handler把创建和重启容器分开来，handler包括中定义了start_container，recreate_or_restart_container两个操作
  
  

　　

- name: Restart nova-api container　　vars:
　　service_name: "nova-api"
　　service: "{{ nova_services[service_name] }}"
　　config_json: 略
　　nova_conf: 略
　　policy_json: 略
　　nova_api_container: 略
　　kolla_docker:
　　action: "recreate_or_restart_container"
　　common_options: "{{ docker_common_options }}"
　　name: "{{ service.container_name }}"
　　image: "{{ service.image }}"
　　privileged: "{{ service.privileged | default(False) }}"
　　volumes: "{{ service.volumes|reject('equalto', '')|list }}"
　　when:
　　略
　　

• nova-api容器创建　　
  ansible.library.kolla_docker.py中定义了所有容器创建的函数 create_container
  
  

　　

    def create_container(self):　　self.changed = True
　　# 获取创建容器的volume配置等容器创建参数
　　options = self.build_container_options()
　　# 调用docker driver创建容器
　　self.dc.create_container(**options)
　　def build_container_options(self):
　　#生成volume参数
　　volumes, binds = self.generate_volumes()
　　return {
　　'detach': self.params.get('detach'),
　　'environment': self._format_env_vars(),
　　'host_config': self.build_host_config(binds),
　　'labels': self.params.get('labels'),
　　'image': self.params.get('image'),
　　'name': self.params.get('name'),
　　'volumes': volumes,
　　'tty': True
　　}
　　def generate_volumes(self):
　　# self.params在初始化时使用1中的kolla_docker参数定义
　　volumes = self.params.get('volumes')
　　# 解析字符串，略
　　for vol in volumes:
　　#解析字符串，略
　　return vol_list, vol_dict
　　

2. 寻找nova-api容器的启动命令

• 　　nova-api
  　　
  通过上面的步骤,kolla将nova-api容器创建出来并启动，并且将宿主机上的/etc/kolla/nova-api作为volume挂载到容器的/var/lib/kolla/config_files上。容器启动时，会执行容器docker file中的CMD命令。而nova-api的dockerfile位于kolla项目（不是kolla-ansible）的docker.nova.nova-api.Dockerfile.j2,内容如下：
  　　
  
  # 定义父镜像为nova-base镜像　　
  FROM {{ namespace }}/{{ image_prefix }}nova-base:{{ tag }}
  　　
  # 作者信息，略
  　　
  
  　　
  # 安装nova-api服务的步骤，略
  　　
  
  　　
  COPY extend_start.sh /usr/local/bin/kolla_nova_extend_start
  　　
  RUN chmod 755 /usr/local/bin/kolla_nova_extend_start
  　　
  USER nova
  　　
  
  　　这个dockerfile定义了一个基于nova-base的nova-api镜像，在nova-base镜像的基础上，主要做了两件事：安装nova-api服务，复制extend_start.sh文件为kolla_nova_extend_start文件。
  
  

　　"/usr/local/bin/" 是环境变量PATH的默认值之一，将extend_start.sht文件拷贝到这个目录后，kolla_nova_extend_start成为容器里可以直接执行的一个命令。
　　Dockerfile中，对容器启动时执行的命令是这个定义的CMD ["可执行命令"], 在这个dockerfile中没有定义容器启动命令CMD。

• nova-base image　　
  我们再去看一下父镜像nova-base的Dockerfile：
  
  

　　

    FROM {{ namespace }}/{{ image_prefix }}openstack-base:{{ tag }}　　LABEL maintainer="{{ maintainer }}" name="{{ image_name }}" build-date="{{ build_date }}"
　　

　　# 安装所有nova服务通用的rpm包，如：python-keystoneclient，nova-common，etc，代码略
　　

　　# 创建/etc/nova目录并设置权限
　　COPY nova_sudoers /etc/sudoers.d/kolla_nova_sudoers
　　RUN chmod 750 /etc/sudoers.d \
　　&& chmod 440 /etc/sudoers.d/kolla_nova_sudoers
　　

　　COPY extend_start.sh /usr/local/bin/kolla_extend_start
　　

　　RUN touch /usr/local/bin/kolla_nova_extend_start \
　　&& chmod 755 /usr/local/bin/kolla_extend_start /usr/local/bin/kolla_nova_extend_start
　　

　　在这个文件里面，kolla复制extend_start.sh生成kolla_extend_start文件。这里依然没有定义CMD。

• openstack-base　　
  我们继续看这个镜像的父镜像openstack-base的Dockerfile：
  
  

　　

    FROM {{ namespace }}/{{ image_prefix }}base:{{ tag }}　　

　　# 安装openstack通用rpm包，如git，gcc，eventle，代码略
　　

　　ENV PATH /var/lib/kolla/venv/bin:$PATH
　　

　　RUN {{ macros.install_pip(openstack_base_pip_packages | customizable("pip_packages")) }}
　　

　　在这里kolla设置了环境变量PATH=/var/lib/kolla/venv/bin，这个目录下存放了nova-api文件，这样nova-api成为可在容器里直接执行的命令

• base image　　
  继续看父镜像base的Dockerfile:
  
  

　　

    FROM {{ base_image }}:{{ base_distro_tag }}　　

　　# 创建用户组
　　

　　# 配置yum或者apt的源，pip源
　　

　　COPY set_configs.py /usr/local/bin/kolla_set_configs
　　COPY start.sh /usr/local/bin/kolla_start
　　COPY sudoers /etc/sudoers
　　COPY curlrc /root/.curlrc
　　

　　# 安装并设置dumb-init
　　# 创建 /var/log/kolla 并设置权限
　　# 创建/usr/local/bin/kolla_extend_start 文件并设置权限
　　CMD ["kolla_start"]
　　

　　可以看到这里生成了kolla_start文件，并且将容器启动命令设置为kolla_start，由于base镜像是所有kolla镜像的公共镜像，所以，几乎所有kolla容器启动时，执行的命令，都是kolla_start命令，之所以说几乎，是因为有个别镜像重写了CMD

3. 通过kolla_start启动nova-api
　　kolla_start是一个shell脚本，内容如下：
　　

#!/bin/bash　　
set -o errexit
　　

　　
# 解析 /var/lib/kolla/config_files/目录下的config.json，将config.json中的command写入/command文件，将config.json中的config_files拷贝到指定目录。 /var/lib/kolla/config_files是由我们在1.1中定义的/etc/kolla/nova-api目录映射而来。
　　
sudo -E kolla_set_configs
　　

　　
# 获取config.json中的command内容，对于nova-api，它的值是"nova-api"
　　
CMD=$(cat /run_command)
　　
ARGS=""
　　

　　
#执行kolla_extend_start命令，设置nova日志目录的权限，并调用kolla_nova_extend_start命令，进行判断：如果是初始化nova-api服务，执行dbsync，如果不是，什么都不做
　　
. kolla_extend_start
　　

　　
#执行nova-api命令，启动该服务
　　
echo "Running command: '${CMD}${ARGS:+ $ARGS}'"
　　
exec ${CMD} ${ARGS}
　　

　　可以看出，所有的openstack服务都按照上面的流程启动，不同的服务：

• 所有服务都使用/etc/kolla/服务名/config.json中command，作为服务的启动命令
  
• 所有服务都使用/etc/kolla/服务名/config.json中config_files, 作为服务的配置文件
  
• 所有服务都有相同的kolla_start脚本。这个脚本在kolla项目中存放的位置是kolla.docker.base.start.sh。这个脚本会先调用kolla_extend_start脚本, 然后执行服务启动命令。
  
• 所有同一项目的服务有相同的kolla_extend_start脚本。以nova项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_base.extend_start.sh。所有nova容器都使用这个脚本会创建项目日志目录，设置权限，调用容器内的kolla_nova_extend_start脚本。
  
• 所有服务都有不同的kolla_项目名_extend_start脚本，以nova_api项目为例，这个脚本在kolla项目中存放的位置是kolla.docker.nova.nova_api.extend_start.sh。nova-api使用该脚本用来做服务启动前的db_sync, 垃圾清理等操作。