Docker+Jenkins+Gitlab+Django应用部署实践
一、背景介绍在互联网应用快速更新迭代的大背景下，传统的人工手动或简单脚本已经不能适应此变化，此时Devops为我们提供了良好的解决方案，应用好CI/CD可以大大的方便我们的日常工作，自动化快速的持续集成/持续交付为我们带来了应用开放的更快速度、更好的稳定性和更强的可靠性。
二、拓扑环境
2.1 架构拓扑
http://i2.运维网.com/images/blog/201901/01/f435e481de3f57c9b596b72276711000.png
如上图实例，简单花了下流程拓扑：
[*]当研发push本地代码到gitlab-server后，webhook自动触发jenkins构建应用
[*]在docker host上部署应用git clone来自gitlabserver源码，并启动应用
[*]前端可以放置lb来做高可用
[*]数据库连接云数据库
[*]可将日志存储在log后期投递到elk实现日志可视化
[*]构建完成邮件通知相关人员（测试或开放）
2.2 系统软件版本
名称
版本
Linux系统
CentOS7.3 64位
Docker
1.13
Django
2.0
三、安装部署
3.1 Jenkins安装部署
Jenkins安装部署可参考：jenkins笔记
[*]安装完成后添加Docker目标服务器
http://i2.运维网.com/images/blog/201901/01/4c16b4417cddb0462cdaed7d317daa02.png
[*]配置邮件发送服务器
http://i2.运维网.com/images/blog/201901/01/67d72110d8cf3c24058e85539600361f.png
3.2 Docker安装部署
Docker安装部署及Dockerfile编写可参考：容器Docker详解
3.3 Gitlab安装部署
GitLab安装在公网Linux服务器运行一些命令即可，如果没有公网需要手动修改 /etc/gitlab/gitlab.rb文件的external_url 'http://自己的内网IP'
yum install -y libsemanage-static libsemanage-devel policycoreutils openss
h-server openssh-clients postfix
systemctl enable postfix && systemctl start postfix
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.
0-ce.0.el7.x86_64.rpm
rpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm
# 获取公网IP
PUBLICIP=$(curl http://ipv4.icanhazip.com)
# 修改
sed -i "s/gitlab-server/${PUBLICIP}/g" /etc/gitlab/gitlab.rb
gitlab-ctl reconfigure
gitlab-ctl restart
echo "Username:root"
echo "Password:5iveL!fe"
3.4 配置发布流程
[*]Jenkins新建构建一个自由风格的软件项目
http://i2.运维网.com/images/blog/201901/01/58f4c8e75191be20a918dc6aff5e5e99.png
[*]利用参数化构建方便后续部署Docker传入映射的源端口和release
http://i2.运维网.com/images/blog/201901/01/69ef7a070781b500948ef3a30311856a.png
[*]源代码来自gitlab的django项目
http://i2.运维网.com/images/blog/201901/01/b79e701ab025aab71343c7752786589e.png
[*]利用webhook关联gitlab和jenkins
jenkins安装插件：
http://i2.运维网.com/images/blog/201901/01/574304cf7144931909d1c54705b436e5.png
生成随机token值
http://i2.运维网.com/images/blog/201901/01/86f8a1e6ad1bb679b866446f02499df3.png
将jenkins生成的GitLab webhook URL配置到gitlab
http://i2.运维网.com/images/blog/201901/01/d1e0df1e1509b99c29876499fcbccd95.png
http://i2.运维网.com/images/blog/201901/01/658ee83625d9803a653d302374775569.png
[*]当开发者在本地push代码后自动触发jenkins构建项目，有Dockerfile内写的git pull代码，再次不用将代码由jenkins分发到docker宿主机，jenkins作为触发docker构建使用
http://i2.运维网.com/images/blog/201901/01/f0b4cd86dc4933e0241bb42df89f4129.png
[*]配置构建完成后的邮件
邮件模版，邮件类型选择：
内容类型选择：HTML
邮件主题填写：构建通知:${BUILD_STATUS} - ${PROJECT_NAME} - Build # ${BUILD_NUMBER} !
构建通知模版：
${ENV, var="JOB_NAME"}-第${BUILD_NUMBER}次构建日志
(本邮件是程序自动下发的，请勿回复！)
构建结果 - ${BUILD_STATUS}
构建信息
项目名称 ： ${PROJECT_NAME}
构建编号 ： 第${BUILD_NUMBER}次构建
SVN 版本： ${SVN_REVISION}
触发原因： ${CAUSE}
构建日志： ${BUILD_URL}console
构建 Url ： ${BUILD_URL}
工作目录 ： ${PROJECT_URL}ws
项目 Url ： ${PROJECT_URL}
Changes Since Last
Successful Build:
历史变更记录 : ${PROJECT_URL}changes
${CHANGES_SINCE_LAST_SUCCESS,reverse=true, format="Changes for Build #%n:%c",showPaths=true,changesFormat="[%a]%m",pathFormat=" %p"}
Failed Test Results
$FAILED_TESTS
构建日志 (最后 100行):
${BUILD_LOG, maxLines=100}
触发类型可根据自身需要填写，这里填写always无论成功还是失败都发送邮件
http://i2.运维网.com/images/blog/201901/01/99840b4776202189b5778dc2e35b3974.png
[*]查看远程Docker服务器内的文件
http://i2.运维网.com/images/blog/201901/01/269f83b5629819e5f0429a6b6d7acb9b.png
[*]django部署已经利用conda打包好了项目的Python3.6的环境包自制了Docker镜像
http://i2.运维网.com/images/blog/201901/01/396acbb1f0a9a98057cdd91cb1f34081.png
之前利用的是纯净的Python3.6系统，在每次构建的时候利用pip安装requirements.txt的模块，但是长此以往由于环境变化很少，每次需要pip安装耗时，所以利用conda将打包好的Python环境自制成定制化环境，以此来减少环境部署时间，也可以通过docker镜像制作是-v参数将本地磁盘挂载在环境内，每次构建本地的conda即可，完成快速环境部署。
查看Dockerfile
FROM 87a69025db6a
MAINTAINER kaliarch
# 定义docker中工作目录
ENV WORK_DIR /work/
# 创建docker内工作目录
RUN mkdir $WORK_DIR
# 定义映射端口
EXPOSE 80
WORKDIR $WORK_DIR
RUN git clone http://123.xxxx.xxxxx.245/Devops/go2cloud.git
# 添加启动服务脚本
ADD *.sh ${WORK_DIR}
CMD `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%F).log
查看Django启动脚本
#!/bin/bash
BASEPATH=$(cd `dirname $0`;pwd)
PY_CMD=/python3/bin/python
# 服务入口文件
#MAIN_APP=${BASEPATH}/go2cloud/manage.py
# 迁移脚本入口文件
SCRIPTS_APP=${BASEPATH}/go2cloud/scripts/migrate_task_schdule.py
# 删除脚本入口文件
DELETE_APP=${BASEPATH}/go2cloud/scripts/delete_transfer_server.py
# 日志目录
LOG_DIR=${BASEPATH}/logs/
[ ! -d ${LOG_DIR} ] && mkdir ${LOG_DIR}
# 启动服务
#nohup ${PY_CMD} -u ${MAIN_APP} runserver 0.0.0.0:80 >> ${LOG_DIR}server-$(date +%F).log 2>&1 &
# 启动脚本迁移调度脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}task-script-$(date +%F).log
nohup ${PY_CMD} -u ${SCRIPTS_APP} >> ${LOG_DIR}script-$(date +%F).log 2>&1 &
# 启动迁移删除脚本
echo "---------$0 $(date) excute----------" >> ${LOG_DIR}delete-script-$(date +%F).log
nohup ${PY_CMD} -u ${DELETE_APP} >> ${LOG_DIR}delete-script-$(date +%F).log 2>&1 &
查看jenkins部署脚本
#!/bin/bash
release=$1
port=$2
BASEPATH=$(cd `dirname $0`;pwd)
# 构建go2cloud-platform 镜像
cd /dockerwork
docker build -t go2cloud-platform-mini:$release .
IMGNAME=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')
echo $IMGNAME
# 启动容器
docker run -d -p ${port}:80 -v /testlog/:/work/logs ${IMGNAME}
利用-v参数将日志持续化存储到docker 宿主机之上
四、测试展示
4.1 测试构建
手动构建测试
http://i2.运维网.com/images/blog/201901/01/f9e46b67267ece60518635869c98aeb7.png
4.2 查看log
http://i2.运维网.com/images/blog/201901/01/1baf4007ad47bd3617ccd241f00f71f8.png
http://i2.运维网.com/images/blog/201901/01/7263f943c9ec0c02bf5be4bead2f4d4f.png
http://i2.运维网.com/images/blog/201901/01/0bd2772796647c3ba14dd988b6c7abfe.png
4.3 查看docker容器
http://i2.运维网.com/images/blog/201901/01/dc2554e9a095e655c3a0568e037b15b8.png
4.4 测试app
http://i2.运维网.com/images/blog/201901/01/43f01bb590b525ed3f03bc6d297bb21b.png
五、反思改进
[*]目前数据库连接的为云服务器搭建的数据库，后期数据库也利用docker，多组采用docker-compose统一部署管理
[*]后期可以利用利用公有云k8s集群进行方便测试
[*]目前docker容器产生的日志在docker宿主机上，后期可以将其存储在cos上，再投递到elk集群日志可视化处理
[*]将镜像统一管理制作本地镜像仓库
[*]gitlab添加code review并结合自动测试
页:
[1]