Kubernetes 集群使用 Jenkins 持续发布

清风听雨

　　运行环境准备与相关软件要求
　　1.生产级 kubernetes 集群 推荐 1.8 以上版本
　　2.Gitlab docker 镜像 slpcat/gitlab-ce
　　3.Jenkins docker 镜像
　　Jenkins master 镜像 slpcat/kube-jenkins-service 已安装需要的各种插件，已预先配置使用 kubernetes 管理 jenkins slave Jenkins slave 镜像 slpcat/kube-jenkins-dind-agent
　　支持 jnlp 协议，git 源码管理，以及 Docker in Docker
　　4.Docker 私有镜像仓库，用户名密码，用于存放生成的 docker 镜像
　　实现功能与目标
　　1.gitlab 与 jenkins 使用 openid 统一认证，认证源为 gitlab 账户
　　2.Jenkins 使用 kubernetes 进行分布式构建任务
　　3.Jenkins 在 kubernetes 群集里面自动发布业务 pod，svc
　　4.钉钉机器人通知 jenkins 任务构建进度与结果
　　5.最终目标是开发人员运行 git push 提交代码，业务自动上线运行，无需人工干预
　　安装过程
　　搭建 kubernetes 群集
　　略
　　安装 Gitlab 到 kubernetes
　　使用持久化存储镜像 slpcat/gitlab-ce
　　集群内域名 gitlab.default.svc.cluster.local 外部域名 git.example.com
　　配置样本：https://github.com/slpcat/docker-images/tree/master/gitlab-ce安装 Jenkins 到 kubernetes
　　使用持久化存储
　　需要创建 serviceaccount 授权 jenkins 完全访问 kubernetes 集群镜像 slpcat/kube-jenkins-service
　　集群内域名 jenkins.default.svc.cluster.local 外部域名 jenkins.example.com
　　配置样本：https://github.com/slpcat/docker-images/tree/master/kube-jenkins-service
　　相关功能配置
　　jenkisn 使用 gitlab 认证用户 Gitlab 建立应用
　　Admin Area –>Applications—>New application

　　Application name： jenkins
　　CallbackURL:    http://jenkins.example.com/securityRealm/finishLogin
　　Scops: read_user, openid

　　记下 Application>　　Jenkins 安全设置系统管理—>全局安全管理

　　启用 gitlab 用户认证 勾选 Gitlab Authentication Plugin GitLab Web URI 填 gitlab 服务器地址 http://git.example.com GitLab API URI 填 gitlab 服务器地址 http://git. example.com Client>　　授权策略： 登录用户可以做任何事 Allow anonymous read access
　　保存，jenkins 首页点登录，跳转 gitlab 用户登录，输入 gitlab 用户名密码，然后显示以下页面

　　点 Authorize 登录进入 jenkins
　　Jenkins 使用 kubernetes 集群创建 pod 作为 slave
　　系统管理系统设置云新增一个云 选 Kubernetes

　　Name 填 kubernetes
　　Kubernetes URL 填 https://kubernetes.default.svc.cluster.local Kubernetes Namespace 填 default
　　Credentials 填 jenkins 这个 service account
　　然后测试连接
　　Jenkins URL 填 http://jenkins.default.svc.cluster.local:8080
　　创建 Jenkins slave 的 kubernetes pod 模板

　　Defaults Provider Template Name 填 jenkins-slave
　　Kubernetes Pod Template Name 填 jnlp-slave Namespace 填 default Labels 填 jnlp-slave Container Template Name 填 jnlp
　　Docker image 填 slpcat/kube-jenkins-dind-agent Working directory 填 /home/jenkins
　　Command to run slave agent 清空
　　Arguments to pass to the command 填 ${computer.jnlpmac} ${computer.name}
　　高级里面
　　Run in privileged mode 勾选 特权模式运行 pod
　　项目发布流程
　　1.开发人员运行 Git push 提交代码到 gitlab 代码库
　　2.Gitlab 的 web hook 触发 jenkins 构建任务
　　3.Jenkins master 使用 kubernetes 集群创建 jenkins slave
　　4.jenkins slave 根据构建任务定义执行动作
　　0gitlab 代码库下载项目代码，根据 Dockerfile 定义制作 docker 镜像，上传 docker 镜像到私有仓库 registry，根据模板生成 kubernetes 配置文件，最后部署镜像到 kubernets 运行
　　5.任务完成，使用钉钉机器人发送通知
　　DevOPS 操作规范与要求
　　项目代码与服务模板每个 git 项目内容如下

　　Dockerfile：镜像构建文件
　　kubernetes:kubernetes相关配置文件模板目录 deploy svc pvc等
　　www_root：业务代码目录
　　以及其他配置文件与脚本（根据需要添加）
　　jenkins 新建构建任务

　　选择构建一个自由风格的软件项目
　　General配置

　　填写名字和描述
　　勾选 Restrict where this project can be run
　　Label Expression 填jnlp-slave
　　限制运行 设置标签表达式 jnlp-slave
　　源码管理

　　Repository URL
　　填写git地址 git@git.example.com/example_web.git
　　Credentials 添加git账户名和ssh私钥
　　构建触发器 勾选 Build when a change is pushed to GitLab

　　记下触发器地址和生成的 Secret token
　　Gitlab项目内设置 web hook
　　项目名 ——Settings——integrations

　　填写Jenkins生成的触发器地址和 Secret token
　　构建 增加构建步骤
　　Docker build and publish

　　Repository  Name 填写镜像名称
　　Tag填写镜像标签 本例使用${UILD_NUMBER} 构建号码为tag
　　Docker registry URL 填写私有仓库地址 https://registry.cn-beijing.aliyuncs.com/v2/
　　Registry credentials 设置私有仓库用户名和密码
　　Deploy to kubernetes 填写k8s凭证 包括地址 证书，复制kubectl控制用户 ~/.kubectl/config相关字段
　　Config Files 填写项目内kubernetes配置文件路径 逗号分隔
　　Enable Variable Substitution in Config 勾选变量替换
　　构建后操作
　　钉钉电脑客户端——钉钉群——群设置——群机器人——添加群机器人——自定义

　　记下access_token
　　Jenkins增加构建后操作步骤——钉钉通知器配置

　　jenkins URL填http://jenkins.example.com/
　　钉钉access token 填写生成的acess_token字串
　　勾选相应的通知选项
　　演示 任务构建控制台输出

　　演示 钉钉群构建通知截图