在CentOS7上部署Kubernetes集群

万达换票券

简介
　　Kubernetes(k8s)是Google开源的大规模容器集群管理系统, 本文将基于CentOS7自带的Kubernetes组件、分布式键值存储系统etcd以及Flannel实现的overlay网络来搭建一个简单的k8s集群。

第一步
　　首先要进行集群基础环境的准备，在美团云上创建三台内网机器，其中一台名为tkmaster主机作为k8s集群的Master节点，剩余两台tkminion01~02则是集群的Minion节点。 要求这三台机器均可访问外网，可以创建一个虚拟路由器，通过虚拟路由器访问外网；也可以为每台机器绑定一个浮动IP，但是为了避免集群暴露到外网造成的安全问题，需要对浮动IP设定好防火墙规则。

第二步
　　Master节点软件环境准备：禁用CentOS7自带防火墙，安装kubernetes、etcd、ntpd等软件。
　　

sudo systemctl stop firewalld && sudo systemctl disable firewalld　　
sudo yum install -y kubernetes etcd ntp.x86_64
　　

　　

　　Minion节点软件环境准备：同样禁用CentOS7自带防火墙，安装kubernetes、flannel、ntpd等软件。
　　

sudo systemctl stop firewalld && sudo systemctl disable firewalld　　
sudo yum install -y ntp.x86_64 flannel kubernetes
　　

　　

第三步
　　修改Master节点上etcd的配置/etc/etcd/etcd.conf（本文并没有搭建etcd集群，如果需要参见官方搭建etcd集群的指导教程）。
　　

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"　　

　　

　　修改Master节点kubernetes的全局配置文件/etc/kubernetes/config。
　　

KUBE_LOG_LEVEL="--v=2"　　

　　

　　修改Master节点kubernetes apiserver的配置文件/etc/kubernetes/apiserver。
　　

KUBE_API_ADDRESS="--address=0.0.0.0"　　
KUBE_API_PORT="--port=8080"
　　
KUBELET_PORT="--kubelet_port=10250"
　　

　　

第四步
　　启动Master节点的相关服务：ntpd、etcd、kube-apiserver、kube-scheduler、kube-controller-manager，并将这些服务设为开机自动启动。
　　

for SRV in ntpd etcd kube-apiserver kube-scheduler kube-controller-manager;　　
do
　　
sudo systemctl start $SRV
　　
sudo systemctl enable $SRV
　　
sudo systemctl status $SRV
　　
done
　　

　　

　　如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。

第五步
　　在Master节点修改etcd的配置，设定Minion中flannel所使用的子网范围为172.17.1.0~172.17.254.0（每一个Minion节点都有一个独立的flannel子网）。
　　

etcdctl mk /coreos.com/network/config '{"Network":"172.17.0.0/16", "SubnetMin": "172.17.1.0", "SubnetMax": "172.17.254.0"}'　　

　　

第六步
　　修改Minion节点上flannel的配置/etc/sysconfig/flanneld，设定etcd的相关信息，其中172.26.10.110为tkmaster的IP地址。
　　

FLANNEL_ETCD="http://172.26.10.110:2379"　　

　　

　　修改Minion节点kubernetes的全局配置文件/etc/kubernetes/config。
　　

KUBE_LOG_LEVEL="--v=2"　　
KUBE_MASTER="--master=http://172.26.10.110:8080"
　　

　　

　　修改Minion节点上kubernetes kubelet的配置/etc/kubernetes/kubelet。
　　

KUBELET_ADDRESS="--address=0.0.0.0"　　
KUBELET_PORT="--port=10250"
　　
KUBELET_API_SERVER="--api_servers=http://172.26.10.110:8080"
　　
KUBELET_HOSTNAME=""
　　

　　

第七步
　　在Minion节点上启动相关服务：ntpd、flanneld、docker、kube-proxy、kubelet，并将这些服务设为开机自启动。
　　

for SRV in ntpd flanneld docker kube-proxy kubelet;　　
do
　　
sudo systemctl start $SRV
　　
sudo systemctl enable $SRV
　　
sudo systemctl status $SRV
　　
done
　　

　　

　　类似Master节点，如果每一个服务都启动成功，那么sudo systemctl status $SRV显示的信息则包含Active: active (running)。

第八步
　　在Master节点查看k8s集群状态。
　　

[fcbusquest@tkmaster ~]$ kubectl get nodes -o wide　　
NAME         LABELS                              STATUS
　　
tkminion01   kubernetes.io/hostname=tkminion01   Ready
　　
tkminion02   kubernetes.io/hostname=tkminion02   Ready
　　

　　

　　在Master节点查看flannel子网分配情况。
　　

[fcbusquest@tkmaster ~]$ etcdctl ls /coreos.com/network/subnets　　
/coreos.com/network/subnets/172.17.53.0-24
　　
/coreos.com/network/subnets/172.17.72.0-24
　　

　　

　　在Minion节点通过ip a查看flannel和docker网桥的网络配置信息，确认是否与etcd中/coreos.com/network/subnets的信息一致。

第九步
　　从github下载kubernetes源码，并切换到kubernetes/examples/guestbook参考官方文档搭建一个完整的应用来验证集群的基本功能。

常见问题
　　如果出现异常情况可以通过sudo journalctl -f -u unitname来查看kubelet、kube-proxy、flannel、docker等服务的日志。

• 　　Minion无法从gcr.io中下载pause镜像，导致Pod无法创建。
  　　由于不可抗力的因素, 无法从gcr.io下载默认的pause镜像；所以只能从dockerhub来下载pause镜像并打tag来解决该问题。
  
  

　　

sudo docker pull kubernetes/pause　　
sudo docker tag kubernetes/pause gcr.io/google_containers/pause:0.8.0
　　
sudo docker tag kubernetes/pause gcr.io/google_containers/pause
　　

　　

参考资料

• Flannel Readme
  
• Kubernetes pause issues
  
• Kubernetes guestbook examples