使用kubeadm部署高可用 k8s 1.9.2

sunsir

　　高可用 k8s 1.9.2安装：
　　节点信息：
主机名称               IP                       备注
docker09        10.211.121.9    master和etcd
docker10        10.211.121.10   master和etcd
docker22        10.211.121.22   master和etcd
vip-keepalive       10.211.121.102  vip用于高可用
　　一、系统初始化
1、优化yum源：
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
　　cat > /etc/docker/daemon.json
　　systemctl start docker
　　三、安装k8s
高可用集群部署官方文档：
https://kubernetes.io/docs/setup/independent/high-availability/
　　开始之前：
1、由于网络原因，无法联网下载镜像等，离线下载对应安装包和镜像，目前已经下载好了，当然最好还是×××解决，不然各种毛病，需要***可私聊我：
链接：https://pan.baidu.com/s/1dzQyiq 密码：dyvi
　　#安装kubelet 、kubectl 、cni
cd k8s192 && yum localinstall *rpm
　　#load镜像
for i in ls *tar;do docker load < $i ;done
　　2、修改cgroup-driver为cgroupfs：
Environment=&quot;KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs&quot;
sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
　　3、命令补全:
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source  ~/.bashrc
　　Setting up an HA etcd cluster
https://kubernetes.io/docs/setup/independent/high-availability/
1、参考官方文档，Create etcd CA certs
2、Run etcd
选择systemd方式，即非容器方式部署到物理机上。etcd 软件包需要×××下载。
官方文档有个问题：
ExecStart=/usr/local/bin/etcd --name ${PEER_NAME}  
这里的 PEER_NAME 变量 必须要和下面的 一致，否则启动会失败
--initial-cluster =https://:2380,=https://:2380,=https://:2380 \
　　第一个etcd启动时，会等待其他节点启动，待其他节点启动后，etcd才能正常。
　　检查etc的状态，如下为正常：
etcdctl --endpoints=https://10.211.121.9:2379  --ca-file=/etc/kubernetes/pki/etcd/ca.pem  --cert-file=/etc/kubernetes/pki/etcd/server.pem  --key-file=/etc/kubernetes/pki/etcd/server-key.pemcluster-health
　　member 6ebda37987af36d is healthy: got healthy result from https://10.211.121.22:2379
member 15f530c6e1580621 is healthy: got healthy result from https://10.211.121.9:2379
member a43675f5f779e638 is healthy: got healthy result from https://10.211.121.10:2379
cluster is healthy
　　3、Set up master Load Balancer
　　这里选择 on-site ，用keepalived  在3个节点上构建。
　　4、Run kubeadm init on master0
使用kubeadm 初始化master节点
#以防万一，初始化kubeadm并清除以前安装可能留下的痕迹
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
　　apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
api:
advertiseAddress: 10.211.121.102
etcd:
endpoints:

• https://10.211.121.9:2379
  
• https://10.211.121.10:2379
  
• 　　https://10.211.121.22:2379
  caFile: /etc/kubernetes/pki/etcd/ca.pem
  certFile: /etc/kubernetes/pki/etcd/client.pem
  keyFile: /etc/kubernetes/pki/etcd/client-key.pem
  kubernetesVersion: 1.9.2
  networking:
  podSubnet: 10.244.0.0/16
  apiServerCertSANs:
  
  
  
  • 10.211.121.9
    
  • 10.211.121.10
    
  • 10.211.121.22
    
  • docker09
    
  • docker10
    
  • docker22
    apiServerExtraArgs:
    endpoint-reconciler-type: lease
    
  　　advertiseAddress: 10.211.121.102 是VIP 地址。
  podSubnet: 10.244.0.0/16   选择和flannel 组件部署的同一个子网 ，否则会失败。
  （必须指定版本，否则会远程拉取镜像最终失败）
  
  

　　执行：
kubeadm init --config=/etc/kubernetes/config.yaml
　　把生成的密钥文件，同步到其他master节点：
scp root@:/etc/kubernetes/pki/ /etc/kubernetes/pki
rm apiserver.
　　5、在其他master节点，同样执行
kubeadm init --config=/etc/kubernetes/config.yaml
　　6、安装网络模块
这里使用flannel网络模块，覆盖网络。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml
　　或者：
kubectl apply -f https://docs.projectcalico.org/v2.0/getting-started/kubernetes/installation/hosted/kubeadm/calico.yaml
　　https://kubernetes.io/docs/tasks/run-application/run-stateless-application-deployment/
　　7、 为了测试我们把master 设置为 可部署role
默认情况下，为了保证master的安全，master是不会被调度到app的。你可以取消这个限制通过输入：
kubectl taint nodes --all node-role.kubernetes.io/master-
　　至此，部署完成，3个master节点。
kubectl  get  node
　　NAME       STATUS     ROLES     AGE       VERSION
docker09   Ready      master    33m       v1.9.2
docker10   NotReady   master    31m       v1.9.2
docker22   Ready      master    30m       v1.9.2
　　参考文档：
https://kubernetes.io/docs/setup/independent/high-availability/
https://www.kubernetes.org.cn/3808.html