使用kubeadm部署高可用 k8s 1.9.2
高可用 k8s 1.9.2安装：节点信息：
主机名称 IP 备注
docker09 10.211.121.9 master和etcd
docker10 10.211.121.10 master和etcd
docker22 10.211.121.22 master和etcd
vip-keepalive 10.211.121.102vip用于高可用
一、系统初始化
1、优化yum源：
sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
cat > /etc/docker/daemon.json
systemctl start docker
三、安装k8s
高可用集群部署官方文档：
https://kubernetes.io/docs/setup/independent/high-availability/
开始之前：
1、由于网络原因，无法联网下载镜像等，离线下载对应安装包和镜像，目前已经下载好了，当然最好还是×××解决，不然各种毛病，需要***可私聊我：
链接：https://pan.baidu.com/s/1dzQyiq 密码：dyvi
#安装kubelet 、kubectl 、cni
cd k8s192 && yum localinstall *rpm
#load镜像
for i in ls *tar;do docker load < $i ;done
2、修改cgroup-driver为cgroupfs：
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"
sed -i 's/systemd/cgroupfs/g' /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
3、命令补全:
yum install -y bash-completion
source /usr/share/bash-completion/bash_completion
source~/.bashrc
Setting up an HA etcd cluster
https://kubernetes.io/docs/setup/independent/high-availability/
1、参考官方文档，Create etcd CA certs
2、Run etcd
选择systemd方式，即非容器方式部署到物理机上。etcd 软件包需要×××下载。
官方文档有个问题：
ExecStart=/usr/local/bin/etcd --name ${PEER_NAME}
这里的 PEER_NAME 变量 必须要和下面的 一致，否则启动会失败
--initial-cluster =https://:2380,=https://:2380,=https://:2380 \
第一个etcd启动时，会等待其他节点启动，待其他节点启动后，etcd才能正常。
检查etc的状态，如下为正常：
etcdctl --endpoints=https://10.211.121.9:2379--ca-file=/etc/kubernetes/pki/etcd/ca.pem--cert-file=/etc/kubernetes/pki/etcd/server.pem--key-file=/etc/kubernetes/pki/etcd/server-key.pemcluster-health
member 6ebda37987af36d is healthy: got healthy result from https://10.211.121.22:2379
member 15f530c6e1580621 is healthy: got healthy result from https://10.211.121.9:2379
member a43675f5f779e638 is healthy: got healthy result from https://10.211.121.10:2379
cluster is healthy
3、Set up master Load Balancer
这里选择 on-site ，用keepalived在3个节点上构建。
4、Run kubeadm init on master0
使用kubeadm 初始化master节点
#以防万一，初始化kubeadm并清除以前安装可能留下的痕迹
kubeadm reset
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/
apiVersion: kubeadm.k8s.io/v1alpha1
kind: MasterConfiguration
api:
advertiseAddress: 10.211.121.102
etcd:
endpoints:
[*]https://10.211.121.9:2379
[*]https://10.211.121.10:2379
[*] https://10.211.121.22:2379
caFile: /etc/kubernetes/pki/etcd/ca.pem
certFile: /etc/kubernetes/pki/etcd/client.pem
keyFile: /etc/kubernetes/pki/etcd/client-key.pem
kubernetesVersion: 1.9.2
networking:
podSubnet: 10.244.0.0/16
apiServerCertSANs:
[*]10.211.121.9
[*]10.211.121.10
[*]10.211.121.22
[*]docker09
[*]docker10
[*]docker22
apiServerExtraArgs:
endpoint-reconciler-type: lease
advertiseAddress: 10.211.121.102 是VIP 地址。
podSubnet: 10.244.0.0/16 选择和flannel 组件部署的同一个子网 ，否则会失败。
（必须指定版本，否则会远程拉取镜像最终失败）
执行：
kubeadm init --config=/etc/kubernetes/config.yaml
把生成的密钥文件，同步到其他master节点：
scp root@:/etc/kubernetes/pki/ /etc/kubernetes/pki
rm apiserver.
5、在其他master节点，同样执行
kubeadm init --config=/etc/kubernetes/config.yaml
6、安装网络模块
这里使用flannel网络模块，覆盖网络。
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml
或者：
kubectl apply -f https://docs.projectcalico.org/v2.0/getting-started/kubernetes/installation/hosted/kubeadm/calico.yaml
https://kubernetes.io/docs/tasks/run-application/run-stateless-application-deployment/
7、 为了测试我们把master 设置为 可部署role
默认情况下，为了保证master的安全，master是不会被调度到app的。你可以取消这个限制通过输入：
kubectl taint nodes --all node-role.kubernetes.io/master-
至此，部署完成，3个master节点。
kubectlgetnode
NAME STATUS ROLES AGE VERSION
docker09 Ready master 33m v1.9.2
docker10 NotReady master 31m v1.9.2
docker22 Ready master 30m v1.9.2
参考文档：
https://kubernetes.io/docs/setup/independent/high-availability/
https://www.kubernetes.org.cn/3808.html
页:
[1]