部署k8s ssl集群实践6:配置高可用kube

wxin

　　参考文档:
https://github.com/opsnull/follow-me-install-kubernetes-cluster
感谢作者的无私分享。
集群环境已搭建成功跑起来。
文章是部署过程中遇到的错误和详细操作步骤记录。如有需要对比参考，请按照顺序阅读和测试。
　　kubernetes master 节点运行如下组件：
kube-apiserver
kube-scheduler
kube-controller-manager
kube-scheduler 和 kube-controller-manager 可以以集群模式运行，通过 leader 选举产
生一个工作进程，其它进程处于阻塞模式。
对于 kube-apiserver，可以运行多个实例（本文档是 3 实例），但对其它组件需要提供统一的访问地址，该地址需要高可用。本文档使用 keepalived 和 haproxy 实现 kubeapiserver
VIP 高可用和负载均衡。
　　集群模式和ha+keepalived的主要区别是什么呢？
ha+keepalived配置vip，实现了api唯一的访问地址和负载均衡。
集群模式没有配置vip。
　　6.1
配置高可用组件
　　keepalived 提供 kube-apiserver 对外服务的 VIP；
haproxy 监听 VIP，后端连接所有 kube-apiserver 实例，提供健康检查和负载均衡
功能；
运行 keepalived 和 haproxy 的节点称为 LB 节点。由于 keepalived 是一主多备运行模
式，故至少两个 LB 节点。
本文档复用 master 节点的三台机器，haproxy 监听的端口(8443) 需要与 kube-apiserver
的端口 6443 不同，避免冲突。
keepalived 在运行过程中周期检查本机的 haproxy 进程状态，如果检测到 haproxy 进程
异常，则触发重新选主的过程，VIP 将飘移到新选出来的主节点，从而实现 VIP 的高可
用。
所有组件（如 kubeclt、apiserver、controller-manager、scheduler 等）都通过 VIP 和
haproxy 监听的 8443 端口访问 kube-apiserver 服务。
　　安装软件包（三节点都安装)
yum -y install keepalived haproxy
　　配置haproxy.cfg

[root@k8s-master haproxy]# cat haproxy.cfg |grep -v ^#
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats
defaults
    mode                   tcp
    log                     global
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout check           10s
    maxconn                 3000
frontend         kube-api
bind                  0.0.0.0:8443
mode                tcp
log                         global
default_backend         kube-master
backend         kube-master
    balance     source
    server  k8s-master 192.168.1.92:6443 check inter 2000 fall 2
    server  k8s-node1  192.168.1.93:6443 check inter 2000 fall 2
    server  k8s-node2  192.168.1.95:6443 check inter 2000 fall 2
listen stats
mode http
bind 0.0.0.0:1080
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
stats admin if TRUE
[root@k8s-master haproxy]#
　　拷贝到其他节点

[root@k8s-master haproxy]# scp haproxy.cfg root@k8s-node1:/etc/haproxy/
haproxy.cfg                                                                           100% 1300     1.7MB/s   00:00   
[root@k8s-master haproxy]# scp haproxy.cfg root@k8s-node2:/etc/haproxy/
haproxy.cfg                                                                           100% 1300     1.7MB/s   00:00   
[root@k8s-master haproxy]#
　　haproxy 在 1080 端口输出 status 信息；
haproxy 监听所有接口的 8443 端口，该端口与环境变量 ${KUBE_APISERVER} 指
定的端口必须一致；
server 字段列出所有 kube-apiserver 监听的 IP 和端口；
　　启动haproxy

[root@k8s-master haproxy]# systemctl status haproxy -l
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; disabled; vendor preset: disabled)
   Active: active (running) since 二 2018-08-21 17:15:40 CST; 2min 19s ago
Main PID: 7709 (haproxy-systemd)
    Tasks: 3
   Memory: 1.7M
   CGroup: /system.slice/haproxy.service
           ├─7709 /usr/sbin/haproxy-systemd-wrapper -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid
           ├─7710 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
           └─7711 /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
8月 21 17:15:40 k8s-master systemd[1]: Started HAProxy Load Balancer.
8月 21 17:15:40 k8s-master systemd[1]: Starting HAProxy Load Balancer...
8月 21 17:15:40 k8s-master haproxy-systemd-wrapper[7709]: haproxy-systemd-wrapper: executing /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -Ds
[root@k8s-master haproxy]#
　　看看端口启动了吗

[root@k8s-master haproxy]# netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name   
tcp        0      0 192.168.1.92:2379       0.0.0.0:*               LISTEN      2229/etcd          
tcp        0      0 127.0.0.1:2379          0.0.0.0:*               LISTEN      2229/etcd          
tcp        0      0 192.168.1.92:2380       0.0.0.0:*               LISTEN      2229/etcd          
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      749/rpcbind        
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1034/sshd          
tcp        0      0 0.0.0.0:1080            0.0.0.0:*               LISTEN      7711/haproxy       
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1238/master        
tcp        0      0 0.0.0.0:8443            0.0.0.0:*               LISTEN      7711/haproxy       
tcp6       0      0 :::111                  :::*                    LISTEN      749/rpcbind        
tcp6       0      0 :::22                   :::*                    LISTEN      1034/sshd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      1238/master        
[root@k8s-master haproxy]#
　　6.2
配置keepalived
　　keepalived 是一主（master）多备（backup）运行模式，故有两种类型的配置文件。
master 配置文件只有一份，backup 配置文件视节点数目而定，对于本文档而言，规划
如下：

master: 192.168.1.92
backup：192.168.1.93,192.168.1.95
　　master 配置文件：

[root@k8s-master keepalived]# cat keepalived.conf
global_defs { 
    router_id NodeA 
} 
vrrp_script chk_haproxy {
        script "/etc/keepalived/check_haproxy.sh"
        interval 5
        weight 2
}
vrrp_instance VI_1 { 
    state MASTER    #设置为主服务器 
    interface ens192  #监测网络接口 
    virtual_router_id 51  #主、备必须一样 
    priority 100   #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高) 
    advert_int 1   #VRRP Multicast广播周期秒数 
    authentication { 
    auth_type PASS  #VRRP认证方式，主备必须一致 
    auth_pass 1111   #(密码) 
} 
virtual_ipaddress { 
    192.168.1.94/24  #VRRP HA虚拟地址 
}
    track_script {                          
      chk_haproxy
}
}
[root@k8s-master keepalived]#
backup配置文件
[root@k8s-node1 keepalived]# cat keepalived.conf
global_defs { 
    router_id NodeA 
} 
vrrp_script chk_haproxy {
        script "/etc/keepalived/check_haproxy.sh"
        interval 5
        weight 2
}
vrrp_instance VI_1 { 
    state BACKUP    #设置为主服务器 
    interface ens192  #监测网络接口 
    virtual_router_id 51  #主、备必须一样 
    priority 90   #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高) 
    advert_int 1   #VRRP Multicast广播周期秒数 
    authentication { 
    auth_type PASS  #VRRP认证方式，主备必须一致 
    auth_pass 1111   #(密码) 
} 
virtual_ipaddress { 
    192.168.1.94/24  #VRRP HA虚拟地址 
}
    track_script {
        chk_haproxy
}
}
[root@k8s-node1 keepalived]#
[root@k8s-node2 keepalived]# cat keepalived.conf
global_defs { 
    router_id NodeA 
} 
vrrp_script chk_haproxy {
        script "/etc/keepalived/check_haproxy.sh"
        interval 5
        weight 2
}
vrrp_instance VI_1 { 
    state BACKUP    #设置为主服务器 
    interface ens192  #监测网络接口 
    virtual_router_id 51  #主、备必须一样 
    priority 80   #(主、备机取不同的优先级，主机值较大，备份机值较小,值越大优先级越高) 
    advert_int 1   #VRRP Multicast广播周期秒数 
    authentication { 
    auth_type PASS  #VRRP认证方式，主备必须一致 
    auth_pass 1111   #(密码) 
} 
virtual_ipaddress { 
    192.168.1.94/24  #VRRP HA虚拟地址 
}
    track_script {
        chk_haproxy
}
}
[root@k8s-node2 keepalived]#
　　脚本文件

[root@k8s-master keepalived]# pwd                            ##注意脚本存放的路径必须和keepalived配置的路径相同
/etc/keepalived
[root@k8s-master keepalived]# cat check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
systemctl start haproxy.service
fi
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
pkill keepalived
fi
[root@k8s-master keepalived]#
　　keepalived测试成功
　　6.3
遇到的问题:
脚本不执行。
原因:
 ##千万注意，track_script这组参数必须写在vip后面，不然脚本不会执行