keepalived基础配置详解

32412

一、简介
        keepalived是一个基于VRRP协议来实现的WEB服务高可用方案，可以利用其来避免单点故障，用于web服务器的健康状态检测，如果有一台web服务器工作出现故障，keepalived将检测到，并将有故障的web服务器从系统中下线，等待服务器故障排除之后，将服务器重新添加至系统中。
        要想学习keepalived，必须先了解VRRP协议，keepalived就是在VRRP协议的基础之上实现的。
二、VRRP协议简介
        1.VRRP协议
        虚拟路由冗余协议 VRRP（Virtual Router Redundancy Protocol）通过把几台路由设备联合组成一台虚拟的路由设备，使用一定的机制保证当主机的下一跳路由器出现故障时，及时将业务切换到备份路由器，从而保持业务的连续性和可靠性。
        2.VRRP协议备份示意图：
        
         3.VRRP协议工作过程：
        VRRP 备份组中的交换机根据优先级选举出 Master。Master交换机通过发送ARP 报文，将虚拟MAC地址通知给与它连接的设备或者主机，从而承担报文转发任务。  
        Master 交换机周期性向备份组内所有 Backup 交换机发送 VRRP 通告报文，以公布其配 置信息（优先级等）和工作状况。  
        如果 Master 交换机出现故障，VRRP 备份组中的 Backup 交换机将根据优先级重新选举 新的 Master。  
        VRRP 备份组状态切换时，Master 交换机由一台设备切换为另外一台设备，新的Master 交换机会立即发送携带虚拟路由器的虚拟MAC地址和虚拟IP（Virtual IP以下简称VIP）地址信息的ARP报文，刷新与它连接的主机或设备中的MAC表项，从而把用户流量引到新的 Master 交换机上来，整个过程对用户完全透明。  

三、keepalived组件

  

        Core compeonentd（核心组件）：
                Checkers：健康状态检测
                Vrrp Stack：虚拟路由栈
                IPVS wrapper：ipvs规则添加
                WatchDog：监控器
        Scheduler - I/O Multiplexer : IO复用器
        Memory Management：内存管理
        Control Plane Configuration file parser：配置文件分析器

四、keepalived的安装
        1.实验环境（两台CentOS 7主机）
        (1)两个节点时间同步；
            分别在两台主机上执行

1 2 3

# crontab -e */5* * * * /usr/sbin/ntpdate 172.16.0.1 &> /dev/null # 设定为每5分钟同步一次

        (2) 确保iptables和selinux 不会成为障碍；
        (3) 各节点之间可通过主机名互相通信；（可选）
        节点的名称设定与hosts文件中解析的主机名都要保持一致；
        #uname -n 获得的主机，与解析的主机名要相同

  (4)各节点之间基于密钥认证的方式通过ssh互信通信；（可选）

        2.安装keepalived
        (1) 源码安装

1 2 3 4 5 6

[iyunv@node1 ~]# cd /usr/local/src [iyunv@node1 ~]# wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz [iyunv@node1 ~]# tar zxf keepalived-1.2.6.tar.gz [iyunv@node1 ~]# cd keepalived-1.2.6 [iyunv@node1 ~]# ./configure --prefix=/usr/local/keepalived [iyunv@node1 ~]# make & make install

        (2) rpm包安装（在CentOS 7系统的epel源提供了rpm包，以下实验为rpm包安装）

1	[iyunv@node1 ~]# yum install -y keepalive

五、配置文件

    1.keepalived的程序环境：
     主配置文件：/etc/keepalived/keepalived.conf
     Unit file: /usr/lib/systemd/system/keepalived.service
    2.keepalived的配置文件：
     GLOBAL CONFIGURATION：全局配置
       global_defs           # Block id
         {
            ...
                    }
            VRRPD CONFIGURATION：配置vrrp实例
                vrrp instance：虚拟路由器
                    vrrp_instance  NAME {
                        ...
                    }
                vrrp synchronization group
                    vrrp_sync_group  NAME  {
                        ...
                    }
            LVS CONFIGURATION：ipvs的相关配置
                集群服务，服务内的RS；
        
            (1)全局配置：
                global_defs {
                    notification_email {
                        ...
                    }：收件人邮箱地址
                    notification_email_from：发件人邮箱地址
                    smtp_server：邮件发送服务器IP；
                    smtp_connect_timeout：邮件服务器建立连接的超时时长；
                    router_id LVS_DEVEL：物理节点的标识符；建立使用主机名；
                    vrrp_mcast_group4：IPV4多播地址，默认224.0.0.18；
                    
            (2) VRRP实例配置：
                vrrp_instance NAME {
                    ...
                }
               
                常用配置：
                    state MASTER|BACKUP：在当前VRRP实例中此节点的初始状态；
                    interface   IFACE_NAME：vrrp用于绑定vip的接口；
                    virtual_router_id  #：当前VRRP实例的VRID，可用范围为0-255；
                    priority #：当前节点的优先级，可用范围0-255；
                    advert_int 1：通告时间间隔；
                    authentication {     # Authentication block
                        
                        auth_type PASS
                        auth_pass 1234
                    }
                    virtual_ipaddress {
                               ...
                    }  

六、配置实例详解
        1.主备模型
         虚拟IP在属于主节点，另一个节点作为备用节点存在。当主节点不可用时，备用节点接管虚拟IP，提供正常服务。
        (1) 主备模型拓扑图

        (2)编辑配置文件
        在node1上编辑配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

[iyunv@node1 ~]# vim /etc/keepalived/keepalived.conf       ! Configuration File for keepalived                                                                                              global_defs{    #全局配置段    notification_email {       root@localhost.com    } #收件人邮箱    notification_email_from shakura@shakura.com  #发件人邮箱         smtp_server 127.0.0.1 #邮件发送服务器IP，此处设置为本地    smtp_connect_timeout 30 #邮件服务器建立连接的超时时长；    router_id node1 #物理节点的标识符，此处使用主机名；    vrrp_mcast_group4 224.100.0.1 #IPV4多播地址，此处为默认； } vrrp_instanceVI_1 {     state MASTER #节点的初始状态，主节点为MASTER；     interface eno16777736 ##绑定虚拟IP的网络接口     virtual_router_id 80  #VRRP组名，指明各个节点属于同一VRRP组，主从一致；     priority 100 #当前节点的优先级，可用范围0-255；     advert_int 1 #通告时间间隔，此处设置为1s，主从节点一致；     authentication {  #主从服务器验证方式         auth_type PASS         auth_pass 5QbqkQJj     }     virtual_ipaddress { #虚拟IP,格式为ADDR/NETMASK         172.16.22.5/16     } }

         将此文件复制至node2主机，并修改；

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28

[iyunv@node2 ~]# vim /etc/keepalived/keepalived.conf       ! Configuration File for keepalived                                                                                              global_defs{    notification_email {       root@localhost.com    }    notification_email_from shakura@shakura.com    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id node2 #修改标识符为node2；    vrrp_mcast_group4 224.100.0.1 } vrrp_instanceVI_1 {     state BACKUP ##节点的初始状态，主节点为MASTER；     interface eno16777736     virtual_router_id 80       priority 99 #备用节点的优先级应该比主节点低；     advert_int 1     authentication {        auth_type PASS        auth_pass 5QbqkQJj     }     virtual_ipaddress {        172.16.22.5/16     } }

(3) 验证并测试
启动node1，node2上配置好的keepalived服务，查看node1是否有VIP：

关闭node1的keepalived服务，查看日志，显示如下：

       此时node1停止keepalived服务，发送通告，移除地址；查看node2已配置VIP，成为主节点；
        

        2.双主模型
        主备模型存在一个缺点：始终只有主节点处于工作状态，备用节点一直空闲，造成资源浪费。双主模式就是每个节点必须有两个VIP, 分别绑定至两个节点上。作为第一个VIP的主节点，并同时作为另外一个VIP的备用节点。两节点互相交叉备份，当一个节点发生故障，两个VIP将自动绑定至另外一个节点。
        (1) 双主模型拓扑图

        
       (2) 在node1上编辑配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

[iyunv@node1 ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalived                                                                                              global_defs{    notification_email {      root@localhost.com    }    notification_email_from shakura@shakura.com    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id node1    vrrp_mcast_group4 224.100.0.1 } vrrp_instanceVI_1 {     state MASTER #对应vrrp_instanceVI_1组中的主节点     interface eno16777736     virtual_router_id 80     #本机两个vrrp_instance组的此值不能相同，对应备用节点的此值必须相同     priority 100     advert_int 1     authentication {       auth_type PASS       auth_pass 5QbqkQJj     }     virtual_ipaddress {       172.16.22.5/16     } } vrrp_instanceVI_2 {     state BACKUP  #对应vrrp_instanceVI_2组中的备用节点     interface eno16777736     virtual_router_id 81     #本机两个vrrp_instance组的此值不能相同，对应主节点的值必须相同     priority 99 #优先级比对应主节点小1     advert_int 1     authentication {       auth_type PASS       auth_pass c2Wyk1Dz     }     virtual_ipaddress {       172.16.22.6/16     } }

将配置文件复制至node2，修改为；

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

[iyunv@node1 ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalived                                                                                              global_defs{    notification_email {     root@localhost.com    }    notification_email_from shakura@shakura.com    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id node1    vrrp_mcast_group4 224.100.0.1 } vrrp_instanceVI_1 {     state BACKUP #对应vrrp_instanceVI_1组中的备用节点     interface eno16777736     virtual_router_id 80 #对应vrrp_instanceVI_1组的节点值     priority 99 #优先级比对应主节点小1     advert_int 1     authentication {       auth_type PASS       auth_pass 5QbqkQJj     }     virtual_ipaddress {       172.16.22.5/16     } } vrrp_instanceVI_2 {     state MASTER #对应vrrp_instanceVI_2组中的主节点     interface eno16777736     virtual_router_id 81 #对应vrrp_instanceVI_2组的节点值     priority 100 #优先级比对应主节点大1     advert_int 1     authentication {       auth_type PASS       auth_pass c2Wyk1Dz     }     virtual_ipaddress {       172.16.22.6/16     } }

(3) 验证并测试
启动node1和node2上的keepalived服务，分别查看两节点的VIP；


手动停止node1的keepalived服务，node1的VIP将漂移至node2；

        同样，停止node2上的keepalived服务，node2的VIP将漂移至node1；此处将不再进行测试，请各位读者自行测试；


       [Warning]: 上面示例中的主备模型存在严重问题，这种方式存在脑裂的可能，即两个节点实际都处于正常工作状态，但是无法接收到彼此的组播通知，这时两个节点均强行绑定虚拟IP，导致不可预料的后果。

        

        在实际的生产环境中可能会存在上图中的问题，node1为备用节点，node2为主节点，node2网络发生故障，node1收不到node2的组播信息，此时node1抢占node2的VIP，node1和node2同时拥有VIP将会导致脑裂(split-brain)。此时就需要我们设置仲裁机制。例如设置网关，当心跳线完全断开时，2个节点都各自ping一下网关，不通则表明断点就出在本节点，不仅“心跳”、还兼对外“服务”的本节点网络链路断了，即使启动（或继续）应用服务也没有用了，那就主动放弃竞争，让能够ping通网关的启动服务。