vrrp与keepalived详解

23421re

一、Vrrp协议

1、VRRP 协议简介

vrrp: Virtual Redundent Routing Protocol （虚拟冗余路由协议）

       在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由？

这个问题通常的解决方法有二种：

• 在主机上使用动态路由协议(RIP、OSPF等)
• 在主机上配置静态路由
  
  

很明显，在主机上配置动态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器|默认网关|default gateway却经常成为单点故障。

VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

2、VRRP 工作机制

       在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的，MASTER要负责转发发送给网关地址的包和响应ARP请求。

       VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。

       在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。
3、相关术语
虚拟路由器：由一个 Master 路由器和多个 Backup 路由器组成。主机将虚拟路由器当作默认网关。
VRID：虚拟路由器的标识。有相同 VRID 的一组路由器构成一个虚拟路由器。
Master 路由器：虚拟路由器中承担报文转发任务的路由器。
Backup 路由器：Master 路由器出现故障时，能够代替 Master 路由器工作的路由器。
虚拟 IP 地址：虚拟路由器的 IP 地址。一个虚拟路由器可以拥有一个或多个IP 地址。
IP 地址拥有者：接口 IP 地址与虚拟 IP 地址相同的路由器被称为 IP 地址拥有者。
虚拟 MAC 地址：一个虚拟路由器拥有一个虚拟 MAC 地址。虚拟 MAC 地址的格式为 00-00-5E-00-01-{VRID}。通常情况下，虚拟路由器回应 ARP 请求
使用的是虚拟 MAC 地址，只有虚拟路由器做特殊配置的时候，才回应接口的真实 MAC 地址。
priority（优先级）：VRRP 根据优先级来确定虚拟路由器中每台路由器的地位。

抢占方式（默认）：如果 Backup 路由器工作在抢占方式下，当它收到 VRRP 报文后，会将自己的优先级与通告报文中的优先级进行比较。如果自己的优先级比当前的 Master 路由器的优先级高，就会主动抢占成为 Master 路由器；否

则，将保持 Backup 状态。

非抢占方式：如果 Backup 路由器工作在非抢占方式下，则只要 Master 路由器没有出现故障，Backup 路由器即使随后被配置了更高的优先级也不会成为
Master 路由器。

4、VRRP 工作流程

(1).初始化：   

     路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。

(2).Master

• 设置定时通告定时器；
• 用VRRP虚拟MAC地址响应路由器IP地址的ARP请求；
• 转发目的MAC是VRRP虚拟MAC的数据包；
• 如果是虚拟路由器IP的拥有者，将接受目的地址是虚拟路由器IP的数据包，否则丢弃；
• 当收到shutdown的事件时删除定时通告定时器，发送优先权级为0的通告包，转初始化状态；
• 如果定时通告定时器超时时，发送VRRP通告信息；
• 收到VRRP通告信息时，如果优先权为0，发送VRRP通告信息；否则判断数据的优先级是否高于本机，或相等而且实际IP地址大于本地实际IP，设置定时通告定时器，复位主机超时定时器，转BACKUP状态；否则的话，丢弃该通告包；
  
  

(3).Backup

• 设置主机超时定时器；
• 不能响应针对虚拟路由器IP的ARP请求信息；
• 丢弃所有目的MAC地址是虚拟路由器MAC地址的数据包；
• 不接受目的是虚拟路由器IP的所有数据包；
• 当收到shutdown的事件时删除主机超时定时器，转初始化状态；
• 主机超时定时器超时的时候，发送VRRP通告信息，广播ARP地址信息，转MASTER状态；
• 收到VRRP通告信息时，如果优先权为0，表示进入MASTER选举；否则判断数据的优先级是否高于本机，如果高的话承认MASTER有效，复位主机超时定时器；否则的话，丢弃该通告包；
  
  

5、ARP查询处理

       当内部主机通过ARP查询虚拟路由器IP地址对应的MAC地址时，MASTER路由器回复的MAC地址为虚拟的VRRP的MAC地址，而不是实际网卡的 MAC地址，这样在路由器切换时让内网机器觉察不到；而在路由器重新启动时，不能主动发送本机网卡的实际MAC地址。如果虚拟路由器开启的ARP代理 (proxy_arp)功能，代理的ARP回应也回应VRRP虚拟MAC地址。

6、认证方式与工作模式
认证方式：
   简单字符认证
   md5认证
工作模式：
    master-backup模式
    master-master模式

二、Keepalived

1、Keepalived 定义

什么是Keepalived呢?
    观其名可知保持存活在网络里面就是保持在线了也就是所谓的高可用或热备用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)

    在Linux主机上，以daemon（守护进程）方式实现了vrrp协议，并提供了完成配置ipvs规则及实现相应real server状态检测能力。

   能调用外部脚本

   轻量灵活，不能解决脑裂问题

适用场景：ipvs, haproxy, nginx(reverse proxy)

      Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。

一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性，Keepalived是VRRP的完美实现。

2、Keepalived组件
keepalived是模块化设计，不同模块负责不同的功能。

core：keepalived的核心，负责主进程的启动和维护，全局配置文件的加载解析等；

check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置文件的解析；

vrrp：VRRPD子进程，用来实现VRRP协议；

libipfwc：iptables(ipchains)库，配置LVS；

libipvs*：配置LVS；

3、keepalived进程

keepalived启动后会有三个进程：

父进程：内存管理，子进程管理等等

子进程：VRRP子进程

子进程：healthchecker子进程

两个子进程都被系统WatchDog看管，两个子进程各自负责自己的事，

healthchecker子进程负责检查各自服务器的健康程度，如果healthchecker子进程检查到MASTER上服务不可用了，就会通知本机上的兄弟VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态。

三、keepalived安装与配置

1、安装keepalived

1 2 3 4 5 6 7 8 9

[iyunv@BAIYU_180 html]# yum install keepalived -y [iyunv@BAIYU_180 html]# rpm -ql keepalived /etc/keepalived /etc/keepalived/keepalived.conf /etc/rc.d/init.d/keepalived /etc/sysconfig/keepalived /usr/bin/genhash /usr/sbin/keepalived /usr/share/doc/keepalived-1.2.7

2、keepalived配置
keepalived配置文件/etc/keepalived/keepalived.conf分为三个部分：
global_defs: 全局配置
vrrp_instance: vrouter的配置
lvs: ipvs相关配置
（1）查看/etc/keepalived/keepalived.conf

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157

[iyunv@BAIYU_180 keepalived]# cat keepalived.conf ! Configuration File for keepalived global_defs {      #全局配置    notification_email {        #报警邮件发送给谁           acassen@firewall.loc      failover@firewall.loc      sysadmin@firewall.loc    }    notification_email_from Alexandre.Cassen@firewall.loc   #通知邮件的发件人邮箱    smtp_server 192.168.200.1     #邮件服务器地址    smtp_connect_timeout 30       #件服务器连接的超时时间    router_id LVS_DEVEL          #机器标识 } vrrp_instance VI_1 {      #vroute标识     state MASTER          #当前节点的状态 主节点     interface eth0        #发送vip通告的接口     virtual_router_id 51  #虚拟路由的ID号，是虚拟路由MAC的最后一位地址     priority 100           #此节点的优先级，主节点的优先级需要比其他节点高     advert_int 1           #vip通告的时间间隔        authentication {       #认证配置         auth_type PASS     #认证机制，默认是明文         auth_pass 1111     #随机字符当密码     }     virtual_ipaddress {   #vip         192.168.100.41         192.168.200.17         192.168.200.18     } } ###########################################只要以上的配置，把下面的都注释就可以实现 简单高可用（此时只能实现主机故障|网络故障|keepalived进程停止时vip转移，或者通过脚本实现其它服务的切换） virtual_server 192.168.200.100 443 {     #集群所使用的VIP和端口     delay_loop 6     lb_algo rr             #使用的负载均衡算法     lb_kind NAT            #类型     nat_mask 255.255.255.0     persistence_timeout 50  #持久连接时间     protocol TCP            #使用的协议     real_server 192.168.201.100 443 {      #节点服务器使用的IP及端口         weight 1         SSL_GET {                url {               path /               digest ff20ad2481f97b1754ef3e12ecd3a9cc             }             url {               path /mrtg/               digest 9b3a0c85a887a256d6939da88aabd8cd             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     } } virtual_server 10.10.10.2 1358 {     delay_loop 6     lb_algo rr     lb_kind NAT     persistence_timeout 50     protocol TCP     sorry_server 192.168.200.200 1358     real_server 192.168.200.2 1358 {         weight 1         HTTP_GET {             url {               path /testurl/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl2/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl3/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     }     real_server 192.168.200.3 1358 {         weight 1         HTTP_GET {             url {               path /testurl/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334c             }             url {               path /testurl2/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334c             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     } } virtual_server 10.10.10.3 1358 {     delay_loop 3     lb_algo rr     lb_kind NAT     nat_mask 255.255.255.0     persistence_timeout 50     protocol TCP     real_server 192.168.200.4 1358 {         weight 1         HTTP_GET {             url {               path /testurl/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl2/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl3/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     }     real_server 192.168.200.5 1358 {         weight 1         HTTP_GET {             url {               path /testurl/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl2/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             url {               path /testurl3/test.jsp               digest 640205b7b0fc66c1ea91c463fac6334d             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     } }

（2）配置文件中指令详解
vip的配置
virtual_ipaddress {
               <IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
                                                  广播地址            设备        作用域                           别名
               192.168.200.17/24 dev eth1
               192.168.200.18/24 dev eth2 label eth2:1
           }
如果有其它资源可用于做为主备节点角色判断的标准，可以通过如下配置实现：      

1 2 3 4 5 6 7

vrrp_script NAME {      #先定义一个脚本         } vrrp_instance NAME{         track_script {    #再调用         }         }

示例：

1 2 3 4 5 6 7 8 9 10 11 12 13

vrrp_script chk_mt_down {                script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"       interval 1  #监控间隔时间     weight -15  #当健康检查脚本失败后，主机权重将会-15     fall 2 #失败次数       rise 1 #成功数次   } vrrp_instance NAME{         track_script {                 chk_mt_down                 }             }

这个脚本实现了，手动将节点在MASTER和BACKUP之间切换而不用关闭节点|关闭节点的网络|节点上的keepalived。

双主模式：定义2个路由，互为主备

适用于前端调度器（LB)的高可用，2个公网ip，在DNS做2条A记录，还实现了一定程度上的负载均衡，任何一个调度器挂了也不影响客户访问，

180节点：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

[iyunv@BAIYU_180 keepalived]# cat keepalived.conf ! Configuration File for keepalived global_defs {    notification_email {        xxj@192.168.100.180    }    notification_email_from xiexiaojun    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_mt_down { script "[ -f /etc/keepalived/down ] && exit 1 || exit 0" interval 1 weight -15   #这里很奇怪 } vrrp_instance VI_1 {        state MASTER     interface eth0     virtual_router_id 51     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass vi111     }     virtual_ipaddress {         192.168.100.41     } track_script { chk_mt_down } } vrrp_instance VI_2 {     state BACKUP     interface eth0     virtual_router_id 52     priority 90     advert_int 1     authentication {         auth_type PASS         auth_pass vi222     }     virtual_ipaddress {         192.168.100.51     } track_script { chk_mt_down } }

179节点：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54

[iyunv@BAIYU_179 keepalived]# cat keepalived.conf ! Configuration File for keepalived global_defs {    notification_email {        xxj@192.168.100.180    }    notification_email_from xiexiaojun    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_script chk_mt_down { script "[ -f /etc/keepalived/down ] && exit 1 || exit 0" interval 1 weight -15 } vrrp_instance VI_1 {     state BACKUP     interface eth0     virtual_router_id 51     priority 90     advert_int 1     authentication {         auth_type PASS         auth_pass vi111     }     virtual_ipaddress {         192.168.100.41     } track_script { chk_mt_down } } vrrp_instance VI_2 {     state MASTER     interface eth0     virtual_router_id 52     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass vi222     }     virtual_ipaddress {         192.168.100.51     } track_script { chk_mt_down } }

前面学习了HA的开源解决方案:

heartbeat v1：haresources

heartbeat v2：crm

corosync + pacemaker

cman + rgmanager (RHCS)

Heartbeat、Corosync是属于同一类型，Keepalived与Heartbeat、Corosync不是同一类型的。Keepalived使用的vrrp协议方式，虚拟路由冗余协议 (Virtual Router Redundancy Protocol，简称VRRP)；Heartbeat或Corosync是基于主机或网络服务的高可用方式；

简单的说就是，Keepalived的目的是模拟路由器的高可用，Heartbeat或Corosync的目的是实现Service的高可用。所以一般Keepalived是实现前端高可用，常用的前端高可用的组合有，就是我们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。而Heartbeat或Corosync是实现服务的高可用，常见的组合有Heartbeat v3(Corosync)+Pacemaker+NFS+Httpd 实现Web服务器的高可用、Heartbeat v3(Corosync)+Pacemaker+NFS+MySQL 实现MySQL服务器的高可用。总结一下，Keepalived中实现轻量级的高可用，一般用于前端高可用，且不需要共享存储，一般常用于两个节点的高可用。而Heartbeat(或Corosync)一般用于服务的高可用，且需要共享存储，一般用于多节点的高可用。这个问题我们说明白了，又有博友会问了，那heartbaet与corosync我们又应该选择哪个好啊，我想说我们一般用corosync，因为corosync的运行机制更优于heartbeat，就连从heartbeat分离出来的pacemaker都说在以后的开发当中更倾向于corosync，所以现在corosync+pacemaker是最佳组合。

但说实话我对于软件没有任何倾向性，所以我把所有的集群软件都和大家说了一下，我认为不管什么软件，只要它能存活下来都有它的特点和应用领域，只有把特定的软件放在特定的位置才能发挥最大的作用，那首先我们得对这个软件有所有了解。学习一种软件的最好方法，就是去查官方文档。好了说了那么多希望大家有所收获，下面我们来说一说keepalived。

二、Keepalived 详解

1.Keepalived 定义

       Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现，因此在介绍keepalived之前，先介绍一下VRRP的原理。