keepalived的简单配置
主要内容：1. keepalived介绍2. 主备模型3. 配置ipvs4. 对nginx做高可用一. keepalived介绍
Keepalived: 它的诞生最初是为ipvs（一些 服务，内核中的一些规则）提供高可用性的，最初最主要目的是能够自主调用ipvsadm来生成规则，并且能够自动实现将用户访问的地址转移到其他节点上进行实现的 。Keepalived: 核心包含两个ckeckers和VRRP 协议。ckeckers：检查服务，检查reserved的健康状况的，基于脚本也可检查服务本身的健康状况。这里是实现ipvs后端 健康状况的检测的。VRRP：是一种容错协议，它保证当主机的下一跳路由器出现故障时，由另一台路由器来代替出现故障的路由器进行工作，从而保持网络通信的连续性和可靠性。VRRP中每个节点之间都有优先级的一般为0-255（0,255有特殊用法）数字越大优先级越高。
相关术语解析：虚拟路由器：由一个Master路由器和多个Backup路由器组成。主机将虚拟路由器当作默认网关。VRID：虚拟路由器的标识。有相同VRID的一组路由器构成一个虚拟路由器。Master路由器：虚拟路由器中承担报文转发任务的路由器。Backup路由器：Master路由器出现故障时，能够代替Master路由器工作的路由器。虚拟IP 地址：虚拟路由器的IP地址。一个虚拟路由器可以拥有一个或多个IP地址。IP地址拥有者：接口IP地址与虚拟IP地址相同的路由器被称为IP地址拥有者。虚拟MAC地址：一个虚拟路由器拥有一个虚拟MAC地址。虚拟MAC地址的格式为00-00-5E-00-01-{VRID}。通常情况下，虚拟路由器回应ARP请求使用的是虚拟MAC地址，只有虚拟路由器做特殊配置的时候，才回应接口的真实MAC地址。优先级：VRRP根据优先级来确定虚拟路由器中每台路由器的地位。非抢占方式：如果Backup路由器工作在非抢占方式下，则只要Master路由器没有出现故障Backup路由器即使随后被配置了更高的优先级也不会成为Master路由器。抢占方式：如果Backup路由器工作在抢占方式下，当它收到VRRP报文后，会将自己的优先级与通告报文中的优先级进行比较。如果自己的优先级比当前的Master路由器的优先级高，就会主动抢占成为Master路由器；否则，将保持Backup状态。
下图为keepalived与LVS结合的例子在DR上配置keepalived提供高可用，以避免Director Server的单点故障，下文中会提到
二. 主备模型
当使用两个节点构建keepalived高可用集群时，采用的是master，backup模式，至于哪个节点作为master则有节点的优先级决定，优先级范围0-255，数字越大，优先级越高。
节点系统
优先级
192.168.0.22（master）CentOS 6.4100
192.168.0.23（backup）CentOS 6.490
1. 在两个节点上安装keepalived可以使用yum安装，CentOS 6.4提供的是keepalived1.2.7版本的，也可以去下载源码包安装，也是很简单的。这里使用yum安装# yum install keepalived
2. 编辑配置文件/etc/keepalived/keepalived.conf首先是全局段global_defs
global_defs { #全局配置 notification_email { #收件人信息 acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc } notification_email_from Alexandre.Cassen@firewall.loc #发件人信息（可以随意伪装） smtp_server 192.168.200.1 #发邮件的服务器（一定不可为外部地址） smtp_connect_timeout 30 #连接超时时间 router_id LVS_DEVEL #路由器的标识（可以随便改动）}将上面的收件人改为root@localhost,smtp_server改为本机127.0.0.1则变为如下
global_defs { #全局配置 notification_email { #收件人信息 root@localhost } notification_email_from keepalived@localhost #发件人信息（可以随意伪装） smtp_server 127.0.0.1 #发邮件的服务器（一定不可为外部地址） smtp_connect_timeout 30 #连接超时时间 router_id LVS_DEVEL #路由器的标识（可以随便改动）}
然后是虚拟路由配置段vrrp_instance
vrrp_instance VI_1 { #配置虚拟路由器的（VI_1是实例名称） state MASTER #初始状态，master|backup，当state指定的instance的初始化状态，在两台服务器都启动以后，马上发生竞选，优先级高的成为MASTER，所以这里的MASTER并不是表示此台服务器一直是MASTER interface eth0 #通告选举所用端口 virtual_router_id 51 #虚拟路由的ID号（一般不可大于255） priority 100 #优先级信息 advert_int 1 #初始化通告几个 authentication { #认证 auth_type PASS #认证机制 auth_pass 1111 #密码（尽量使用随机） } virtual_ipaddress { #虚拟地址（VIP地址） 192.168.200.16 192.168.200.17 192.168.200.18 }}将配置改为如下
vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.0.100 }}再将之后的virtual server段注释，下面会有解释
2. 将配置文件复制到另一个节点，并修改虚拟路由段# scp /etc/keepalived/keepalived.conf node2:/etc/keepalived/keepalived.conf
vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 51 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.0.100 }}
3. 两个节点上启动keepalived，并查看日志# service keepalived start
# 查看日志# tail /var/log/messagesApr9 16:15:19 node1 kernel: IPVS: Registered protocols (TCP, UDP, SCTP, AH, ESP)Apr9 16:15:19 node1 kernel: IPVS: Connection hash table configured (size=4096, memory=32Kbytes)Apr9 16:15:19 node1 kernel: IPVS: ipvs loaded.Apr9 16:15:19 node1 Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATEApr9 16:15:19 node1 Keepalived_healthcheckers: Using LinkWatch kernel netlink reflector...Apr9 16:15:20 node1 Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATEApr9 16:15:20 node1 Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.Apr9 16:15:20 node1 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.0.100Apr9 16:15:20 node1 Keepalived_healthcheckers: Netlink reflector reports IP 192.168.0.100 addedApr9 16:15:25 node1 Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.0.100
其中node1已变为master，查看其IP地址
# ip add show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:4e:63:c2 brd ff:ff:ff:ff:ff:ff inet 192.168.0.22/24 brd 192.168.0.255 scope global eth0 inet 192.168.0.100/32 scope global eth0 inet6 fe80::20c:29ff:fe4e:63c2/64 scope link valid_lft forever preferred_lft foreverVIP地址已经生效。
4. 添加检测脚本可以添加一个检测脚本，当检测到/etc/keepalived/down文件存在时，该节点优先级下降20
#首先在配置文件中添加一个字段vrrp_script chk_down { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" interval 2 weight -20}
#然后在vrrp_instance字段中增加一个字段track_script { chk_down}keepalived会定时执行脚本并对脚本执行的结果进行分析，动态调整vrrp_instance的优先级。如果脚本执行结果为0，并且weight配置的值大于0，则优先级相应的增加如果脚本执行结果非0，并且weight配置的值小于0，则优先级相应的减少其他情况，维持原本配置的优先级，即配置文件中priority对应的值。
5. 测试检测脚本
#在master上建立/etc/keepalived/down# touch /etc/keepalived/down
#然后查看ip地址，VIP已经消失# ip addr show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:4e:63:c2 brd ff:ff:ff:ff:ff:ff inet 192.168.0.22/24 brd 192.168.0.255 scope global eth0 inet6 fe80::20c:29ff:fe4e:63c2/64 scope link valid_lft forever preferred_lft forever
#在node2上查看，VIP出现# ip addr show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:30:50:75 brd ff:ff:ff:ff:ff:ff inet 192.168.0.23/24 brd 192.168.0.255 scope global eth0 inet 192.168.0.100/32 scope global eth0 inet6 fe80::20c:29ff:fe30:5075/64 scope link valid_lft forever preferred_lft forever
三. 配置ipvs
为了简单起见，这里这里并不搭建完整的LVS，只是将node1和node2做成DR的高可用
1. 在两个节点上都安装ipvsadm1#yum install ipvsadm -y
2. 修改两个节点上的配置文件，添加如下字段
virtual_server 192.168.0.100 80 { delay_loop 6 lb_algo rr lb_kind DR nat_mask 255.255.255.0 persistence_timeout 50 protocol TCP real_server 192.168.0.24 80 { weight 1 HTTP_GET { url { path / status_code 200 } connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } }}这里只是将192.168.0.24作为real server，也可以添加多个。在192.168.0.24上启动httpd服务。然后在节点上进行检测
# ipvsadm -L -nIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP192.168.0.100:80 rr persistent 50-> 192.168.0.24:80 Route 1 0 0
四. 对nginx做高可用
这里将nginx与VIP绑定，当master的nginx或者其本身出现问题，则将VIP迁移到backup上，并将backup上的nginx服务启动起来。这里要借助检测脚本和状态转移脚本。
1. 首先在两个节点上安装nginx1# yum install nginx -y
2. 修改两个节点的配置文件，下面以master的例，backup的修改一下state和priority即可global_defs {notification_email { root@localhost}notification_email_from keepalived@localhostsmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS_DEVEL}
vrrp_script srv_down { script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0" interval 2 weight -20
}
vrrp_script chk_nginx { scrip "killall -0 nginx" interval 2 weight -20}
vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 51 priority 90 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 192.168.0.100 }
track_script { srv_down chk_nginx }
notify_master "/etc/keepalived/to_master.sh" notify_backup "/etc/keepalived/to_backup.sh"
}与上文的相比较，只是多了一个检测脚本和两个状态转移脚本
# vim /etc/keepalived/to_master.sh
#/bin/bash#/etc/init.d/nginx start
# vim /etc/keepalived/to_backup.sh
#/bin/bash#/etc/init.d/nginx stop
测试一下重启两个节点的keepalived服务，则会发现master的VIP和nginx服务都已启动
# ip addr show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:4e:63:c2 brd ff:ff:ff:ff:ff:ff inet 192.168.0.22/24 brd 192.168.0.255 scope global eth0 inet 192.168.0.100/32 scope global eth0 inet6 fe80::20c:29ff:fe4e:63c2/64 scope link valid_lft forever preferred_lft forever# ss -tunlNetidState Recv-Q Send-Q Local Address:Port Peer Address:Porttcp LISTEN 0 128 *:80 *:* tcp LISTEN 0 128 :::22 :::* tcp LISTEN 0 128 *:22 *:* tcp LISTEN 0 128 127.0.0.1:6010 *:* tcp LISTEN 0 128 ::1:6010 :::* tcp LISTEN 0 128 :::3260 :::* tcp LISTEN 0 128 *:3260 *:*
然后将该节点的nginx服务强制杀死# killall -9 nginx
此时，VIP和nginx服务都迁移到backup节点上了，80端口已启用
# ip addr show1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:29:30:50:75 brd ff:ff:ff:ff:ff:ff inet 192.168.0.23/24 brd 192.168.0.255 scope global eth0 inet 192.168.0.100/32 scope global eth0 inet6 fe80::20c:29ff:fe30:5075/64 scope link valid_lft forever preferred_lft forever# ss -tanlState Recv-Q Send-Q Local Address:Port Peer Address:PortLISTEN 0 128 :::111 :::* LISTEN 0 128 *:111 *:* LISTEN 0 128 *:80 *:* LISTEN 0 128 :::58516 :::* LISTEN 0 128 :::22 :::* LISTEN 0 128 *:22 *:* LISTEN 0 100 ::1:25 :::* LISTEN 0 100 127.0.0.1:25 *:* LISTEN 0 128 127.0.0.1:6010 *:* LISTEN 0 128 ::1:6010 :::* LISTEN 0 128 127.0.0.1:6011 *:* LISTEN 0 128 ::1:6011 :::* LISTEN 0 128 *:34018 *:*
页:
[1]