LVS + keepalive 前端高可用负载均衡器的实现

23recfv

一、Keepalived详解

1、什么是keepalived

    keepalived是个基于VRRP协议来实现的LVS服务高可用方案，可以用来避免单点故障。一个LVS服务包含两台运行着keepalived服务的服务器，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外只表现为一个虚拟IP（VIP），主服务器会发送特定的消息给备份服务器。如果主服务器宕机时，备份服务器就收不到这个消息，此时备份服务器就会接管虚拟IP，继续提供服务，以实现高可用。
2、VRRP协议
    在现实网络中，两台主机之间并没有直接的物理连接，在这种情况下，该如何进行路由选择呢？通常有两种方式：第一，在主机上配置动态路由协议，比如RIP，OSPF等；第二，在主机上配置静态路由。在主机上配置动态路由协议成本较高，所以静态路由协议就比较流行。但路由器往往会成为单点故障。
    VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过竞选(election)协议，动态的将路由任务交给虚拟路由器中的某台VRRP路由器。
3、VRRP工作机制
    在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP。MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
        VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过多播(multicast)(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(即VIP)。
        在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息，BACKUP不会抢MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。
4、VRRP工作流程
（1）初始化
        路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。
（2）Master

        

二、实验环境
1.使用Centos6.6系统，在虚拟机上克隆了4台。分别为：

    Node1:192.168.1.119 作为RS1

    Node2:192.168.1.120 作为RS2

    Master：192.168.1.121

    Slave：192.168.1.122

    VIP：192.168.1.215

2.时间同步
node1

1	[iyunv@bogon ~]#ntpdate 202.120.2.101

node2

1	[iyunv@bogon ~]#ntpdate 202.120.2.101

Master

1	[iyunv@bogon ~]#ntpdate 202.120.2.101

Slave

1	[iyunv@bogon ~]#ntpdate 202.120.2.101

3.主机名解析
node1

1 2 3 4 5 6

[iyunv@bogon ~]# cat /etc/hosts 127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1        localhost localhost.localdomain localhost6 localhost6.localdomain6 172.16.0.1 server.magelinux.com server 192.168.1.119 node1.zhoushuyu.com    node1 192.168.1.120 node2.zhoushuyu.com    node2

把该配置文件传递给node2

1	[iyunv@bogon ~]# scp /etc/hosts192.168.1.120:/etc/

三、实现过程
node1

1.安装httpd

1	[iyunv@bogon ~]# yum install httpd

2.配置httpd

1 2	[iyunv@bogon ~]# vim /var/www/html/index.html <h1>RS1</h1>

3.启动httpd服务

1	[iyunv@bogon ~]# service httpd start

4.测试

5.设置开机自启动

1 2 3

[iyunv@bogon~]# chkconfig httpd on [iyunv@bogon~]# chkconfig httpd --list httpd               0:off 1:off 2:on 3:on 4:on 5:on 6:off

6.配置node1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46

[iyunv@bogon ~]#mkdir src [iyunv@bogon ~]#cd src [iyunv@bogonsrc]# vim realserver.sh #!/bin/bash    .  /etc/rc.d/init.d/functions VIP=192.168.1.215 host=`/bin/hostname` case"$1" in start)         /sbin/ifconfig lo down         /sbin/ifconfig lo up         echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce         echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore         echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce         /sbin/ifconfig lo:0 $VIP broadcast $VIPnetmask 255.255.255.255 up         /sbin/route add -host $VIP dev lo:0 ;; stop)         /sbin/ifconfig lo:0 down         echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce         echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore         echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce ;; status)         islothere=`/sbin/ifconfig lo:0 | grep$VIP`         isrothere=`netstat -rn | grep"lo:0" | grep $VIP`         if [ ! "$islothere" -o !"$isrothere" ];then                 echo "RS Stopped"         else                 echo "RS Running"         fi ;; *)         echo "$0: Usage:$0{start|status|stop}"         exit 1 ;; esac    [iyunv@bogonsrc]# chmod +x realserver.sh [iyunv@bogonsrc]# ll total 4 -rwxr-xr-x 1root root 985 Oct 21 12:03 realserver.sh [iyunv@bogonsrc]# ./realserver.sh start

7.查看配置

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

[iyunv@bogonsrc]# ifconfig eth1      Link encap:Ethernet  HWaddr 00:0C:29:DC:10:96           inet addr:192.168.1.119  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr:fe80::20c:29ff:fedc:1096/64 Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1           RX packets:4706 errors:0 dropped:0overruns:0 frame:0           TX packets:2293 errors:0 dropped:0overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:2440828 (2.3 MiB)  TX bytes:302434 (295.3 KiB)    lo        Link encap:Local Loopback           inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536 Metric:1           RX packets:0 errors:0 dropped:0overruns:0 frame:0           TX packets:0 errors:0 dropped:0overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)    lo:0      Link encap:Local Loopback           inet addr:192.168.1.215  Mask:255.255.255.255           UP LOOPBACK RUNNING  MTU:65536 Metric:1    [iyunv@bogonsrc]# route -n Kernel IProuting table Destination     Gateway         Genmask         Flags Metric Ref    Use Iface 168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo 168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1 0.0.0        192.168.1.1     0.0.0.0         UG   0      0        0 eth1    [iyunv@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore 1 [iyunv@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_announce 2 [iyunv@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_ignore 1 [iyunv@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_announce 2

node2
1.配置httpd，并启动服务

1 2 3

[iyunv@bogon ~]# vim /var/www/html/index.html <h1>RS2</h1> [iyunv@bogon ~]# service httpd start

2.测试

3.设置开机自启动

1 2 3

[iyunv@bogon~]# chkconfig httpd on [iyunv@bogon~]# chkconfig httpd --list httpd               0:off 1:off 2:on 3:on 4:on 5:on 6:off

4.配置node2

1 2 3 4 5

[iyunv@bogon~]# mkdir src [iyunv@bogon ~]# cd src 在node1上将realserver.sh传过来 [iyunv@bogon src]# scp realserver.sh192.168.1.120:/root/src/ [iyunv@bogonsrc]# ./realserver.sh start

5.查看配置

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

[iyunv@bogonsrc]# ifconfig eth1      Link encap:Ethernet  HWaddr 00:0C:29:CB:6B:06           inet addr:192.168.1.120  Bcast:192.168.1.255  Mask:255.255.255.0           inet6 addr: fe80::20c:29ff:fecb:6b06/64Scope:Link           UP BROADCAST RUNNING MULTICAST  MTU:1500 Metric:1           RX packets:2986 errors:0 dropped:0overruns:0 frame:0           TX packets:1398 errors:0 dropped:0overruns:0 carrier:0           collisions:0 txqueuelen:1000           RX bytes:2292870 (2.1 MiB)  TX bytes:143620 (140.2 KiB)    lo        Link encap:Local Loopback           inet addr:127.0.0.1  Mask:255.0.0.0           inet6 addr: ::1/128 Scope:Host           UP LOOPBACK RUNNING  MTU:65536 Metric:1           RX packets:0 errors:0 dropped:0overruns:0 frame:0           TX packets:0 errors:0 dropped:0overruns:0 carrier:0           collisions:0 txqueuelen:0           RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)    lo:0      Link encap:Local Loopback           inet addr:192.168.1.215  Mask:255.255.255.255           UP LOOPBACKRUNNING  MTU:65536  Metric:1 [iyunv@bogonsrc]# route -n Kernel IProuting table Destination     Gateway         Genmask         Flags Metric Ref    Use Iface 168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo 168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1 0.0.0         192.168.1.1     0.0.0.0         UG   0      0        0 eth1 [iyunv@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_announce 2 [iyunv@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore 1 [iyunv@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_ignore 1 [iyunv@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_announce 2

master(192.168.1.121)和slave(192.168.1.222)
1.安装keepalived和ipvsadm

1	yum install keepalived ipvsadm -y

2.修改配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

!Configuration File for keepalived global_defs{    notification_email {         root@localhost    }    notification_email_fromAlexandre.Cassen@firewall.loc    smtp_server 172.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_instanceVI_1 {     state MASTER     interface eth1     virtual_router_id 51     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass f6de2fd2     }     virtual_ipaddress {         192.168.1.215     } } virtual_server192.168.1.215 80 {     delay_loop 6     lb_algo rr     lb_kind DR     nat_mask 255.255.255.0     #persistence_timeout 50     protocol TCP        real_server 192.168.1.119 80 {         weight 1         HTTP_GET {             url {               path /               status_code 200             }             connect_timeout 2             nb_get_retry 3             delay_before_retry 1         }     }        real_server 192.168.1.120 80 {         weight 1         HTTP_GET {             url {               path /               status_code 200             }             connect_timeout 2             nb_get_retry 3             delay_before_retry 1         }     }    }

3.将配置文件传递给192.168.1.122

1	[iyunv@bogonkeepalived]# scp keepalived.conf 192.168.1.122:/etc/keepalived/

4.修改一下.122主机上的配置文件

1 2	state BACKUP priority 99

5.启动Master和Slave上的keepalived服务

1	[iyunv@bogon ~]# service keepalived start

6.查看LVS状态

1 2 3 4 5 6 7

[iyunv@bogon~]# ipvsadm -L -n IP VirtualServer version 1.2.1 (size=4096) ProtLocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.1.215:80 rr   -> 192.168.1.119:80             Route   1     0          0           ->192.168.1.120:80              Route   1     0          0

7.使用ip addr list 查看，此处VIP在Master主机上



模拟故障
1.停止node1

1 2	[iyunv@bogonsrc]# service httpd stop Stoppinghttpd:                                           [  OK  ]

2.在master上查看lvs

1 2 3 4 5 6

[iyunv@bogon~]# ipvsadm -L -n IPVirtual Server version 1.2.1 (size=4096) ProtLocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.1.215:80 rr   ->192.168.1.120:80             Route   1     0          0

3.测试
  此时只能在slave上请求到node2


   重启node1

1 2	[iyunv@bogon src]# service httpd start Starting httpd: httpd: Could not reliablydetermine the server's fully qualified domain name, using 211.98.71.195 forServerName                                         [  OK  ]

   再次查看lvs状态

4.关闭master上的keepalived

1 2	[iyunv@bogon ~]#service keepalived stop Stoppingkeepalived:                                       [  OK  ]

5.查看slave的状态

    slave已经拿到了VIP192.168.1.215

    在master上执行如下命令

   说明slave已经接替了master

配置sorry server

当所有的RS都宕机后，客户端访问时会出现错误页面，这将使很不友好的；所以我们要提供一个维护页面来提醒用户。

1.在master和slave上安装httpd

1	[iyunv@bogon ~]# yum install httpd

2.配置维护页面

1	[iyunv@bogon ~]# vim /var/www/html/index.html

3.启动httpd服务并测试

1	[iyunv@bogon ~]# service httpd start

4.修改配置文件，在文件的末尾加入一行

1	sorry_server 127.0.0.1 80

5.关闭所有RS

1 2 3

[iyunv@bogon src]# service httpd stop 重启master和slave的keepalived [iyunv@bogon ~]# service keepalived restart

6.查看一下master和slave上的lvs

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[iyunv@bogon~]# ipvsadm -L -n IPVirtual Server version 1.2.1 (size=4096) ProtLocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.1.215:80 rr   ->127.0.0.1:80                 Local   1     0          0 这是slave上的： [iyunv@bogon~]# ipvsadm -L -n IPVirtual Server version 1.2.1 (size=4096) ProtLocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  192.168.1.215:80 rr   -> 127.0.0.1:80                 Local   1     0          0         You have new mail in /var/spool/mail/root

7.测试





如何完成维护模式下keepalived的切换？
1.修改配置文件

1 2 3 4 5 6 7 8 9 10 11 12

在global_defs {} 和vrrp_instanceVI_1{}之间加入如下内容 vrrp_scriptchk_schedown {    svript "[ -e /etc/keepalived/down ]&& exit 1 || exit 0"    interval 1    weight -5    fall 2    rise 1 } 在vrrp_instance VI_1{}中加入如下内容 track_script{         chk_schedown     }

2.测试

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

在master上创建一个down，然后ip addr list 查看VIp是否已经转移到slave上。 [iyunv@bogonkeepalived]# touch down [iyunv@bogonkeepalived]# ip addr list 1: lo:<LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN     link/loopback 00:00:00:00:00:00 brd00:00:00:00:00:00     inet 127.0.0.1/8 scope host lo     inet6 ::1/128 scope host        valid_lft forever preferred_lft forever 2: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000     link/ether 00:0c:29:27:c6:65 brdff:ff:ff:ff:ff:ff     inet 192.168.1.121/24 brd 192.168.1.255scope global eth1     inet6 fe80::20c:29ff:fe27:c665/64 scopelink        valid_lft forever preferred_lft forever 3: pan0:<BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN link/ether e6:55:94:ce:b7:1d brd ff:ff:ff:ff:ff:ff

在slave上



这样就完成了通过监控脚本实现维护模式的切换