LVS + keepalive 前端高可用负载均衡器的实现

xiaowei8782088

　　一、Keepalived详解

1、什么是keepalived

　　keepalived是个基于VRRP协议来实现的LVS服务高可用方案，可以用来避免单点故障。一个LVS服务包含两台运行着keepalived服务的服务器，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外只表现为一个虚拟IP（VIP），主服务器会发送特定的消息给备份服务器。如果主服务器宕机时，备份服务器就收不到这个消息，此时备份服务器就会接管虚拟IP，继续提供服务，以实现高可用。
　　2、VRRP协议
　　在现实网络中，两台主机之间并没有直接的物理连接，在这种情况下，该如何进行路由选择呢？通常有两种方式：第一，在主机上配置动态路由协议，比如RIP，OSPF等；第二，在主机上配置静态路由。在主机上配置动态路由协议成本较高，所以静态路由协议就比较流行。但路由器往往会成为单点故障。
　　VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过竞选(election)协议，动态的将路由任务交给虚拟路由器中的某台VRRP路由器。
　　3、VRRP工作机制
　　 在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP。MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
　　        VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过多播(multicast)(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(即VIP)。
　　        在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息，BACKUP不会抢MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
        /sbin/ifconfig lo:0 $VIP broadcast $VIPnetmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:0
;;
stop)
        /sbin/ifconfig lo:0 down
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce
;;
status)
        islothere=`/sbin/ifconfig lo:0 | grep$VIP`
        isrothere=`netstat -rn | grep"lo:0" | grep $VIP`
        if [ ! "$islothere" -o !"$isrothere" ];then
                echo "RS Stopped"
        else
                echo "RS Running"
        fi
;;
*)
        echo "$0: Usage:$0{start|status|stop}"
        exit 1
;;
esac
[root@bogonsrc]# chmod +x realserver.sh
[root@bogonsrc]# ll
total 4
-rwxr-xr-x 1root root 985 Oct 21 12:03 realserver.sh
[root@bogonsrc]# ./realserver.sh start　　7.查看配置
[root@bogonsrc]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:DC:10:96
          inet addr:192.168.1.119  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr:fe80::20c:29ff:fedc:1096/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:4706 errors:0 dropped:0overruns:0 frame:0
          TX packets:2293 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:2440828 (2.3 MiB)  TX bytes:302434 (295.3 KiB)
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
          RX packets:0 errors:0 dropped:0overruns:0 frame:0
          TX packets:0 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
lo:0      Link encap:Local Loopback
          inet addr:192.168.1.215  Mask:255.255.255.255
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
[root@bogonsrc]# route -n
Kernel IProuting table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo
168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1
0.0.0        192.168.1.1     0.0.0.0         UG   0      0        0 eth1
[root@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
[root@bogon src]# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
[root@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
[root@bogon src]# cat /proc/sys/net/ipv4/conf/all/arp_announce
2　　

　　node2
　　1.配置httpd，并启动服务

[root@bogon ~]# vim /var/www/html/index.html
RS2
[root@bogon ~]# service httpd start　　2.测试

　　3.设置开机自启动
[root@bogon~]# chkconfig httpd on
[root@bogon~]# chkconfig httpd --list
httpd               0:off 1:off 2:on 3:on 4:on 5:on 6:off　　4.配置node2
[root@bogon~]# mkdir src
[root@bogon ~]# cd src
在node1上将realserver.sh传过来
[root@bogon src]# scp realserver.sh192.168.1.120:/root/src/
[root@bogonsrc]# ./realserver.sh start　　5.查看配置

[root@bogonsrc]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:CB:6B:06
          inet addr:192.168.1.120  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fecb:6b06/64Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500 Metric:1
          RX packets:2986 errors:0 dropped:0overruns:0 frame:0
          TX packets:1398 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:2292870 (2.1 MiB)  TX bytes:143620 (140.2 KiB)
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536 Metric:1
          RX packets:0 errors:0 dropped:0overruns:0 frame:0
          TX packets:0 errors:0 dropped:0overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
lo:0      Link encap:Local Loopback
          inet addr:192.168.1.215  Mask:255.255.255.255
          UP LOOPBACKRUNNING  MTU:65536  Metric:1
[root@bogonsrc]# route -n
Kernel IProuting table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
168.1.215   0.0.0.0         255.255.255.255 UH    0     0        0 lo
168.1.0     0.0.0.0         255.255.255.0   U    1      0        0 eth1
0.0.0         192.168.1.1     0.0.0.0         UG   0      0        0 eth1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
[root@bogonsrc]# cat /proc/sys/net/ipv4/conf/all/arp_announce
2　　

　　
　　master(192.168.1.121)和slave(192.168.1.222)
　　1.安装keepalived和ipvsadm
yum install keepalived ipvsadm -y　　
　　2.修改配置文件
!Configuration File for keepalived
global_defs{
   notification_email {
        root@localhost
   }
   notification_email_fromAlexandre.Cassen@firewall.loc
   smtp_server 172.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_instanceVI_1 {
    state MASTER
    interface eth1
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass f6de2fd2
    }
    virtual_ipaddress {
        192.168.1.215
    }
}
virtual_server192.168.1.215 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    #persistence_timeout 50
    protocol TCP
    real_server 192.168.1.119 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
    real_server 192.168.1.120 80 {
        weight 1
        HTTP_GET {
            url {
              path /
              status_code 200
            }
            connect_timeout 2
            nb_get_retry 3
            delay_before_retry 1
        }
    }
}　　
　　3.将配置文件传递给192.168.1.122
[root@bogonkeepalived]# scp keepalived.conf 192.168.1.122:/etc/keepalived/　　4.修改一下.122主机上的配置文件
state BACKUP
priority 99　　5.启动Master和Slave上的keepalived服务
[root@bogon ~]# service keepalived start　　6.查看LVS状态
[root@bogon~]# ipvsadm -L -n
IP VirtualServer version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  -> 192.168.1.119:80             Route   1     0          0        
  ->192.168.1.120:80              Route   1     0          0　　7.使用ip addr list 查看，此处VIP在Master主机上
　　
　　

　　模拟故障
　　1.停止node1

[root@bogonsrc]# service httpd stop
Stoppinghttpd:                                           [  OK  ]　　2.在master上查看lvs
[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  ->192.168.1.120:80             Route   1     0          0　　3.测试
　　此时只能在slave上请求到node2

　　
　　   重启node1
[root@bogon src]# service httpd start
Starting httpd: httpd: Could not reliablydetermine the server's fully qualified domain name, using 211.98.71.195 forServerName                                         [  OK  ]　　
　　   再次查看lvs状态
　　
　　4.关闭master上的keepalived
[root@bogon ~]#service keepalived stop
Stoppingkeepalived:                                       [  OK  ]　　5.查看slave的状态
　　
    slave已经拿到了VIP192.168.1.215
    在master上执行如下命令

   说明slave已经接替了master



　　

配置sorry server
　　
当所有的RS都宕机后，客户端访问时会出现错误页面，这将使很不友好的；所以我们要提供一个维护页面来提醒用户。
　　1.在master和slave上安装httpd
[root@bogon ~]# yum install httpd　　2.配置维护页面
[root@bogon ~]# vim /var/www/html/index.html　　3.启动httpd服务并测试
[root@bogon ~]# service httpd start　　

　　4.修改配置文件，在文件的末尾加入一行
sorry_server 127.0.0.1 80　　5.关闭所有RS
[root@bogon src]# service httpd stop
重启master和slave的keepalived
[root@bogon ~]# service keepalived restart　　6.查看一下master和slave上的lvs
[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  ->127.0.0.1:80                 Local   1     0          0
这是slave上的：
[root@bogon~]# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.215:80 rr
  -> 127.0.0.1:80                 Local   1     0          0        
You have new mail in /var/spool/mail/root　　7.测试
　　
　　

　　

　　如何完成维护模式下keepalived的切换？
　　1.修改配置文件
在global_defs {} 和vrrp_instanceVI_1{}之间加入如下内容
vrrp_scriptchk_schedown {
   svript "[ -e /etc/keepalived/down ]&& exit 1 || exit 0"
   interval 1
   weight -5
   fall 2
   rise 1
}
在vrrp_instance VI_1{}中加入如下内容
track_script{
        chk_schedown
    }　　2.测试
在master上创建一个down，然后ip addr list 查看VIp是否已经转移到slave上。
[root@bogonkeepalived]# touch down
[root@bogonkeepalived]# ip addr list
1: lo: mtu 65536 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth1: mtu 1500 qdisc pfifo_fast state UP qlen1000
    link/ether 00:0c:29:27:c6:65 brdff:ff:ff:ff:ff:ff
    inet 192.168.1.121/24 brd 192.168.1.255scope global eth1
    inet6 fe80::20c:29ff:fe27:c665/64 scopelink
       valid_lft forever preferred_lft forever
3: pan0: mtu 1500 qdisc noop state DOWN
link/ether e6:55:94:ce:b7:1d brd ff:ff:ff:ff:ff:ff　　在slave上
　　
　　

　　这样就完成了通过监控脚本实现维护模式的切换