keepalived+lvs实现高可用的负载均衡

w2ewe

  对于lvs，我们都是很熟悉的，但是，这种架构的缺陷就在于，它的DR，一旦DR崩溃了，客户端的请求就不能被发往后端的real server，无法请求任何数据，下面的我的这个实验就是利用keepalived对lvs的DR做高可用。keepalived知识点引入：这个软件实现的是路由器上的vrrp协议，下面引入一幅图

vrrp：虚拟路由冗余协议，从图中可以看出，上面有一个VIP，后面有两个路由器连接着两个网络，当其中一台路由器宕机时，我们的VIP就会到另外一台路由器上，而且，相对的规则也会到另一台主机上，整个网络不间断，仍然保持良好的工作；同样，我们的keepalived中也应用到了vrrp协议，两台keepalived主机有一个vip，每台主机都有一个优先级，根据哪个优先级大，则VIP和相应的规则策略就在这台主机上
拓扑图如下：


前端通过DNS做负载均衡器，客户端可以访问不同的负载均衡器DR，然后，请求发送到后端的real server

下面，我会先实现单个VIP情况下的keepalived实现高可用，后面也应用到了双主形式的lvs负载均衡

配置两个后端的web服务器
提供web的主页，而且要不一样，加以区分
在R1上，提供主页如下

1 2	[iyunv@localhost ~]# cat /var/www/html/index.html this is web1

在R2上提供主页如下

1 2	[iyunv@localhost ~]# cat /var/www/html/index.html web2 test page

把两个web的httpd服务都启动

1	[iyunv@localhost ~]# service httpd start

可以使用curl测试一下，能否访问

然后，在两台web服务器上，更改内核参数

1 2 3 4

[iyunv@localhost ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore [iyunv@localhost ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore [iyunv@localhost ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce [iyunv@localhost ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

在两台web服务器上配置VIP

1	[iyunv@localhost ~]# ifconfig lo:0 192.168.77.20 netmask 255.255.255.255 broadcast 192.168.77.20 up

在两台web服务器上添加一条默认的路由

1	[iyunv@localhost ~]# route  add -host 192.168.77.20 dev lo:0

回到前端，配置我们的keepalived服务，先停掉服务
提供新的配置文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56

[iyunv@node1 keepalived]# cp  keepalived.conf.bak   keepalived.conf修改添加配置文件为如下 ! Configuration File for keepalived global_defs {    notification_email {      root@localhost    }    notification_email_from admin@365lsy.com    smtp_server 127.0.0.1    smtp_connect_timeout 30    router_id LVS_DEVEL } vrrp_instance VI_1 {     state MASTER     interface eth0     virtual_router_id 30     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass 1234     }     virtual_ipaddress {         192.168.77.20     } } virtual_server 192.168.77.20 80 {     delay_loop 6     #监控检查的时间间隔     lb_algo rr          #负载均衡的调度算法     lb_kind DR          #ipvs的类型为，这里为直接路由     nat_mask 255.255.255.0          protocol TCP     #基于TCP的协议     real_server 192.168.77.13 80 {         weight 1         HTTP_GET {             url {               path /               status_code 200             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     }     real_server 192.168.77.14 80 {         weight 1         HTTP_GET {             url {               path /               status_code 200             }             connect_timeout 3             nb_get_retry 3             delay_before_retry 3         }     } }

将配置文件拷贝到lvs的另一台DR上，稍做如下修改

1 2 3 4

[iyunv@node1 keepalived]# scp keepalived.conf node2:/etc/keepalived/ [iyunv@node2 ~]#vim /etc/keepalived/keepalived.conf     state BACKUP     #这边是从节点     priority 99     #调低优先级

我们现在node2上启动keepalived服务，并且安装ipvs的管理软件

1 2	[iyunv@node2 keepalived]# service keepalived start [iyunv@node2 keepalived]# yum install -y ipvsadm

然后，我们可以使用ipvsadm查看是否生成了规则

可见，现在已经生成规则了，是keepalived调用内核的ipvs生成的

之后，我们可以在浏览器中再次验证，是否生效


两次刷新的，显示的网页是不一样的，这样轮询的效果就很好的体现出来了，实际的生产系统中，web的网页应该是一致

假设，此时，我们后端的两个web服务器都挂了，那我们的前端客户就请求不到任何内容了
我们可以手动停掉两台的httpd服务

此时，应该在DR上启动一个sorry server，即启动一个web服务
但是，ipvs是在DR上生效的，客户的请求，在INPUT链上就被直接转走了，所以，DR启动web服务，前端用户依然访问不到

更改配置文件，在两台DR服务器上都做修改

1 2	[iyunv@node1 keepalived]# vim keepalived.conf sorry_server 127.0.0.1 80

为DR上的web服务提供网页，可以不一致

1 2 3 4 5

[iyunv@node1 keepalived]# cat /var/www/html/index.html sorry! the node1 site is maintenance! [iyunv@node2 keepalived]# cat /var/www/html/index.html sorry! the node2 site is maintenance!

以上是为了实验，实际生产环境中，要求sorry页面是一样的

然后，分别将两台DR上的httpd服务启动

1	[iyunv@node1 keepalived]# service httpd start

注意：sorry_server可以指定单独的一台服务器

两台DR都重启keepalived服务

1	[iyunv@node1 keepalived]# service keepalived restart

此时，ipvs的规则生效在node1上

我们手动将后端的两台web服务器的web服务停止掉，然后，在浏览器中访问

页面只显示DR1上的web服务器的页面

查看此时的ipvs规则，只监听在本地的web服务上

我们可以让DR1假装宕机，然后，访问我们的web服务

1	[iyunv@node1 keepalived]# service keepalived stop

显示的DR2上的web服务器的页面，查看node2上的ipvs规则

再次将后面的web服务上线，访问到的网页就是后面的内容了


上面这种事例，我们只有VIP，但是，我们可以使用两个VIP，做一个双主的keepalived，来实现lvs-DR的高可用
这时，我们就要将node2作为node1的主节点了，而且，要添加一个VIP

更改配置文件为如下

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[iyunv@node1 keepalived]# vim keepalived.conf     #添加下面的instance vrrp_instance VI_2 {     state BACKUP     interface eth0     virtual_router_id 130     priority 99     advert_int 1     authentication {         auth_type PASS         auth_pass 01234     }     virtual_ipaddress {         192.168.77.30     } }

注意：同时，还要将上面的virtual_server复制一份给这个实例，只要修改IP地址就行，其他不需要更改

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

virtual_server 192.168.77.30 80 { ……后面部分省略 [iyunv@node2 keepalived]# vim keepalived.conf vrrp_instance VI_2 {     state MASTER     interface eth0     virtual_router_id 130     priority 100     advert_int 1     authentication {         auth_type PASS         auth_pass 01234     }     virtual_ipaddress {         192.168.77.30     } } virtual_server 192.168.77.30 80 { ……后面部分省略 停掉node1和node2上的keepalived服务，到后端的real server上添加192.168.77.30这个地址 [iyunv@localhost ~]# ifconfig lo:1 192.168.77.30 netmask 255.255.255.255 broadcast 192.168.77.30 up [iyunv@localhost ~]# route add -host 192.168.77.30 dev lo:1 使用route -n查看路由 然后，在node2上启动keepalived服务 [iyunv@node2 keepalived]# service keepalived start

查看我们的ipvs规则

然后，在浏览器中访问我们的地址
输入192.168.77.20时，刷新一次，得到的情况


输入192.168.77.30时，刷新一次，得到的情况


然后，启动node1的keepalived服务，可以发现，资源都转到了node1上了

最后，我们在前端借助了DNS，将一个域名解析为两个IP地址192.168.77.20和192.168.77.30
两台前端的DR节点，两台都是keepalived的主节点，两台都能负载均衡，任何一台挂了，另一台都能补上，而且，在DR上又使用keepalived实现了lvs的负载均衡到后点的RS