keepalived+lvs实现高可用的负载均衡
对于lvs，我们都是很熟悉的，但是，这种架构的缺陷就在于，它的DR，一旦DR崩溃了，客户端的请求就不能被发往后端的real server，无法请求任何数据，下面的我的这个实验就是利用keepalived对lvs的DR做高可用。keepalived知识点引入：这个软件实现的是路由器上的vrrp协议，下面引入一幅图vrrp：虚拟路由冗余协议，从图中可以看出，上面有一个VIP，后面有两个路由器连接着两个网络，当其中一台路由器宕机时，我们的VIP就会到另外一台路由器上，而且，相对的规则也会到另一台主机上，整个网络不间断，仍然保持良好的工作；同样，我们的keepalived中也应用到了vrrp协议，两台keepalived主机有一个vip，每台主机都有一个优先级，根据哪个优先级大，则VIP和相应的规则策略就在这台主机上
拓扑图如下：
前端通过DNS做负载均衡器，客户端可以访问不同的负载均衡器DR，然后，请求发送到后端的real server
下面，我会先实现单个VIP情况下的keepalived实现高可用，后面也应用到了双主形式的lvs负载均衡
配置两个后端的web服务器
提供web的主页，而且要不一样，加以区分
在R1上，提供主页如下
1
2
# cat /var/www/html/index.html
this is web1
在R2上提供主页如下
1
2
# cat /var/www/html/index.html
web2 test page
把两个web的httpd服务都启动
1
# service httpd start
可以使用curl测试一下，能否访问
然后，在两台web服务器上，更改内核参数
1
2
3
4
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
在两台web服务器上配置VIP
1
# ifconfig lo:0 192.168.77.20 netmask 255.255.255.255 broadcast 192.168.77.20 up
在两台web服务器上添加一条默认的路由
1
# routeadd -host 192.168.77.20 dev lo:0
回到前端，配置我们的keepalived服务，先停掉服务
提供新的配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
# cpkeepalived.conf.bak keepalived.conf修改添加配置文件为如下
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from admin@365lsy.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 30
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1234
}
virtual_ipaddress {
192.168.77.20
}
}
virtual_server 192.168.77.20 80 {
delay_loop 6 #监控检查的时间间隔
lb_algo rr #负载均衡的调度算法
lb_kind DR #ipvs的类型为，这里为直接路由
nat_mask 255.255.255.0
protocol TCP #基于TCP的协议
real_server 192.168.77.13 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.77.14 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
将配置文件拷贝到lvs的另一台DR上，稍做如下修改
1
2
3
4
# scp keepalived.conf node2:/etc/keepalived/
#vim /etc/keepalived/keepalived.conf
state BACKUP #这边是从节点
priority 99 #调低优先级
我们现在node2上启动keepalived服务，并且安装ipvs的管理软件
1
2
# service keepalived start
# yum install -y ipvsadm
然后，我们可以使用ipvsadm查看是否生成了规则
可见，现在已经生成规则了，是keepalived调用内核的ipvs生成的
之后，我们可以在浏览器中再次验证，是否生效
两次刷新的，显示的网页是不一样的，这样轮询的效果就很好的体现出来了，实际的生产系统中，web的网页应该是一致
假设，此时，我们后端的两个web服务器都挂了，那我们的前端客户就请求不到任何内容了
我们可以手动停掉两台的httpd服务
此时，应该在DR上启动一个sorry server，即启动一个web服务
但是，ipvs是在DR上生效的，客户的请求，在INPUT链上就被直接转走了，所以，DR启动web服务，前端用户依然访问不到
更改配置文件，在两台DR服务器上都做修改
1
2
# vim keepalived.conf
sorry_server 127.0.0.1 80
为DR上的web服务提供网页，可以不一致
1
2
3
4
5
# cat /var/www/html/index.html
sorry! the node1 site is maintenance!
# cat /var/www/html/index.html
sorry! the node2 site is maintenance!
以上是为了实验，实际生产环境中，要求sorry页面是一样的
然后，分别将两台DR上的httpd服务启动
1
# service httpd start
注意：sorry_server可以指定单独的一台服务器
两台DR都重启keepalived服务
1
# service keepalived restart
此时，ipvs的规则生效在node1上
我们手动将后端的两台web服务器的web服务停止掉，然后，在浏览器中访问
页面只显示DR1上的web服务器的页面
查看此时的ipvs规则，只监听在本地的web服务上
我们可以让DR1假装宕机，然后，访问我们的web服务
1
# service keepalived stop
显示的DR2上的web服务器的页面，查看node2上的ipvs规则
再次将后面的web服务上线，访问到的网页就是后面的内容了
上面这种事例，我们只有VIP，但是，我们可以使用两个VIP，做一个双主的keepalived，来实现lvs-DR的高可用
这时，我们就要将node2作为node1的主节点了，而且，要添加一个VIP
更改配置文件为如下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# vim keepalived.conf #添加下面的instance
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 130
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 01234
}
virtual_ipaddress {
192.168.77.30
}
}
注意：同时，还要将上面的virtual_server复制一份给这个实例，只要修改IP地址就行，其他不需要更改
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
virtual_server 192.168.77.30 80 {
……后面部分省略
# vim keepalived.conf
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 130
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 01234
}
virtual_ipaddress {
192.168.77.30
}
}
virtual_server 192.168.77.30 80 {
……后面部分省略
停掉node1和node2上的keepalived服务，到后端的real server上添加192.168.77.30这个地址
# ifconfig lo:1 192.168.77.30 netmask 255.255.255.255 broadcast 192.168.77.30 up
# route add -host 192.168.77.30 dev lo:1
使用route -n查看路由
然后，在node2上启动keepalived服务
# service keepalived start
查看我们的ipvs规则
然后，在浏览器中访问我们的地址
输入192.168.77.20时，刷新一次，得到的情况
输入192.168.77.30时，刷新一次，得到的情况
然后，启动node1的keepalived服务，可以发现，资源都转到了node1上了
最后，我们在前端借助了DNS，将一个域名解析为两个IP地址192.168.77.20和192.168.77.30
两台前端的DR节点，两台都是keepalived的主节点，两台都能负载均衡，任何一台挂了，另一台都能补上，而且，在DR上又使用keepalived实现了lvs的负载均衡到后点的RS
页:
[1]