keepalived实现LVS集群的高可用

232121 发表于 2016-5-12 09:05:01

HA集群：高可用集群：

实现方式：vrrp协议和ais完备HA集群
      vrrp可以由keepalived实现

      ais可以由heartbeat和corosync

vrrp协议：虚拟冗余路由协议
   VRRP为虚拟路由冗余协议，目的就是为了解决静态路由单点故障问题。在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
   VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。（虚拟MAC地址：00-00-5E-00-01-(VRID)
   在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)，多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。

keepalived：vrrp协议的实现
keepalived是基于vrrp协议实现的一个高可用集群解决方案，可以利用keepalived来解决单点故障问题，使用keepalived实现的高可用集群方案中，一般有两台服务器，一个是MASTER（主服务器），另一个是BACKUP（备用服务器），这个集群中对外提供一个虚拟IP，MASTER服务器会定时发送特定信息给BACKUP服务器，当BACKUP服务器接收不到MASTER发送的消息时，BACKUP服务器会接管虚拟IP，继续提供服务。

keepalive实现高可用集群：

实验准备：
虚拟机: 172.18.250.75    lvs_master    安装keepalived
虚拟机： 172.18.250.76    lvs_backup    安装keepalived
虚拟机： 172.18.250.77    web_server1 安装nginx
虚拟机： 172.18.250.79    web_server2 安装nginx
两台lvs调度器上安装keepalived服务，当主master出现故障，备机立即抢夺对外的虚拟IP及MAC地址，继续提供服务。
keepalived服务对web服务器进行健康检测，一旦web服务器出现故障，立马剔除集群，如果web修复好了，自动把web服务加入到集群中。

一、安装keepalived服务

1
2
]# yum -y install keepalived    在两台调度器上安装
]# yum -y install keepalived

主配置文件：/etc/keepalived/keepalived.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
]# vim /etc/keepalived/keepalived.conf
global_defs {                         //全局定义
notification_email {             //提醒邮件
root@localhost
}
notification_email_from amdin@magedu.com
smtp_server 127.0.0.1             //smtp邮件服务
smtp_connect_timeout 30          //邮件超时时长
router_id node1                   //定义虚拟路由的名称
vrrp_mcast_group4 224.0.74.18    //定义vrrp的组播域
}

vrrp_instance VI_1 {
state MASTER                   //当前节点的状态
interface eth0                   //vrrp工作的接口
virtual_router_id 150          //虚拟路由的ID
priority 100                   //优先级
advert_int 1                   //广播通告的时间间隔
authentication {                //认证方式
   auth_type PASS             //简单认证方式
   auth_pass 1111             //密码
}
virtual_ipaddress {             //虚拟路由的VIP
   172.18.250.99
}
# nopreempt                      //非抢占模式，默认为抢占模式
# preempt_delay 300                //多久才抢占
}

在另一台备机上只要把state 修改成BACKUP proiority 95就行，其他保持不变
测试两台调度器是否能实现高可用:

1
2
3
4
5
6
7
]# service keepalived start
Starting keepalived:
]# ifconfig
eth0:0 Link encap:EthernetHWaddr 00:0C:29:31:F1:3A
      inet addr:172.18.250.99Bcast:0.0.0.0Mask:255.255.255.255
      UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
//主调度器上的虚拟VIP已经起来了

1
2
3
4
5
6
7
]# service keepalived start
Starting keepalived:
]# ifconfig
eth0    Link encap:EthernetHWaddr 00:0C:29:F6:9E:DF
      inet addr:172.18.250.76Bcast:172.18.255.255Mask:255.255.0.0
      inet6 addr: fe80::20c:29ff:fef6:9edf/64 Scope:Link
   //备调度器上的优先级更低，所以不会抢占

主调度器挂了，测试备调度器是否会抢占VIP：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
]# ifconfig
eth0    Link encap:EthernetHWaddr 00:0C:29:F6:9E:DF
      inet addr:172.18.250.76Bcast:172.18.255.255Mask:255.255.0.0
      inet6 addr: fe80::20c:29ff:fef6:9edf/64 Scope:Link
      UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
      RX packets:188276 errors:0 dropped:0 overruns:0 frame:0
      TX packets:25467 errors:0 dropped:0 overruns:0 carrier:0
      collisions:0 txqueuelen:1000
      RX bytes:65884009 (62.8 MiB)TX bytes:9932551 (9.4 MiB)

eth0:0 Link encap:EthernetHWaddr 00:0C:29:F6:9E:DF
      inet addr:172.18.250.99Bcast:0.0.0.0Mask:255.255.255.255
      UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
   //能抢占VIP

主调度器起来，抢占VIP，实现了LVS调度器的高可用：

1
2
3
4
5
6
7
8
9
10
11
12
13
]# ifconfig
eth0    Link encap:EthernetHWaddr 00:0C:29:31:F1:3A
      inet addr:172.18.250.75Bcast:172.18.255.255Mask:255.255.0.0
      inet6 addr: fe80::20c:29ff:fe31:f13a/64 Scope:Link
      UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
      RX packets:20767 errors:0 dropped:0 overruns:0 frame:0
      TX packets:5509 errors:0 dropped:0 overruns:0 carrier:0
      collisions:0 txqueuelen:1000
      RX bytes:4669454 (4.4 MiB)TX bytes:682094 (666.1 KiB)

eth0:0 Link encap:EthernetHWaddr 00:0C:29:31:F1:3A
      inet addr:172.18.250.99Bcast:0.0.0.0Mask:255.255.255.255
      UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1

二、安装nginx服务，实现Web集群的高可用：
注意：实现高可用集群时，需要注意以下几点：
1、时间需要一致，可用通过同步时间服务器；
2、确保iptables和selinux不会成为阻碍
3、各节点之间可通过主机互相通信（对Keepalived并非必须）；
4、各节点之间的root用户可以基于密钥认证的ssh通信（对KA并非必须）。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
]# vim /etc/keepalived/keepalived.conf
virtual_server 172.18.250.99 80 { //定义虚拟集群
delay_loop 6                   //定义服务轮询时间
lb_algo rr                      //定义集群算法
lb_kind DR                      //定义集群的模式
persistence_timeout 0          //定义保持连接时长
protocol TCP                   //定义协议，只支持TCP

real_server 172.18.250.77 80 { //定义RS
   weight 1                   //权重
   HTTP_GET {                //对RS做状态健康检测，有SSL_GET TCP_CHECK
         url {
         path /index.html    //请求主页
         status_code 200       //返回200证明RS是正常的
         }
         connect_timeout 3       //连接超时时长
         nb_get_retry 3          //超时后在检测三次
         delay_before_retry 3    //等待3秒在检测
   }
}
real_server 172.18.250.79 80 {
   weight 1
   HTTP_GET {
         url {
         path /index.html
         status_code 200
         }
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
   }
}
}

因为是DR模式，所以需要隔绝arp通告，让报文的源地址是VIP

1
2
3
4
5
6
]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
]# echo 1>/proc/sys/net/ipv4/conf/lo/arp_ignore
]# echo 2>/proc/sys/net/ipv4/conf/all/arp_announce
]# echo 2>/proc/sys/net/ipv4/conf/lo/arp_announce
]# ifconfig lo:0 172.18.250.99 netmask 255.255.255.255 broadcast 172.18.250.99
]# route add -host 172.18.250.99 dev lo:0

在其它虚拟机上测试是否实现负载均衡：

1
2
3
4
5
6
7
8
]# curl http://172.18.250.99/index.html
Hello RS1
]# curl http://172.18.250.99/index.html
Hello RS2
]# curl http://172.18.250.99/index.html
Hello RS1
]# curl http://172.18.250.99/index.html
Hello RS2

测试keepalived是否能对RS实现高可用：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
]# /usr/local/nginx/sbin/nginx -s stop    //停止250.77这台虚拟机的80端口
]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port       Forward Weight ActiveConn InActConn
TCP172.18.250.99:80 rr
-> 172.18.250.79:80          Route 1    0       0
//剔除lvs集群服务
]# curl http://172.18.250.99/index.html
Hello RS2    //依然能提供服务
]# /usr/local/nginx/sbin/nginx -s start    //开启250.77这台虚拟机的80端口
]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port       Forward Weight ActiveConn InActConn
TCP172.18.250.99:80 rr
-> 172.18.250.77:80          Route 1    0       0
-> 172.18.250.79:80          Route 1    0       1
//加入到Lvs集群中
]# curl http://172.18.250.99/index.html
Hello RS1                            //提供服务
]# curl http://172.18.250.99/index.html
Hello RS2

页: [1]

运维网's Archiver

keepalived实现LVS集群的高可用