Keepalived+Nginx架构详解
Keepalived+Nginx架构keepalived是一个类似于layer3、4、7交换机制的软件，也就是我们平时说的第3层、第4层和第7层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器、Mysql服务器宕机，或工作出现故障，Keepalived将检测到后，会将有故障的web服务器或者Mysql服务器从系统中剔除，当服务器工作正常后Keepalived自动将web、Mysql服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的WEB和Mysql服务器。keepalived的工作方式keepalived在Layer3、4、7工作在IP/TCP协议栈的IP层，TCP层，及应用层,原理分别如下：[*] layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。
[*] Layer4: Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80，如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中剔除。
[*] Layer7：Layer7就是工作在具体的应用层了，比Layer3,Layer4要复杂一点，在网络上占用的带宽也要大一些。Keepalived将根据用户的设定检查服务器程序的URL运行是否正常，如果与用户的设定不相符，则Keepalived将把服务器从服务器群中剔除。
keepalived的工作原理keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播给backup，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。keepalived主要有三个模块，分别是core、check和vrrp。
[*]core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。
[*]check负责健康检查，包括常见的各种检查方式。
[*]vrrp模块是来实现VRRP协议的。
keepalived配置文件详解：完整的keepalived的配置文件，其配置文件keepalived.conf可以包含三个文本块：全局定义块、VRRP实例定义块及虚拟服务器定义块。全局定义块和虚拟服务器定义块是必须的，如果在只有一个负载均衡器的场合，就不须VRRP实例定义块。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#全局定义块global_defs {
notification_email {
#指定keepalived在发生切换时需要发送email到的邮箱，一行一个
admin@gmail.com
}
notification_email_fromlocalhost#指定发件人
smtp_server 127.0.0.1 #指定smtp服务器地址
smtp_connect_timeout 3 #指定smtp连接超时时间
router_id LVS_DEVEL #运行keepalived机器的一个标识}
#监控Nginx进程 vrrp_script chk_nginx {
script "/data/script/nginx.sh" #监控服务脚本地址;
interval 2 #检测时间间隔(执行脚步间隔)
weight 2 }
#VRRP实例定义块
vrrp_sync_group VG_1{ #监控多个网段的实例
group {
VI_1 #实例名
VI_2
}
notify_master /data/sh/nginx.sh #指定当切换到master时，执行的脚本
notify_backup /data/sh/nginx.sh #指定当切换到backup时，执行的脚本
notify /data/sh/nginx.sh #发生任何切换，均执行的脚本
smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知}
vrrp_instance VI_1 {
state BACKUP #设置主机状态，MASTER|BACKUP
nopreempt #设置为不抢占
interface eth0 #对外提供服务的网络接口
lvs_sync_daemon_inteface eth0 #负载均衡器之间监控接口;
track_interface{ #设置额外的监控，网卡出现问题都会切换；
eth0
eth1
}
mcast_src_ip #发送多播包的地址，如果不设置默认使用绑定网卡的primary ip
garp_master_delay #在切换到master状态后，延迟进行gratuitous ARP请求
virtual_router_id 50 #VRID标记 ,路由ID，可通过#tcpdump vrrp查看
priority 90 #优先级，高优先级竞选为master
advert_int 1 #检查间隔，默认1秒
preempt_delay #抢占延时，默认5分钟
debug #debug级别
authentication { #设置认证
auth_type PASS #认证方式
auth_pass 22222 #认证密码
}
track_script { #以脚本为监控chk_nginx；
chk_nginx
}
virtual_ipaddress { #设置vip
192.168.111.188
}
}
注意：使用了脚本监控Nginx或者MYSQL，不需要如下虚拟服务器设置块。
#虚拟服务器定义块
virtual_server 192.168.111.188 3306 {
delay_loop 6 #健康检查时间间隔
lb_algo rr #调度算法rr|wrr|lc|wlc|lblc|sh|dh
lb_kind DR #负载均衡转发规则NAT|DR|RUN
persistence_timeout5 #会话保持时间
protocol TCP #使用的协议
real_server 192.168.1.12 3306 {
weight 1 #默认为1,0为失效
notify_up |#在检测到server up后执行脚本；
notify_down|#在检测到server down后执行脚本；
TCP_CHECK {
connect_timeout 3 #连接超时时间;
nb_get_retry 3 #重连次数;
delay_before_retry 3#重连间隔时间;
connect_port 3306 #健康检查的端口的端口;
}
HTTP_GET{
url{ #检查url，可以指定多个
path /
digest ATM #检查后的摘要信息
status_code 200 #检查的返回状态码
}
}
}
keepalived+Nginx架构实例：环境准备：
操作系统2 台centos6.6
nginx-master192.168.1.21
nginx-backup192.168.1.22
vip192.168.1.190
安装keepalived:在Nginx-master和Nginx-backup上同时进行：
1
2
3
4
5
6
7
8
9
wget http://www.keepalived.org/software/keepalived-1.2.24.tar.gztar -xf keepalived-1.2.24.tar.gz
cd keepalived-1.2.24
./configure --prefix=/usr/local/keepalived
make && make install
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
ln -s /usr/local/keepalived/sbin/keepalived /usr/bin/keepalived
ln -s /usr/local/keepalived/etc/keepalived/ /etc/keepalived
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
chmod +x /etc/init.d/keepalived
修改Nginx-master配置文件：vim /etc/keepalived/keepalived.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
}
notification_email_from localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script "/usr/local/keepalived/sbin/check_nginx.sh"interval 2weight 2}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
#设置成非抢占
authentication {
auth_type PASS
auth_pass linux123
}
virtual_ipaddress { 192.168.1.190}
track_script {
chk_nginx
}
}
修改Nginx-backup的配置文件：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc
}
notification_email_from localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_nginx {
script "/usr/local/keepalived/sbin/check_nginx.sh"
interval 2
weight 2}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
#和master相同的优先级
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass linux123
}
virtual_ipaddress { 192.168.1.190}
track_script {
chk_nginx
}
}
检测脚本：
1
2
3
4
5
6
7
8
9
10
11
vim /usr/local/keepalived/sbin/check_nginx.sh
#!/bin/bash
#num=$(ps -ef|grep nginx|grep -v grep|grep -v check_nginx.sh)
if [ "$(ps -ef|grep nginx|grep -v grep|grep -v check_nginx.sh)" == "" ];then
/usr/local/nginx/sbin/nginx
sleep 5
if [ "$(ps -ef|grep nginx|grep -v grep|grep -v check_nginx.sh)" == "" ];then
/usr/local/nginx/sbin/nginx -s stop
fi
fi
脚本加上可执行权限，不加会报错:
1
chmod +x /usr/local/keepalived/sbin/check_nginx.sh
验证结果：上述实验结果，如果nginx-master挂掉之后，keepalived会尝试启动Nginx，如果5秒后没有起来就会关闭Nginx，发生vip漂移到backup上。如果突然ngixn-master起来了，但是只能Nginx-master自动切换成backup。因为我们设置了Nginx-master为nopreempt。keepalived几种设置状态总结：
[*]如果状态相同（都是master或者backup），优先级高的为master。
[*]如果优先级一样，状态是master的就是master。
[*]两台master，优先级相同，后起的为master。
[*]两台backup，优先级相同，先起的为master。
[*]一台master，一台backup，优先级相同，但是将master设置成nopreempt，谁先起谁是master。（生产环境运用）
报错总结：错误1.Keepalived_vrrp: pid 8445 exited with status 32256解决：该脚本没有给权限script "/usr/local/keepalived/sbin/check_nginx.sh"错误2.(VI_1): unknown state 'backup', defaulting to BACKUP解决：BACKUP必须要大写错误3.Unknown keyword 'track_script{'解决：在track_script和{之间留个空格就好了
页:
[1]