keepalived+nginx搭建高可用and负载均衡集群

iyufygfd

前言

因生产环境需要，现需要搭建一个前端为nginx的HA双向互备、后端为nginx代理的loadbalance负载均衡集群。nginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务分发，从而达到Master进程的存活高可靠性，Slave(worker)进程所有的业务信号都由主进程发出，Slave(worker)进程所有的超时任务都会被Master中止，属于非阻塞式任务模型。Keepalived是Linux下面实现VRRP 备份路由的高可靠性运行件。基于Keepalived设计的服务模式能够真正做到主服务器和备份服务器故障时IP瞬间无缝交接。

此架构需考虑的问题
1）Master没挂，则Master占有vip且nginx运行在Master上
2）Master挂了，则backup抢占vip且在backup上运行nginx服务
3）如果master服务器上的nginx服务挂了，则vip资源转移到backup服务器上
4）检测后端服务器的健康状态
Master和Backup两边都开启nginx服务，无论Master还是Backup，当其中的一个keepalived服务停止后，vip都会漂移到keepalived服务还在的节点上，
如果要想使nginx服务挂了，vip也漂移到另一个节点，则必须用脚本或者在配置文件里面用shell命令来控制。

以下实验过程由难及易，易于上手，便于操作。

一、前期环境准备

• 1.     系统环境均为CentOS release 6.5 (Final)32位，均在虚拟机上成功实现。
  
  

• 所有的软件包均为yum方式安装，yum源均在用阿里云服务器所使用的。
  
  

• 为避免后续不必要的麻烦，全都关闭防火墙
  
• 本实验结构的拓扑图如下：
  
  

• 机器IP规划如下：
  
  

二、后端apache的安装配置
apache1：
1、安装
[iyunv@apache1 ~]# yum install -y httpd
2、建立测试网页文件
echo "this is apache1" >/var/www/html/index.html
3、开启服务
service httpd start
apache2：
1、安装
yum -y install httpd
2、建立测试网页文件
echo "this is apache2" >/var/www/html/index.html
3、开启服务
service httpd start

• Nginx安装与配置
  
  

1安装环境所需依赖包
yum -y install gcc gcc+ gcc-c++
yum install popt-devel opensslopenssl-devel libssl-dev libnl-devel popt-devel
yum install -y net-snmp.x86_64net-snmp-devel.x86_64
2.安装nginx
yum install -y nginx
3.修改nginx的配置文件
yum install -y nginx

创建自定义配置文件
mkdir /etc/nginx/conf.d/extra/
vim /etc/nginx/conf.d/extra/yang.conf

4.启动nginx
service nginx start
此时可以在浏览器测试一下，输入IP:192.168.1.135

刷新一下

这一台nginx已经配置成功，在另外一台机器上同样的方式配置nginx，这里不再赘述。
以上配置文件里的内容虽然稀少，但都是重要部分，以后用的到的功能逐渐添加。

• keepalived的安装与配置
  
• 机器上安装keepalived
  
  

yum install -y keepalived
2.修改keepalived配置文件
vim/etc/keepalived/keepalived.conf

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45

! Configuration File for keepalived global_defs {    notification_email {      yangry@shiwei.com    }    notification_email_fromyangry@shiwei.com    smtp_server mail.shiwei.com    smtp_connect_timeout 30    router_id LVS_MASTER1  # 表示运行keepalived服务器的一个标识，发邮件时显示在邮件主题中的信息 } vrrp_script chk_http_port { script "/usr/local/keepalived/nginx.sh"#### 检测nginx状态的脚本链接 interval 2 weight 2 } vrrp_instance VI_2 {   #vrrp 实例     stateMASTER     #MASTER/BACKUP     interface eth1  ####HA 监测网络接口     virtual_router_id 51  # 虚拟路由标识，是一个数字，同一个VRRP实例使用唯一的标识,master和backup要一样     priority100          # 用于主从模式，优先级主高于100，从低于100     advert_int1           # 主备之间的通告间隔秒数     authentication{        # 认证用于主从模式，mater和backup配置一样        auth_type PASS          ### 主备切换时的验证        auth_pass 1111          # 密码     } track_script { chk_http_port ### 执行监控的服务 }     virtual_ipaddress { 192.168.1.100 dev eth1 label eth1:0  ########### 虚拟ip     } }

3.编写nginx检测脚本
vim /usr/local/keepalived/nginx.sh
if [ `ps -C nginx --no-header |wc -l` -eq 0];then
killall keepalived
fi
一定要记得赋予其可执行权限哦
chmod +x /usr/local/keepalived/nginx.sh
在另外一台backup机器上做同样操作，注意/etc/keepalived/keepalived.conf要修改的地方如下：
state BACKUP
priority 99（一定要比master的值要小）

• 手动添加一个虚拟IP
  
  

分别在master和backup上执行以下命令：

ifconfig eth1:0 192.168.1.100netmask 255.255.255.0 up

然后查看，就会有两个IP了

• 在两台机器上分别重启nginx和keepalived做测试
  
  

service nginx restart

service keepalived restart

• 1.在master上可以看到
  
  

在backup上可以看到

看日志可以看出，两台服务器的 MASTRE 和 BACUKUP 已经都正常了。

• 2.当我手动把master上的nginx停掉，可以看到master日志
  
  

在看此时的backup日志

显然已经成功把vip接管过来.

自此，本实验已经成功完成。