nginx+keepalived配置高可用HTTP群集

xsmscb

Nginx不仅是一款优秀的WEB服务器,同时可以根据nginx的反代理可以配置成强大的负载均衡器.这里就介绍如何把nginx配置成负载均衡器,并结合keepalived配置高可用的集群.
　　一般集群主要架构为:
前端为负载均衡器两个:主/备,两种工作方式,一种是备机待机状态,主机故障时备机接管主机工作实现故障庄毅,在主机故障恢复完成时备机继续仅需待机状态,第二种是主备同时工作,一台宕机另外一台自动接管另一台的工作实现故障转移.
　　第一种方式可以通过将域名解析到一个虚拟ip(vip)上,主负载均衡器绑定虚拟ip,当主负载均衡器出现故障时,通过keepalived自动将vip绑定到备用负载均衡器上同时arping网关刷新MAC地址.,避免单点故障.
　　第二种方式主备同时绑定一个vip,把域名通过DNS轮询的方式解析到这两个服务器上,主机出现故障,备机就将主机绑定vip绑定到备机上,同时arping网关刷新MAC地址.实现故障转移.
中间为WEB服务器作为real server,处理请求.
　　后端为数据库和分布式文件系统.数据库一般为主从两台.分布式文件系统有效解决WEB服务器之间的数据同步.有的还会将图片服务器单独分离出来放在后端.
　　本文使用环境:
　　CentOS 5.5 32位
　　nginx:nginx-1.0.11
　　keepalived：keepalived-1.1.19.tar.gz
　　主调度器:192.168.3.1
　　备调度器:192.168.3.2
　　real server:192.168.3.4/5/6
本文采用第一种方式来进行vip为:192.168.3.253
一、在主备服务器上部署nginx
1.下载
1 yum  -y install zlib-devel pcre-devel openssl-devel #安装依赖3cd nginx-1.0.115make && make install3.配置
配置主调度器的nginx,编辑nginx.conf
02 04    include      mime.types;06 08    #                 '$status $body_bytes_sent "$http_referer" '10 12 14    #tcp_nopush    on;16    #keepalive_timeout 0;18 20 22    #供proxy_pass和fastcgi_pass指令中使用的代理服务器24      #后台如果有动态应用的时候,ip_hash指令可以通过hash算法26      #但建议用动态应用做session共享28 30      #weight代表权,重默认为1,权重越高被分配的客户端越多32      #fail_timeout 达到max_fails指定的失败次数后暂停的时间34      #down参数用来标记为离线,不参与负载均衡.在ip_hash下使用36      server 192.168.3.5:80 weight=1 max_fails=2 fail_timeout=30s down;38      #(在此做演示,后面测试会去掉)40    }42        listen      192.168.3.1:80;44 46 48 50            #root  html;52            #使用upstream设置的一组代理服务器54            #将自动将请求转发给负载均衡池中的另一台服务器.56            proxy_pass http://real_server_pool;58            proxy_set_headerX-Forwarded-For $remote_addr;60    }01http{03    default_type application/octet-stream;05    #log_format main  '$remote_addr - $remote_user [$time_local] "$request" '07    #                 '"$http_user_agent" "$http_x_forwarded_for"';09    #access_log logs/access.log  main;11    sendfile       on;13 15    keepalive_timeout 65;17    #gzip on;19    upstreamreal_server_pool {21      server 192.168.3.4:80 weight=1 max_fails=2 fail_timeout=30s;23      server 192.168.3.6:80 weight=1 max_fails=2 fail_timeout=30s;25    server{27        server_name localhost;29        #charsetkoi8-r;31        #access_log logs/host.access.log  main;33        location/ {35            #index index.html index.htm;37            proxy_pass http://real_server_pool;39            proxy_set_headerX-Forwarded-For $remote_addr;1/usr/local/nginx/sbin/nginx二、在主备服务器上部署keepalived
　　安装
　　安装依赖:
1vi /etc/sysctl.conf3sysctl-p #使修改生效首先安装ipvs:
2#下载4tar-zxvf ipvsadm-1.24.tar.gz6make1#下载3tar-zxvf keepalived-1.1.19.tar.gz5./configure--prefix=/ \            #安装在默认位置(配置文件,二进制文件,启动脚本放到默认位置)7--with-kernel-dir=/usr/src/kernels/2.6.18-194.el5-i686/    #需要内核的头文件01global_defs{03        cold_night@linuxzen.com             #定义通知邮箱,有多个可以换行添加05   notification_email_fromroot@linuxzen.com#定义发送邮件的邮箱07   smtp_connect_timeout30                  #定义连接smtp服务器超时时间09}11vrrp_instanceVI_1 {13    interfaceeth0                 #HA监测的端口15    priority100                   #优先级,通常主要比备稍大17    authentication{               #定义认证19        auth_pass1111             #认证口令字21    virtual_ipaddress{            #定义vip23    }25 27    delay_loop6             #每隔 6 秒查询 realserver 状态29    lb_kindNAT31    persistence_timeout50   #同一IP 的连接50秒内被分配到同一台realserver33 35        weight3                #权重37            connect_timeout10  #10秒无响应超时39            delay_before_retry341        }43 45        weight347            connect_timeout349            connect_port8051    }01global_defs{03        cold_night@linuxzen.com05   notification_email_fromroot@linuxzen.com07   smtp_connect_timeout3009}11vrrp_instanceVI_1 {13    interfaceeth015    priority99                    #备用优先级小于主调度器17    authentication{19        auth_pass111121    virtual_ipaddress{23    }25 27    delay_loop629    lb_kindNAT31    persistence_timeout5033 35        weight337            connect_timeout1039            delay_before_retry341        }43 45        weight347            connect_timeout349            connect_port8051    }1servicekeepalived start三、测试—–部署后端服务器
在后端服务器安装nginx,这里仅部署一台然后创建3个基于ip的虚拟主机供测试:
　　绑定ip:
2ifconfigeth0:2 192.168.3.5/2401http{03        listen 192.168.3.4:80;05 07             roothtml/s1;09        }11 13        listen 192.168.3.5:80;15 17            roothtml/s2;19        }21 23        listen192.168.3.6:80;25 27            roothtml/s3;29        }31}创建虚拟主机根目录,并创建不通的首页文档:
2mkdirs1 s2 s34echoserver2 > s2/index.html1/usr/local/nginx/sbin/nginx打开浏览器访问http://192.168.3.253
刷新会看到显示不同的内容:server1,server2,server3(生产中的服务器应该是一样的)
　　


现在停掉主调度器的keepalived
1cat/var/log/messages3Feb10 16:36:28 cfhost Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE5Feb10 16:36:28 cfhost Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.3.2537Feb10 16:36:28 cfhost Keepalived_healthcheckers: Netlink reflector reports IP 192.168.3.253 added01#!/bin/bash03ps aux¦ grep nginx¦ grep -v grep 2>/dev/null 1>&2   #过滤nginx进程05then07else09    /usr/local/nginx/sbin/nginx11    if [[$? -eq 0]]13        pkillkeepalived15fi然后后台运行此脚本: