wuli 发表于 2013-9-27 09:59:05

keepalived+nginx实现nginx的高可用

keepalived+nginx实现nginx的高可用
=================================
nginx的高可用
nginx实现后端realserver的负载均衡
==================================

实验环境：
OS：Centos 6.4(redhat 6.4)
yum源:



name=sohu-centos
baseurl=http://mirrors.sohu.com/centos/$releasever/os/$basearch
gpgcheck=1
enable=0
gpgkey=http://mirrors.sohu.com/centos/RPM-GPG-KEY-CentOS-6

name=sohu-epel
baseurl=http://mirrors.sohu.com/fedora-epel/$releasever/$basearch/
enable=1
gpgcheck=0


拓扑图：
拓扑图的规划：

IP地址软件
Master172.16.22.1(VIP：172.16.22.100)keepalived+nginx
Backup172.16.22.2(VIP：172.16.22.100)keepalived+nginx
apache1172.16.22.3httpd
apache2172.16.22.4httpd


此架构需考虑的问题
1）、Master没挂，则Master占有vip且nginx运行在Master上
2）、Master挂了，则backup抢占vip且在backup上运行nginx服务
3）、如果master服务器上的nginx服务挂了，则vip资源转移到backup服务器上
4）、检测后端服务器的健康状态

Master和Backup两边都开启nginx服务，无论Master还是Backup，当其中的一个keepalived服务停止后，vip都会漂移到keepalived服务还在的节点上，
如果要想使nginx服务挂了，vip也漂移到另一个节点，则必须用脚本或者在配置文件里面用shell命令来控制。
首先必须明确后端服务器的健康状态检测keepalived在这种架构上是无法检测的，后端服务器的健康状态检测是有nginx来判断的，但是nginx的检测机制有一定的缺陷，后端服务器某一个宕机之后，nginx还是会分发请求给它，在一定的时间内后端服务响应不了，nginx则会发给另外一个服务器，然后当客户的请求来了，nginx会一段时间内不会把请求分发给已经宕机的服务器，但是过一段时间后，nginx还是会把分发请求发给宕机的服务器上。


一、安装keepalived+nginx
Master：
1、安装keepalived和编译安装nginx


# yum -y install keepalived
#tar xf nginx-1.4.2.tar.gz
#yum -y groupinstall "Development tools" "ServerPlatform Development"
#yum -y install pcre-devel
# cd nginx-1.4.2
# groupadd nginx
# useradd -r -g nginx nginx
#./configure
--prefix=/usr
--sbin-path=/usr/sbin/nginx
--conf-path=/etc/nginx/nginx.conf
--error-log-path=/var/log/nginx/error.log
--http-log-path=/var/log/nginx/access.log
--pid-path=/var/run/nginx/nginx.pid
--lock-path=/var/lock/nginx.lock
--user=nginx
--group=nginx
--with-http_ssl_module
--with-http_flv_module
--with-http_stub_status_module
--with-http_gzip_static_module
--http-client-body-temp-path=/var/tmp/nginx/client/
--http-proxy-temp-path=/var/tmp/nginx/proxy/
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi
--http-scgi-temp-path=/var/tmp/nginx/scgi
--with-pcre
# make && make install
2、提供nginx的system V服务脚本文件


# vim /etc/rc.d/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:Nginx is an HTTP(S) server, HTTP(S) reverse
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:   /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING"= "no"] && exit0
nginx="/usr/sbin/nginx"
prog=$(basename$nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep"configure arguments:"| sed's/[^*]*--user=([^ ]*).*//g'-`
options=`$nginx -V 2>&1 | grep'configure arguments:'`
foropt in$options; do
if[ `echo$opt | grep'.*-temp-path'` ]; then
value=`echo$opt | cut-d "="-f 2`
if[ ! -d "$value"]; then
# echo "creating" $value
mkdir-p $value && chown-R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit5
[ -f $NGINX_CONF_FILE ] || exit6
make_dirs
echo-n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq0 ] && touch$lockfile
return$retval
}
stop() {
echo-n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq0 ] && rm-f $lockfile
return$retval
}
restart() {
configtest || return$?
stop
sleep1
start
}
reload() {
configtest || return$?
echo-n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null2>&1
}
case"$1"in
start)
rh_status_q && exit0
$1
;;
stop)
rh_status_q || exit0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit0
;;
*)
echo$"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit2
esac
# chmod +x /etc/rc.d/init.d/nginx
# service nginx start
Starting nginx:                                          
# scp -p /etc/rc.d/init.d/nginx172.16.22.2:/etc/rc.d/init.d    #把nginx的服务脚本复制到backup上，-p是保持原有的权限
3、修改配置文件


# cd /etc/keepalived/
# vim keepalived.conf
global_defs {
   notification_email {
   root@localhost
   }
   notification_email_from admin@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LTT
}
vrrp_script chk_nginx {#检测nginx服务是否在运行有很多方式，比如进程，用脚本检测等等
   script "killall -0 nginx"#用shell命令检查nginx服务是否存在
   interval 1#时间间隔为1秒检测一次
   weight -2   #当nginx的服务不存在了，就把当前的权重-2
   fall 2      #测试失败的次数
   rise 1      #测试成功的次数
}
vrrp_instance IN_1 {
    state MASTER
    interface eth0
    virtual_router_id 22
    priority 100
    advert_int 1
    authentication {
      auth_type PASS
      auth_pass aaaa
    }
    virtual_ipaddress {
      172.16.22.100
    }
   track_script {
    chk_nginx   #引用上面的vrrp_script定义的脚本名称
}
}
#scp keepalived.conf 172.16.22.2:/etc/keepalived #把配置文件copy到Backup服务器上，copy之前要保证Backup服务器上面已经安装了keepalived
4、开启keepalived和nginx的服务


# service keepalived start
Starting keepalived:                                       
# chkconfig --add keepalived
# chkconfig keepalived on
# service nginx start
Starting nginx:                                          
# chkconfig --add nginx
# chkconfignginx on
Backup：
1、安装keepalived和编译安装nginx


# yum -y install keepalived
#tar xf nginx-1.4.2.tar.gz
#yum -y groupinstall "Development tools" "ServerPlatform Development"
#yum -y install pcre-devel
# cd nginx-1.4.2
# groupadd nginx
# useradd -r -g nginx nginx
#./configure
--prefix=/usr
--sbin-path=/usr/sbin/nginx
--conf-path=/etc/nginx/nginx.conf
--error-log-path=/var/log/nginx/error.log
--http-log-path=/var/log/nginx/access.log
--pid-path=/var/run/nginx/nginx.pid
--lock-path=/var/lock/nginx.lock
--user=nginx
--group=nginx
--with-http_ssl_module
--with-http_flv_module
--with-http_stub_status_module
--with-http_gzip_static_module
--http-client-body-temp-path=/var/tmp/nginx/client/
--http-proxy-temp-path=/var/tmp/nginx/proxy/
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi
--http-scgi-temp-path=/var/tmp/nginx/scgi
--with-pcre
# make && make install
2、之前 已经从Master复制了nginx的system V服务脚本文件，启动nginx服务


# service nginx start
Starting nginx:                                          
# chkconfig --add nginx
# chkconfignginx on
3、修改配置文件


# cd /etc/keepalived/
# vim keepalived.conf   #此配置文件是从Master服务器上copy过来，只需小小改动
state BACKUP#把这里原先的MASTER改成BACKUP
priority 99   #把这里原先的100改成99
4、开启服务


# service keepalived start
Starting keepalived:                                       
# chkconfig --add keepalived
# chkconfig keepalived on

apache1：
1、安装(博主这里用rpm包安装，各位朋友可以用源码编译安装)
# yum -y install httpd
2、建立测试网页文件


# cd /var/www/html/
# cat index.html #建一个测试网页
this is apache1
3、开启服务


# service httpd start
Starting httpd:               
# chkconfig --add httpd
# chkconfighttpd on
apache2：
1、安装(博主这里用rpm包安装，各位朋友可以用源码编译安装)
# yum -y install httpd
2、建立测试网页文件


# cd /var/www/html/
# cat index.html #建一个测试网页
this is apache2
3、开启服务


# service httpd start
Starting httpd:               
# chkconfig --add httpd
# chkconfighttpd on

此致所有安装已经完成。

二、nginx实现后端realserver的负载均衡，由于两边的配置文件必须保持一致，所以在Master配置完后直接copy到Backup上
Master：


# cd /etc/nginx/
# grep -v "#" nginx.conf | grep -v "^$"
worker_processes1;
events {
    worker_connections1024;
}
http {
    include       mime.types;
    default_typeapplication/octet-stream;
    sendfile      on;
    keepalive_timeout65;
    upstream apacheweb {#定义负载均衡的模块
      server 172.16.22.3:80 max_fails=3 fail_timeout=2s;
      server 172.16.22.4:80 max_fails=3 fail_timeout=2s;
   }
    server {
      listen       80;
      server_namelocalhost;
      location / {
            root   html;
            indexindex.html index.htm;
      }
      error_page   500 502 503 504/50x.html;
      location = /50x.html {
            root   html;
      }
      location ~ .(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
            root      /var/www/html;#此处定义后端服务器网页存放路径
            proxy_pass   http://apacheweb;
      }
    }
}
# scp nginx.conf 172.16.22.2:/etc/nginx
两边分别重启服务


# service nginx restart
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
Stopping nginx:                                          
Starting nginx:                                          
# service nginx restart
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
Stopping nginx:                                          
Starting nginx:                                          

验证负载均衡：



本博客只是简单的用nginx做了方向代理和静态页面的负载均衡，keepalived+nginx实现高可用的nginx的动静分离，读写分离，后续会持续更新

zj2092 发表于 2013-10-3 05:06:49

所有的男人生来平等，结婚的除外。

50010623 发表于 2013-10-10 14:42:21

商女不知亡国恨、妓女不懂婚外情。

dopost 发表于 2013-10-18 22:15:27

恐龙说：“遇到色狼，不慌不忙；遇到禽兽，慢慢享受……”

李斯特 发表于 2013-10-27 01:14:08

我身在江湖，江湖里却没有我得传说。

王艳玲 发表于 2013-11-25 12:17:29

生活***好玩，因为生活老***玩我!
页: [1]
查看完整版本: keepalived+nginx实现nginx的高可用