Linux Nginx+keepalived负载+高可用

奥飞火千万电

Linux Nginx+keepalived负载+高可用　　

　　【摘要】
　　Nginx+keepalived给企业实现廉价的，高可靠性的高可用软负载均衡，可达万级的高并发。
　　【正文】
　　一   前期准备
　　1.1 项目拓扑图
　　初步规划了nginx+keepalived的拓扑结构如下。

　　1.2 服务器准备
　　Redhat 6.4(nginx-A) CPU：单核 内存：2G 硬盘：50G 设置同网段静态IP
　　Redhat 6.4(nginx-B) CPU：单核 内存：2G 硬盘：50G 设置同网段静态IP
　　后端WEB应用服务器  自行搭建（可使用linux做最简单的http服务器）  设置同网段静态IP
　　1.3 软件准备
　　1）  两台新服务器配置YUM安装源。（此处省略YUM源配置过程，可参考网上的方法）
　　2）  下载nginx与keepalived源码安装包。具体型号如下，所实施的软件请参考另外提供的软件包文件夹
　　nginx-1.9.2.tar.gz
　　keepalived-1.2.19.tar.gz
　　二   Nginx服务器安装与配置
　　2.1 Nginx-A/Nginx-B主/备服务器配置
　　2.1.1   基础安装
　　安装nginx之前的需要的依赖包
　　#yum install –y gcc pcre-devel zlib-devel
　　2.1.2   Nginx安装
　　进入nginx安装包所在位置
　　#cd /tmp/
　　解压nginx源码包
　　#tar –xvf nginx-1.9.2.tar.gz
　　进入解压后的文件夹
　　#cd nginx-1.9.2
　　编译并安装
　　#./config;make;make install
　　2.1.3   Nginx配置文件修改
　　Vim编辑/usr/local/nginx/conf/nginx.conf，编辑内容如下图红框所示：

　　2.1.4   创建负载规则
　　1）  创建文件夹路径
　　#mkdir /usr/local/nginx/vhost
　　2）  为每个域名创建负载规则
　　#vim /usr/local/nginx/vhost/www.xxx.net
　　编辑的内容如下图：

　　2.1.5   Nginx启动
　　测试配置文件是否有误
　　#/usr/local/nginx/sbin/nginx -t
　　返回如下信息则配置正确

　　启动nginx
　　#/usr/local/nginx/sbin/nginx
　　三   Keepalived服务器安装与配置
　　3.1 Nginx-A主服务器keepalived安装与配置
　　3.1.1   基础安装
　　安装keepalived之前的需要的依赖包
　　#yum install –y openssl-devel
　　3.1.2   Keepalived安装
　　进入keepalived安装包所在位置
　　#cd /tmp/
　　解压keepalived源码包
　　#tar –xvf keepalived-1.2.19.tar.gz
　　进入解压后的文件夹
　　#cd keepalived-1.2.19
　　编译并安装
　　#./config;make;make install
　　3.1.3   Keepalived配置文件修改
　　1）  创建软链接（启动keepalived时需要配置文件，如未使用-f指定配置文件路径，就创建软链接到/etc目录下）
　　#mkdir /etc/keepalived
　　#ln –s /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
　　2）  修改keepalived配置文件
　　Vim修改/etc/keepalived/keepalived.conf如下图所示：

　　3.1.4   修改iptables设置
　　Iptables防火墙放通虚拟路由协议设置，否则keepalived无法通过虚拟路由协议进行通信。
　　vim编辑/etc/sysconfig/iptables如下图：

　　3.1.5   Keepalived启动
　　#/usr/local/sbin/keepalived
　　3.2 Nginx-B备服务器keepalived安装与配置
　　安装与配置过程请参考主服务器，主要不通点是keepalived.conf，请看下图：

　　3.3 Nginx监控脚本
　　1）  Nginx-A和Nginx-B分别编辑脚本
　　#vim /usr/local/nginx/Monitor_Nginx.sh
　　脚本如下图:

　　2）  增加可执行权限
　　#chmod o+rx /usr/local/nginx/Monitor_Nginx.sh
　　3）  创建软链接
　　#ln –s /usr/local/nginx/Monitor_Nginx.sh /opt/
　　四   优化操作系统限制
　　4.1 优化操作系统使其支持高并发（主备服务器均设置）
　　vim编辑/etc/security/limits.conf，编辑内容如下图：

　　4.2 操作系统内核参数优化（主备服务器均设置）
　　vim编辑/etc/sysctl.conf，编辑内容如下图：

　　五   优化nginx及keepalived启动
　　5.1 将nginx启动制作成服务（主备服务器均设置）
　　5.1.1   编辑/etc/init.d/nginxd
　　编辑内容如下图，脚本内容不一一解释：

　　5.1.2   增加可执行权限
　　1）增加执行权限
　　#chmod +x /etc/init.d/nginxd
　　2）增加软链接，使其能作为命令使用
　　#ln –s /etc/init.d/nginxd /sbin
　　5.1.3   设置开机启动
　　设置开机启动
　　#chkconfig nginxd on
　　5.2 将keepalived制作成服务（主备服务器均设置）
　　5.2.1   编辑/etc/init.d/keepalivedd
　　编辑内容如下图，脚本内容不一一解释：

　　5.2.2   增加可执行权限
　　1）增加执行权限
　　#chmod +x /etc/init.d/keepalivedd
　　2）增加软链接，使其能作为命令使用
　　#ln –s /etc/init.d/keepalivedd /sbin
　　5.2.3   设置开机启动
　　设置开机启动
　　#chkconfig keepalivedd on
　　六   Nginx日志自动截断并备份（主备服务器均设置）
　　4）  编辑/usr/local/nginx/nginxlogbak.sh
　　脚本如下图:

　　5）  增加可执行权限
　　#chmod +x /usr/local/nginx/nginxlogbak.sh
　　6）  创建定时任务
　　#crontab -e

　　七   优化主备服务器策略同步
　　由于策略不会自动进行同步，需要每次人工拷贝，故进行优化，达到每天定时检测主服务器的配置，如有变更则自动备份备服务器策略，并拷贝主服务器策略。
　　7.1.1   使用公私钥进行免密码登录服务器（主备服务器均设置）
　　1）  由于root账号不允许直接ssh登录故生成公私钥时使用admin账号登录
　　生成公私密钥
　　$ssh-keygen -t rsa -P ""
　　2）  拷贝公钥至另一台服务器
　　$scp /home/admin/.ssh/id_rsa.pub admin@10.252.39.60:/home/admin/.ssh/authorized_keys
　　同理，另一台服务器也需要这样设置，达到互认的目的。
　　7.1.2   为vhost文件夹增加可读可列出权限（主服务器设置）
　　考虑到安全，此权限设置使用ACL进行控制。如不增加admin对此文件夹权限，则备服务器无法通过admin账号进行下载。
　　#setfacl –d –m u:admin:rwx /usr/local/nginx/vhost/
　　7.1.3   编辑vhost拷贝与判断脚本（备服务器设置）
　　1）编辑/usr/local/nginx/vhostcopy.sh

　　3）  增加可执行权限
　　#chmod +x /usr/local/nginx/vhostcopy.sh
　　7.1.4   设置计划任务定期执行（备服务器设置）
　　1）为admin账号增加计划任务
　　#crontab -u admin -e

　　2）用admin账号在tmp目录创建vhost文件夹
　　$mkdir /tmp/vhost
　　4）  root账号增加计划任务
　　#crontab -e

　　八   keepalived日志重定向
　　由于keepalived默认输出到message中，message又很其他日志，不便于查看keepalived的日志，优化日志输出到/var/log/keepalived.log
　　1）编辑vim /etc/init.d/keepalivedd
　　编辑内容如下：

　　2）编辑/etc/rsyslog.conf，增加如下内容

　　7）  重启日志服务和keepalived服务
　　#service rsyslog restart;service keepalivedd restart