keepalived+nginx+lvs 实现web群集高可用性

midea2

　　LVS负载均衡机制：
　　LVS工作在网络层。相对于其它负载均衡的解决办法，比如DNS域名轮流解析、应用层负载的调度、客户端的调度等，它的效率是非常高的。LVS的通过控制IP来实现负载均衡。IPVS是其具体的实现模块。IPVS的主要作用：安装在Director Server上面，在Director Server虚拟一个对外访问的IP（VIP）。用户访问VIP，到达Director Server，Director Server根据一定的规则选择一个Real Server，处理完成后然后返回给客户端数据。这些步骤产生了一些具体的问题，比如如何选择具体的Real Server，Real Server如果返回给客户端数据等等。IPVS为此有三种机制：
　　1.VS/NAT(Virtual Server via Network Address Translation)，即网络地址翻转技术实现虚拟服务器。当请求来到时，Diretor server上处理的程序将数据报文中的目标地址（即虚拟IP地址）改成具体的某台Real Server,端口也改成Real Server的端口，然后把报文发给Real Server。Real Server处理完数据后，需要返回给Diretor Server，然后Diretor server将数据包中的源地址和源端口改成VIP的地址和端口，最后把数据发送出去。由此可以看出，用户的请求和返回都要经过Diretor Server，如果数据过多，Diretor Server肯定会不堪重负。
　　2.VS/TUN（Virtual Server via IP Tunneling）,即IP隧道技术实现虚拟服务器。它跟VS/NAT基本一样，但是Real server是直接返回数据给客户端，不需要经过Diretor server,这大大降低了Diretor server的压力。
　　3.VS/DR（Virtual Server via Direct Routing），即用直接路由技术实现虚拟服务器。跟前面两种方式，它的报文转发方法有所不同，VS/DR通过改写请求报文的MAC地址，将请求发送到Real Server，而Real Server将响应直接返回给客户，免去了VS/TUN中的IP隧道开销。这种方式是三种负载调度机制中性能最高最好的，但是必须要求Director Server与Real Server都有一块网卡连在同一物理网段上
　　DR工作模式     支持约100个左右的应用
NAT工作模式  支持约10~20个左右的应用
TUN工作模式   支持约100个左右的应用
　　

　　一、安装环境
　　CentOS-6.7-x86_64 四台
　　分别部署的服务
　　keepalived 主
　　keepalived 从
　　nginx 两台
　　二、ip分布
　　keepalived 主：192.168.1.4
　　keepalived 从 ：192.168.1.5
　　nginx         主    ：192.168.1.7
　　nginx         从     ：192.168.19
　　lvs          虚拟ip  ：192.168.1.20
　　所需软件包keepalived ipvsadm
　　三、服务部署
　　1、keepalived 主
　　1.安装keepalived ipvsadm 服务,主从一样安装这两个服务
　　[root@localhost ~]# yum -y install keepalived ipvsadm
　　2.配置主配置文件
　　########主配置文件

　　[root@localhost ~]#vi /etc/keepalived/keepalived.conf
　　! Configuration File for keepalived
　　global_defs {
　　router_id LVS-1   #实例名，可以配置多个实例，一个实例一行，一个实例一个虚拟块
　　}                                                                                           vrrp_instance VI_1 {         #跟实例组中的实例名一样
　　state MASTER                ##设置lvs的状态，MASTER和BACKUP两种，必须大写
　　interface eth0                #对外提供服务的网络接口

　　virtual_router_id 52          #虚拟路由标识，MASTER和BACKUP是一致的，但在整个VRRP中是唯一的

　　priority 100                  #优先级，数值越大，优先级越高，MASTER要高于BACKUP
　　advert_int 1      #同步检查间隔时间，MASTER和BACKUP之间同步检查的时间间隔，单位为秒
　　authentication {   #同步验证，验证密码为明文，MASTER和BACKUP之间的密码和验证类型必须一致
　　auth_type PASS                               #验证方式，就用PASS                    

　　auth_pass 1112                               #VRRP密码
　　}                                                                                           virtual_ipaddress {  # 虚拟地址，可写多个，一个IP一行
　　192.168.3.30       #这里设置的IP，一定要和real server的lvs脚本中的VIP一致
　　}
　　}                                                                                           virtual_server 192.168.3.30 80 { #虚拟服务器配置，此处IP就是之前的VIP,端口就是需要提供负载的端口，比如80,3306等等
　　delay_loop 6                   #延时等待时间，单位为
　　lb_algo   rr
　　lb_kind DR                 #HA调度算法，互联网一般就用wlc加权最小连接调度和rr轮询round robin
　　#   persistence_timeout 600 #会话保持时间，单一链接重连保持时间秒，可以理解为sessio共
　　protocol TCP               #转发协议，一般都是采用TCP方式，也可以使用UDP

　　real_server 192.168.3.153 80 {    #真实服务器的IP+端口，理解为需要高可用的应用服务，比如80,3306等等
　　weight 1   #权重值，值越大，权重越高，可以承担的负载雨大，服务器硬件比较好，可以使用高一点的权重
　　HTTP_GET {         #HTTP协议检查
　　url {   

　　path /index.html
　　digest 070b49915221a57de67e89932afed22  ##该密钥是genhash -s ip  -p 80 -u /主页生成的

　　}
　　connect_timeout 3             #连接超时时间，单位秒
　　nb_get_retry 3               #检测失败后，重试次数，超出设定值，将后端服务器移除
　　delay_before_retry 3        #失败重试时间
　　}
　　}
　　real_server 192.168.3.154 80 {
　　weight 1
　　HTTP_GET {
　　url {
　　path /index.html
　　digest e8c723dd72644280df67f74deb090bf9
　　}
　　connect_timeout 3
　　nb_get_retry 3
　　delay_before_retry 3
　　}
　　}
　　}
　　

　　4.从配置文件
　　[root@localhost ~]#vi /etc/keepalived/keepalived.conf
　　! Configuration File for keepalived
　　global_defs {
　　router_id LVS-2
　　}
　　vrrp_instance VI_1 {
　　state BACKUP
　　interface eth0
　　virtual_router_id 52
　　priority 50
　　advert_int 1
　　authentication {
　　auth_type PASS
　　auth_pass 1112
　　}
　　virtual_ipaddress {
　　192.168.3.30
　　}
　　}
　　virtual_server 192.168.3.30 80 {
　　delay_loop 6
　　lb_algo rr
　　lb_kind DR
　　# persistence_timeout 600
　　protocol TCP
　　real_server 192.168.3.153 80 {
　　weight 1
　　HTTP_GET {
　　url {
　　path /index.html
　　digest 070b49915221a57de67e89932afed227
　　}
　　connect_timeout 3
　　nb_get_retry 3
　　delay_before_retry 3
　　}
　　}
　　real_server 192.168.3.154 80 {
　　weight 1
　　HTTP_GET {
　　url {
　　path /index.html
　　digest e8c723dd72644280df67f74deb090bf9
　　}
　　connect_timeout 3
　　nb_get_retry 3
　　delay_before_retry 3
　　}
　　}
　　}
　　

　　3、nginx 安装两台安装方法一样  可以安装脚本teng_..
　　1.下载nginx 包
　　从该网址下载 http://nginx.org/en/download.html
　　nginx-1.2.9.tar.gz
　　下载完成之后解压
　　tar -zxvf nginx-1.2.9.tar.gz -C /usr/local/
　　yum 安装nginx 需要的包
　　[root@localhost ~]# yum install -y gcc gcc-c++ zlib-devel    openssl openssl-devel net-snmp-*
　　编译安装nginx
　　[root@localhost ~]# cd /usr/local/nginx-1.2.9
　　[root@nginx-1.2.9~]# ./configure --prefix=/usr/local/nginx  && make && make install
　　进入编译的安装目录里面编写index 首页做为测试区别
　　[root@localhost ~]#cd /usr/local/nginx/html
　　[root@localhost ~]#echo -e "MASTER" > index.html
　　[root@localhost ~]# echo -e "BACKUP" > index.html  ##另一台nginx 服务
　　拉起nginx 服务
　　./usr/local/nginx/sbin
　　4、配置realserver  两台nginx 都需要配置nginx 服务
　　5.获取MD5加密字符串 得到的MD5加密字 添加到keepalived 配置文件中（该命令执行时）
　　[root@localhost ~]#genhash -s 192.168.3.153  -p 80 -u  /index.html
　　[root@localhost ~]#genhash -s 192.168.3.154  -p 80 -u  /index.html
　　

　　6.创建realserver
　　[root@localhost ~]# vi /etc/init.d/realserver
　　#! /bin/bash
　　SYN_VIP=192.168.3.30
　　source /etc/rc.d/init.d/functions
　　case "$1" in
　　start)
　　echo "start LVS of real server"
　　ifconfig lo:0 $SYN_VIP netmask 255.255.255.255 broadcast $SYN_VIP
　　echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　sysctl -p >/dev/null 2>&1
　　echo "RealServer Start OK"
　　;;
　　stop)
　　echo "stop LVS of real server"
　　ifconfig lo:0 down
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
　　echo "RealServer Stoped"
　　;;
　　*)
　　echo "USAGE: $0 {start|stop}"
　　exit 1
　　esac
　　2.拉起服务 [root@localhost ~]#/etc/init.d/realserver start
　　四、测试
　　先关闭一个keepalived 服务然后尝试在wen 上输入虚拟IP 看是否会自动切换 随便更改一个html 的主页信息看是否可以能够显示。
　　更改回来之后有能访问则说明成功
　　五、问题总结
　　1.selinux 是否关闭
　　2.keepalived配置文件是否有问题
　　3.ip 之间是否全部通信
　　4.iptables 是否关闭
　　5. ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  ip:80 rr
  -> ip80              Route   1      1          0         
  -> ip:80              Route   1      0          1      

　　查看ipvsadm -ln 可以看到访问或者查看日志（/var/log/messages）是否被加载或者被替除