企业级WEB的负载均衡高可用之LVS+Keepalived

fjqzyc

　　①如果四台机器均置于IDC机房，前端无防火墙时，这种情况好处理，只需要向你的IDC申请5个公网IP即可，多余的一个公网ip用于VIP；
　　②如果是上述网络拓扑，后面四台机器均用内网；此时只需要前面的Juniper将内网VIP映射成公网IP即可，注：非映射80和443端口，感谢田逸兄提供的技术性指导意见；
　　③lvs就比较依赖于网络环境，可以用苛求来形容；要做好LVS管理员，确实得跟进学习很多有关网络通信方面的知识，就不再是一个HTTP那么简单了；相对而言，nginx对网络的依赖较小，理论上只要ping得通，网页访问正常，nginx就能连得通。
　　④本来我想将公司的web环境生级成LVS+Keepalived架构，却发现lvs怎么都不能转发；结果查了下机器的route情况，发现每台机器都有十几条静态路由，二个网关，而Network engineer也说明了网络环境不可能更改，只能由系统环境牵就网络环境；最后只能将LVS+Keepalvied更改为Nginx+Keepalived架构，甚是遗憾。

　　这里首先说下LVS/DR的网络拓扑情况，如果均置于电信IDC机房，用5个外网IP的话，整个网络拓扑清晰明了，实施起来也非常方便；但如果是置于Juniper防火墙后，情况就有点小复杂了，这时仍可用内网IP，只要将内网的VIP通过Juniper防火墙转换成一个公网IP即可，注：此时不要做80端口的映射，在这里感谢田逸兄的指导性意见。
　　服务器故障：(服务器故障包括：服务器宕机、web服务终止、网线松动等等)
　　①当lvs-master故障时，无法再接受用户请求并将请求转发给真实的web服务器(即便真实web服务器正常)从而导致整个web服务的瘫痪，也就是lvs控制器存在单点故障问题。
　　②当lvs-master正常时，真实地web服务器如web1-realserver故障。此时lvs-master并不知道真实服务器是否在正常提供web服务，所以仍然在向故障的web1-realserver转发用户请求。这样的结果是用户请求无法被故障web服务器相应，某些用户可以访问网站有些则无法访问。
　　基于以上的问题，我们需要想办法实现对lvs控制器和web服务器的健康监测,一旦服务出现问题能保证服务不中断的情况下排除故障。即增加lvs控制器实现主备模式避免单点故障以及自动删除故障web服务结点并当它恢复后再自动添加到群集中这样的功能，这就是LVS+keepalived能实现的功能。整个系统的拓扑如下：

  

实施步骤：

　　①在realserver主机上实行脚本realserver,为lo:0绑定VIP地址192.168.5.188，这步分别在二个web主机上192.168.5.104、192.168.5.105实施。这步提前做，是因为以后的过程中这一步是不会发生更改的。

• #vim /usr/local/sbin/realserver  
  
• #!/bin/bash  
  
• SNS_VIP=192.168.5.188  
  
• . /etc/rc.d/init.d/functions  
  
• case "$1" in  
  
• start)  
  
•        ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP  
  
•        /sbin/route add -host $SNS_VIP dev lo:0  
  
•        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
  
•        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce  
  
•        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
  
•        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  
  
•        sysctl -p >/dev/null 2>&1  
  
•        echo "RealServer Start OK"   
  
•        ;;  
  
• stop)  
  
•        ifconfig lo:0 down  
  
•        route del $SNS_VIP >/dev/null 2>&1  
  
•        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
  
•        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce  
  
•        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore  
  
•        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce  
  
•        echo "RealServer Stoped"  
  
•        ;;  
  
• *)  
  
•        echo "Usage: $0 {start|stop}"  
  
•        exit 1  
  
• esac  
  
• exit 0
  

　　简单说明下上述脚本的作用：
　　1)vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip;
　　2)vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突;
　　3)echo这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称：“嗨！我是奥巴马，我在这里呢！”，这样就乱套了。
　　②为二台lvs主机安装lvs+keepalived软件。安装lvs软件是必须做的，因为keepalived是运行在lvs之上的，因此lvs及keepalived必须装在一个系统里面。过程如下：

• #mkdir /usr/local/src/lvs  
  
• #cd /usr/local/src/lvs  
  
• #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz  
  
• #ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux  
  
• #tar zxvf ipvsadm-1.24.tar.gz  
  
• #cd ipvsadm-1.24  
  
• #make   
  
• #make install
  

　　③编辑keepalived.conf文件，直接用keepalived实现负载均衡及高可用性。
　　a)Keepalved的安装

• a)Keepalved的安装  
  
• #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz  
  
• #tar zxvf keepalived-1.1.15.tar.gz  
  
• #cd keepalived-1.1.15  
  
• #./configure  
  
• #make  
  
• #make install
  

　　将keepalived做成启动脚务，方便管理:

• #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
  
• #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
  
• #mkdir /etc/keepalived  
  
• #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
  
• #cp /usr/local/sbin/keepalived /usr/sbin/  
  
• #service keepalived start|stop  
  

　　b)Keealived的配置
　　①分别在主从负载均衡服务器上配置keepalived.conf ，内容分别如下:

• ! Configuration File for keepalived  
  
• global_defs {  
  
•    notification_email {  
  
•          yuhongchun027@163.com  
  
•    }  
  
•    notification_email_from sns-lvs@gmail.com  
  
•    smtp_server 127.0.0.1  
  
•    router_id LVS_DEVEL  
  
• }  
  
• vrrp_instance VI_1 {  
  
•     state MASTER               
  
•     interface eth0  
  
•     virtual_router_id 51  
  
•     priority 100      
  
•     advert_int 1  
  
•     authentication {  
  
•         auth_type PASS  
  
•         auth_pass 1111  
  
•     }  
  
•     virtual_ipaddress {  
  
•         192.168.5.188   
  
•     }  
  
• }  
  
• virtual_server 192.168.5.188 80 {  
  
•     delay_loop 6                    
  
•     lb_algo wrr                    
  
•     lb_kind DR                    
  
•     persistence_timeout 60         
  
•     protocol TCP                  
  
•     real_server 192.168.5.104 80 {  
  
•         weight 3                 
  
•         TCP_CHECK {  
  
•         connect_timeout 10         
  
•         nb_get_retry 3  
  
•         delay_before_retry 3  
  
•         connect_port 80  
  
•         }  
  
•     }  
  
•     real_server 192.168.5.105 80 {  
  
•         weight 3  
  
•         TCP_CHECK {  
  
•         connect_timeout 10  
  
•         nb_get_retry 3  
  
•         delay_before_retry 3  
  
•         connect_port 80  
  
•         }  
  
•      }  
  
• }
  

• ! Configuration File for keepalived  
  
• global_defs {  
  
•    notification_email {  
  
•          yuhongchun027@163.com  
  
•    }  
  
•    notification_email_from sns-lvs@gmail.com  
  
•    smtp_server 127.0.0.1  
  
•    router_id LVS_DEVEL  
  
• }  
  
• vrrp_instance VI_1 {  
  
•     state BACKUP               
  
•     interface eth0  
  
•     virtual_router_id 51  
  
•     priority 99      
  
•     advert_int 1  
  
•     authentication {  
  
•         auth_type PASS  
  
•         auth_pass 1111  
  
•     }  
  
•     virtual_ipaddress {  
  
•         192.168.5.188   
  
•     }  
  
• }  
  
• virtual_server 192.168.5.188 80 {  
  
•     delay_loop 6                    
  
•     lb_algo wrr                    
  
•     lb_kind DR                    
  
•     persistence_timeout 60         
  
•     protocol TCP                  
  
•     real_server 192.168.5.104 80 {  
  
•         weight 3                 
  
•         TCP_CHECK {  
  
•         connect_timeout 10         
  
•         nb_get_retry 3  
  
•         delay_before_retry 3  
  
•         connect_port 80  
  
•         }  
  
•     }  
  
•     real_server 192.168.5.105 80 {  
  
•         weight 3  
  
•         TCP_CHECK {  
  
•         connect_timeout 10  
  
•         nb_get_retry 3  
  
•         delay_before_retry 3  
  
•         connect_port 80  
  
•         }  
  
•      }  
  
• }
  

　　②分别在二台lvs机上启动servcie keepalived start就可实现负载均衡及高可用集群；keepalived.conf内容说明如下:
　　●全局定义块
　　1、email通知。作用：有故障，发邮件报警。
　　2、Lvs负载均衡器标识（lvs_id）。在一个网络内，它应该是唯一的。
　　3、花括号“{}”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。
　　●VRRP定义块
　　1、同步vrrp组vrrp_sync_group。作用：确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪些？

2、实例组group。至少包含一个vrrp实例。

3、Vrrp实例vrrp_instance。实例名出自实例组group所包含的那些名字。
　　(1)实例状态state。只有MASTER和BACKUP两种状态，并且需要大写这些单词。其中MASTER为工作状态，BACKUP为备用状态。当MASTER所在的服务器失效时，BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER；当失效的MASTER所在的系统恢复时，BACKUP从MASTER恢复到BACKUP状态。
　　(2)通信接口interface。对外提供服务的网络接口，如eth0,eth1.当前主流的服务器都有2个或2个以上的接口，在选择服务接口时，一定要核实清楚。
　　(3)lvs_sync_daemon_inteface。负载均衡器之间的监控接口，类似于HA HeartBeat的心跳线。但它的机制优于Heartbeat，因为它没有“裂脑”这个问题，它是以优先级这个机制来规避这个麻烦的。在DR模式中，lvs_sync_daemon_inteface 与服务接口interface 使用同一个网络接口。
　　(4)虚拟路由标识virtual_router_id。这个标识是一个数字，并且同一个vrrp实例使用唯一的标识。即同一个vrrp_stance，MASTER和BACKUP的virtual_router_id是一致的，同时在整个vrrp内是唯一的。
　　(5)优先级priority。这是一个数字，数值愈大，优先级越高。在同一个vrrp_instance里，MASTER 的优先级高于BACKUP。若MASTER的priority值为150，那么BACKUP的priority只能是140或更小的数值。
　　(6)同步通知间隔advert_int。MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位为秒。
　　(7)验证authentication。包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题。验证密码为明文，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。
　　4、 虚拟ip地址virtual_ipaddress。可以有多个地址，每个地址占一行，不需要指定子网掩码。注意：这个ip必须与我们在lvs客户端设定的vip相一致！
　　●虚拟服务器virtual_server定义块
　　虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。
　　1、虚拟服务器virtual_server。这个ip来自于vrrp定义块的第“4”步，后面一个空格，然后加上端口号。定义一个vip，可以实现多个tcp端口的负载均衡功能。
　　(1)delay_loop。健康检查时间间隔，单位是秒。
　　(2)lb_algo。负载均衡调度算法，互联网应用常使用wlc或rr。
　　(3)lb_kind。负载均衡转发规则。一般包括DR、NAT、TUN3种，在我的方案中，都使用DR的方式。
　　(4)persistence_timeout。会话保持时间，单位是秒。这个选项对动态网站很有用处：当用户从远程用帐号进行登陆网站时，有了这个会话保持功能，就能把用户的请求转发给同一个应用服务器。在这里，我们来做一个假设，假定现在有一个lvs 环境，使用DR转发模式，真实服务器有3个，负载均衡器不启用会话保持功能。当用户第一次访问的时候，他的访问请求被负载均衡器转给某个真实服务器，这样他看到一个登陆页面，第一次访问完毕；接着他在登陆框填写用户名和密码，然后提交；这时候，问题就可能出现了---登陆不能成功。因为没有会话保持，负载均衡器可能会把第2次的请求转发到其他的服务器。
　　(5)转发协议protocol。一般有tcp和udp两种。实话说，我还没尝试过udp协议类的转发。
　　2、真实服务器real_server，也即服务器池。Real_server的值包括ip地址和端口号，多个连续的真实ip。
　　(1)权重weight，权重值是一个数字，数值越大，权重越高。使用不同的权重值的目的在于为不同性能的机器分配不同的负载，性能较好的机器，负载分担大些；反之，性能差的机器，则分担较少的负载，这样就可以合理的利用不同性能的机器资源。
　　(2)Tcp检查tcp_check。
　　附注：以上就是lvs+keepalived的基本配置步骤，有兴趣的同学建议可做下lvs的1+2的基本架构实验，即不需要keepalived，采用单lvs的方式，其lvs_dr脚本如下

• #vim /usr/local/sbin/lvs-dr.sh  
  
•        #!/bin/bash  
  
•        #website director vip.  
  
•        SNS_VIP=192.168.1.188  
  
•        SNS_RIP1=192.168.1.104  
  
•        SNS_RIP2=192.168.1.105  
  
•       ./etc/rc.d/init.d/functions  
  
•          logger $0 called with $1  
  
•          case "$1" in  
  
•          start)  
  
•          # set squid vip  
  
•          /sbin/ipvsadm --set 30 5 60  
  
•          /sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up  
  
•          /sbin/route add -host $SNS_VIP dev eth0:0  
  
•          /sbin/ipvsadm -A -t $SNS_VIP:80 -s wrr -p 3  
  
•          /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1  
  
•          /sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1  
  
•          touch /var/lock/subsys/ipvsadm >/dev/null 2>&1  
  
•         ;;  
  
• stop)  
  
•          /sbin/ipvsadm -C  
  
•          /sbin/ipvsadm -Z  
  
•          ifconfig eth0:0 down  
  
•          route del $SNS_VIP  
  
•          rm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1  
  
•          echo "ipvsadm stoped"  
  
•         ;;  
  
• status)  
  
•          if [ ! -e /var/lock/subsys/ipvsadm ];then  
  
•                  echo "ipvsadm stoped"  
  
•                  exit 1  
  
•          else  
  
•                  echo "ipvsadm OK"  
  
•          fi  
  
•        ;;  
  
• *)  
  
•          echo "Usage: $0 {start|stop|status}"  
  
•          exit 1  
  
• esac  
  
• exit 0
  

　　最新版更新内容如下：
　　①每台服务器都有二块网卡，分别连接内外网；后端的mysql数据库与web连接采用内网方式，整个网络环境采用内网；
　　②增加了keepalivedyiyyy .conf语法内容；
　　③删除了lvs.sh脚本内容，直接让keepalived内容更直接明了，新增加了单lvs的配置脚本lvs_dr.sh；
　　④lvs主从机上的keepalived.conf文件我直接从生产服务器上download下来了，可方便大家使用。
　　部分内容参考了田逸和netseek的文章，如果有任何疑问和咨询，欢迎来邮抚琴煮酒yuhongchun027@163.com   
　　※值得注意的是：
　　1、你必须向你的服务器所在机房IDC多申请一个IP供VIP使用；多关注/var/log/messages和ipvsadm -ln，利用其有效信息排错。
　　2、服务器的iptables、Selinux均关闭；在生产环境中，我就遇到了iptables的NAT转发问题，导致了lvs失败。
　　3、keepalived的启动过程并不会对配置文件进行语法检查，就算没有配置文件，keepalived的守护进程照样能够被运行起来。在默认状态下，即不指定配置文件的位置--keepalived先查找文件/etc/keepalived/keepalived.conf。
　　4、session的过程默认是以文件的形式存在，在浏览器关闭或重启时删除；会话保持我建议写成120秒，如果这个值设置得不合理，用户将得到非常糟糕的访问效果。
　　5、keepalived是lvs的扩展项目，因此它们之间具备良好的兼容性，这点应该是keepalived部署比其他类似工具能更简洁的原因吧，lvs+keepalived目前是一个应用于生产环境的成熟架构，实现了真正意义上的负载均衡高可用(尤其是对于Nginx+Keepalived而言)，尤其适用于bbs和blog(它们均是访问频繁，用户量大的对象)，建议熟练掌握。