企业级WEB的负载均衡高可用之LVS+Keepalived（1）

gaohan

　　【运维网.com独家特稿】前言：
　　①如果四台机器均置于IDC机房，前端无防火墙时，这种情况好处理，只需要向你的IDC申请5个公网IP即可，多余的一个公网ip用于VIP；
　　②如果是上述网络拓扑，后面四台机器均用内网；此时只需要前面的Juniper将内网VIP映射成公网IP即可，注：非映射80和443端口，感谢田逸兄提供的技术性指导意见；
　　③lvs就比较依赖于网络环境，可以用苛求来形容；要做好LVS管理员，确实得跟进学习很多有关网络通信方面的知识，就不再是一个HTTP那么简单了；相对而言，nginx对网络的依赖较小，理论上只要ping得通，网页访问正常，nginx就能连得通。
　　④本来我想将公司的web环境生级成LVS+Keepalived架构，却发现lvs怎么都不能转发；结果查了下机器的route情况，发现每台机器都有十几条静态路由，二个网关，而Network engineer也说明了网络环境不可能更改，只能由系统环境牵就网络环境；最后只能将LVS+Keepalvied更改为Nginx+Keepalived架构，甚是遗憾。

　　这里首先说下LVS/DR的网络拓扑情况，如果均置于电信IDC机房，用5个外网IP的话，整个网络拓扑清晰明了，实施起来也非常方便；但如果是置于Juniper防火墙后，情况就有点小复杂了，这时仍可用内网IP，只要将内网的VIP通过Juniper防火墙转换成一个公网IP即可，注：此时不要做80端口的映射，在这里感谢田逸兄的指导性意见。
　　服务器故障：(服务器故障包括：服务器宕机、web服务终止、网线松动等等)
　　①当lvs-master故障时，无法再接受用户请求并将请求转发给真实的web服务器(即便真实web服务器正常)从而导致整个web服务的瘫痪，也就是lvs控制器存在单点故障问题。
　　②当lvs-master正常时，真实地web服务器如web1-realserver故障。此时lvs-master并不知道真实服务器是否在正常提供web服务，所以仍然在向故障的web1-realserver转发用户请求。这样的结果是用户请求无法被故障web服务器相应，某些用户可以访问网站有些则无法访问。
　　基于以上的问题，我们需要想办法实现对lvs控制器和web服务器的健康监测,一旦服务出现问题能保证服务不中断的情况下排除故障。即增加lvs控制器实现主备模式避免单点故障以及自动删除故障web服务结点并当它恢复后再自动添加到群集中这样的功能，这就是LVS+keepalived能实现的功能。整个系统的拓扑如下：

　　实施步骤：
　　①在realserver主机上实行脚本realserver,为lo:0绑定VIP地址192.168.5.188，这步分别在二个web主机上192.168.5.104、192.168.5.105实施。这步提前做，是因为以后的过程中这一步是不会发生更改的。
　　

• #vim /usr/local/sbin/realserver
  
• #!/bin/bash
  
• SNS_VIP=192.168.5.188
  
• . /etc/rc.d/init.d/functions
  
• case "$1" in
  
• start)
  
•        ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
  
•        /sbin/route add -host $SNS_VIP dev lo:0
  
•        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  
•        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  
•        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  
•        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  
•        sysctl -p >/dev/null 2>&1
  
•        echo "RealServer Start OK"
  
•        ;;
  
• stop)
  
•        ifconfig lo:0 down
  
•        route del $SNS_VIP >/dev/null 2>&1
  
•        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  
•        echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
  
•        echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
  
•        echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
  
•        echo "RealServer Stoped"
  
•        ;;
  
• *)
  
•        echo "Usage: $0 {start|stop}"
  
•        exit 1
  
• esac
  
• exit 0
  

　　

　　简单说明下上述脚本的作用：
　　1)vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip;
　　2)vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突;
　　3)echo这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称：“嗨！我是奥巴马，我在这里呢！”，这样就乱套了。
　　②为二台lvs主机安装lvs+keepalived软件。安装lvs软件是必须做的，因为keepalived是运行在lvs之上的，因此lvs及keepalived必须装在一个系统里面。过程如下：
　　

• #mkdir /usr/local/src/lvs
  
• #cd /usr/local/src/lvs
  
• #wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
  
• #ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux
  
• #tar zxvf ipvsadm-1.24.tar.gz
  
• #cd ipvsadm-1.24
  
• #make
  
• #make install
  

　　

　　③编辑keepalived.conf文件，直接用keepalived实现负载均衡及高可用性。
　　a)Keepalved的安装
　　

• a)Keepalved的安装
  
• #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
  
• #tar zxvf keepalived-1.1.15.tar.gz
  
• #cd keepalived-1.1.15
  
• #./configure
  
• #make
  
• #make install
  

　　

　　将keepalived做成启动脚务，方便管理:
　　

• #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
  
• #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
  
• #mkdir /etc/keepalived
  
• #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
  
• #cp /usr/local/sbin/keepalived /usr/sbin/
  
• #service keepalived start|stop
  

　　

　　b)Keealived的配置
　　①分别在主从负载均衡服务器上配置keepalived.conf ，内容分别如下:
　　

• ! Configuration File for keepalived
  
• global_defs {
  
•    notification_email {
  
•          yuhongchun027@163.com
  
•    }
  
•    notification_email_from sns-lvs@gmail.com
  
•    smtp_server 127.0.0.1
  
•    router_id LVS_DEVEL
  
• }
  
• vrrp_instance VI_1 {
  
•     state MASTER
  
•     interface eth0
  
•     virtual_router_id 51
  
•     priority 100
  
•     advert_int 1
  
•     authentication {
  
•         auth_type PASS
  
•         auth_pass 1111
  
•     }
  
•     virtual_ipaddress {
  
•         192.168.5.188
  
•     }
  
• }
  
• virtual_server 192.168.5.188 80 {
  
•     delay_loop 6
  
•     lb_algo wrr
  
•     lb_kind DR
  
•     persistence_timeout 60
  
•     protocol TCP
  
•     real_server 192.168.5.104 80 {
  
•         weight 3
  
•         TCP_CHECK {
  
•         connect_timeout 10
  
•         nb_get_retry 3
  
•         delay_before_retry 3
  
•         connect_port 80
  
•         }
  
•     }
  
•     real_server 192.168.5.105 80 {
  
•         weight 3
  
•         TCP_CHECK {
  
•         connect_timeout 10
  
•         nb_get_retry 3
  
•         delay_before_retry 3
  
•         connect_port 80
  
•         }
  
•      }
  
• }
  

　　

• ! Configuration File for keepalived
  
• global_defs {
  
•    notification_email {
  
•          yuhongchun027@163.com
  
•    }
  
•    notification_email_from sns-lvs@gmail.com
  
•    smtp_server 127.0.0.1
  
•    router_id LVS_DEVEL
  
• }
  
• vrrp_instance VI_1 {
  
•     state BACKUP
  
•     interface eth0
  
•     virtual_router_id 51
  
•     priority 99
  
•     advert_int 1
  
•     authentication {
  
•         auth_type PASS
  
•         auth_pass 1111
  
•     }
  
•     virtual_ipaddress {
  
•         192.168.5.188
  
•     }
  
• }
  
• virtual_server 192.168.5.188 80 {
  
•     delay_loop 6
  
•     lb_algo wrr
  
•     lb_kind DR
  
•     persistence_timeout 60
  
•     protocol TCP
  
•     real_server 192.168.5.104 80 {
  
•         weight 3
  
•         TCP_CHECK {
  
•         connect_timeout 10
  
•         nb_get_retry 3
  
•         delay_before_retry 3
  
•         connect_port 80
  
•         }
  
•     }
  
•     real_server 192.168.5.105 80 {
  
•         weight 3
  
•         TCP_CHECK {
  
•         connect_timeout 10
  
•         nb_get_retry 3
  
•         delay_before_retry 3
  
•         connect_port 80
  
•         }
  
•      }
  
• }