LVS+Keepalived实现前端高可用实现

61581229

　　一、Keepalived简介及VRRP原理
　　Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候， 备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现，因此在介绍keepalived之前，先介绍一下VRRP的原理。
　　VRRP原理
　　在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
　　VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。
　　在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的( /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up  
        /sbin/route add -host $VIP dev lo:0
;;  
stop)
        # Stop LVS-DR real server loopback device(s).  
        /sbin/ifconfig lo:0 down   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore   
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
;;  
status)
        # Status of LVS-DR real server.  
        islothere=`/sbin/ifconfig lo:0 | grep $VIP`   
        isrothere=`netstat -rn | grep "lo:0" | grep $VIP`   
        if [ ! "$islothere" -o ! "isrothere" ];then
            # Either the route or the lo:0 device   
            # not found.   
            echo "LVS-DR real server Stopped."   
        else
            echo "LVS-DR real server Running."   
        fi
;;
*)
            # Invalid entry.   
            echo "$0: Usage: $0 {start|status|stop}"   
            exit 1
;;
esac　　执行脚本：
[root@node2 ~]# chmod +x realserver.sh
[root@node2 ~]# ./realserver.sh start　　检查相关脚本配置是否正确
　　ifconfig及cat
　　在node2上安装httpd后添加测试网页
echo "node2.psemily.com" > /var/www/html/index.html　　node3类似操作
　　4、验证
　　启动192.168.1.200及192.168.1.201上keepalived后访问VIP：192.168.1.250
　　下图：图一：调度情况，图二为正常访问，图三为192.168.1.202停止httpd后的访问，图四为停止192.168.1.200后，192.168.1.201的日志

　　5、Keepalived的健康检测

　　HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK
　　1）HTTP_GET|SSL_GET
　　这里有几个要点：
　　a、两者都有两种检测方式，一种是简单的基于返回码确认；另一种是基于确认后端页面内容hash值，确认前后是否发生变化（是不是感觉有点高端，还有简单的防止页面被篡改的作用，当然，动态页面显然不行）；
　　b、两者都是处理简单的GET请求，基于post返回值确认是否正常，这种方法显然不适用 ，不过POST方式是可以通过MISC_CHECK方式进行支持检测的；
　　c、两者配置语法上相同，只不过类型名不同而已 。同属于大的web请求范畴，只不过一个走的HTTP协议，一个走的HTTPS协议；
　　基于状态码检测，配置如下：
real_server 192.168.1.250 80 {
      weight 1
      HTTP_GET {
          url {
          path /index.html
          status_code 200      #http://192.168.1.250/index.html的返回状态码
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }　　基于后端页面内容检测，配置如下：
real_server 192.168.1.250 80 {
     weight 1
     HTTP_GET {
       url {
       path /index.html
       digest 1366dcc22ca042f5e6a91232bc8f4c9f #http://192.168.1.202/index.html的digest值
        }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }　　digest是由genhash（通过该命令可以获取页面的hash串）生成，语法如下：
[root@localhost keepalived]# genhash -s 192.168.1.202 -p 80 -u /index.html
MD5SUM = 1366dcc22ca042f5e6a91232bc8f4c9f　　2）TCP_CHECK

　　基于TCP的检测，配置如下：
real_server 192.168.1.250 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 3  
            nb_get_retry 3  
            delay_before_retry 3  
            connect_port 80    //检测端口
        }
    }　　3）MISC_CHECK
　　调用外部配置文件进行检测，配置如下：
MISC_CHECK {
    misc_path |# 外部程序或者脚本路径
    misc_timeout # 执行脚本的超时时间
    misc_dynamic #如果设置了misc_dynamic,healthchecker程序的退出状态码会用来动态调整服务器的权重（weight）.
    #返回0：健康检查OK，权重不被修改
    #返回1：健康检查失败，权重设为0
    #返回2-255：健康检查OK，权重设置为：退出状态码-2，比如返回255，那么weight=255-2=253
}　　脚本是可以选择传参数还是不传参数的，示例如下：
#不传参配置
real_server 192.168.1.250 80 {
    weight 1
    MISC_CHECK {
      misc_path /usr/local/bin/script.sh
    }
}
#传参配置
real_server 192.168.1.250 80 {
    weight 1
    MISC_CHECK {
      misc_path "/usr/local/bin/script.sh  arg1  arg2"
    }
}　　6、实验中遇到的问题
　　实验中用当所有配置都配置完成后，有浏览器访问VIP时，出现了只调度到一个realserver上的情景，过一段时间后能调度到另外一个realserver上，停止其中一个httpd，浏览器访问时出现不能访问，过段时间才能访问运行的另一个realserver上。
　　查找网上资料后有以下两种方案：
　　1、修改persistence_timeout 0 将连接保持时间设置为0，修改后用浏览器访问还是没能解决。用curl可以看出效果

　　2、ipvsadm的时间
[root@localhost keepalived]# ipvsadm -l --timeout
Timeout (tcp tcpfin udp): 900 120 300　　修改时间后访问仍然不行
[root@localhost keepalived]# ipvsadm --set 1 1 1　　上述两种方法均不能解决浏览器访问调度到一个realserver上的问题，但是用curl能看出效果,在此先做个记录。