通过haproxy + keepalive 实现高可用负载均衡

oi622

软件负载均衡一般通过两种方式来实现：基于操作系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操作系统实现的一种软负载，HAProxy就是开源的并且基于第三应用实现的软负载。   HAProxy相比LVS的使用要简单很多，功能方面也很丰富。当 前，HAProxy支持两种主要的代理模式:"tcp"也即4层（大多用于邮件服务器、内部协议通信服务器等），和7层（HTTP）。在4层模式 下，HAProxy仅在客户端和服务器之间转发双向流量。7层模式下，HAProxy会分析协议，并且能通过允许、拒绝、交换、增加、修改或者删除请求 (request)或者回应(response)里指定内容来控制协议，这种操作要基于特定规则。
环境:
   系统 centos 6.4  64位
   架构
      
   目标：如果8.233这个haproxy服务器挂掉，则keepalive检测master挂掉则虚拟ip 8.248 浮动到backup上，backup这个机器的haproxy对访问要求分发到后端服务器，实现负载均衡。通过keepalive实现高可用，haproxy实现负载均衡。

HAProxy介绍
    反向代理服务器,支持双机热备支持虚拟主机,但其配置简单,拥有非常不错的服务器健康检查功能,当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除,故障恢复后再自动将该服务器加入新的1.3引入了frontend,backend；frontend根据任意 HTTP请求头内容做规则匹配,然后把请求定向到相关的backend.
keepalived简介　　
http://www.keepalived.org
   keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
   Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案，可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。
   Keepalived是VRRP的完美实现。

一：搭建haproxy服务器：
  两台haproxy服务器的配置内容相同
   yum -y install haproxy
Haproxy配置中分成五部分内容，当然这些组件不是必选的，可以根据需要选择作为配置。
    global：参数是进程级的，通常和操作系统(OS)相关。这些参数一般只设置一次，如果配置无误，就不需要再次配置进行修改；
    default：配置默认参数的，这些参数可以被利用配置到frontend，backend，listen组件；
    frontend：接收请求的前端虚拟节点，Frontend可以根据规则直接指定具体使用后端的backend(可动态选择)；
    backend：后端服务集群的配置，是真实的服务器，一个Backend对应一个或者多个实体服务器；
    listen：Frontend和Backend的组合体。

编辑haproxy 配置：
  vim /etc/haproxy/haproxy.cfg

global        #全局变量
        #uid 99
        #gid 99
        daemon
        stats socket /var/run/haproxy.stat mode 600 level admin
        maxconn 40000
        ulimit-n 81000
        pidfile /var/run/haproxy.pid
defaults
        mode    http      #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
        timeout connect    4000   #连接超时
        timeout client     3600000  
        timeout server     3600000
        balance roundrobin    #轮询方式
listen  Exchange2010 192.168.8.248:80       #haproxy 监听的端口，也就是后端服务器的应用开放的端口。
        bind 192.168.8.248:25
        bind 192.168.8.248:110,192.168.8.248:135
        bind 192.168.8.248:139,192.168.8.248:443
        bind 192.168.8.248:60000,192.168.8.248:60001
        bind 192.168.8.248:6001-6004
        bind 192.168.8.248:993-995
        mode    tcp            #根据后台服务器的应用端口选择mode模式
        option  persist
        balance roundrobin
        stick-table type ip size 10240k expire 30m
        stick on src
        server CAS0 192.168.8.151 weight 1 check port 80 inter 5000 rise 2 fall 3
        server CAS1 192.168.8.152 weight 1 check port 80 inter 5000 rise 2 fall 3
        server CAS2 192.168.8.153 weight 1 check port 80 inter 5000 rise 2 fall 3
         #添加后台监听的服务器地址，weight是权重，默认为1。check是指启用check检查。inter是最大连接数，fall 3 错误次数为3次。      
        option redispatch
        option abortonclose
        maxconn 200000
listen  stats 127.0.0.1:7000
        stats   enable
        stats   uri /     #统计页面url
        option  httpclose  #每次请求完毕后主动关闭http通道



二：搭建keepalive
  yum -y install keepalived
编辑keepalive的配置文件
  vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     xxxx@abc.com
   }
   notification_email_from  aaa@abc.com
   smtp_server 192.168.8.153     #报警邮箱设置
   smtp_connect_timeout 30
   router_id EXchange-233   #自定义router-id，但是两台keepalive需要一样。
}  
vrrp_script chk_haproxy {
        script "/etc/keepalived/chk_haproxy.sh"
        interval 4
        weight 2
}     #对haproxy的健康检查脚本，自己编写
vrrp_instance VI_1 {
    state MASTER    #主的写master，辅的是bankup
    interface eth0
    virtual_router_id 51
    priority 100   #优先级，master的要高于backup的，另一台keepalive配置文件里设置的是50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_haproxy
    }
    virtual_ipaddress {
        192.168.8.248/24     #虚拟ip设置
    }
    track_interface {
        eth0
        }
}

haproxy 健康监测脚本

vim /etc/keepalived/chk_haproxy.sh
#!/bin/bash
netstat -tupln |grep haproxy >>null
[ $? -eq 0 ]
if [ $? -eq 0 ];then
   exit
else
   service haproxy start
fi

我又写了个计划任务，检测master服务器是否正常，如果不正常了，立即发邮件通知
vim baojing.sh
#!/bin/bash
/sbin/ip a |grep 192.168.8.248 &> /dev/null
A=`echo $?`
if [ $A -ne 0 ];then
     echo "exkeepalive8.233 is down"|mail -s "警告" xxx@abc.com
fi

crontab -e
* * * * * /etc/keepalived/baojing.sh

三：启动haproxy  和keepalived
  service keepalived start
  chkconfig keepalived on   加入开机启动项
  service haproxy  start
  chkconfig haproxy on   加入开机启动项

[iyunv@master ~]# tail -f /var/log/messages

通过查看日志可以发现VIP是浮动在8.233上的
通过命令  ip a 可以查看vip，ifconfig命令看不到。




四：验证
停止8.233上的keepalived 服务，可以看到vip浮动到了8.237 这个backup服务器上