oi622 发表于 2015-10-15 08:53:11

通过haproxy + keepalive 实现高可用负载均衡

软件负载均衡一般通过两种方式来实现:基于操作系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操作系统实现的一种软负载,HAProxy就是开源的并且基于第三应用实现的软负载。   HAProxy相比LVS的使用要简单很多,功能方面也很丰富。当 前,HAProxy支持两种主要的代理模式:"tcp"也即4层(大多用于邮件服务器、内部协议通信服务器等),和7层(HTTP)。在4层模式 下,HAProxy仅在客户端和服务器之间转发双向流量。7层模式下,HAProxy会分析协议,并且能通过允许、拒绝、交换、增加、修改或者删除请求 (request)或者回应(response)里指定内容来控制协议,这种操作要基于特定规则。
环境:
   系统 centos 6.464位
   架构
      
   目标:如果8.233这个haproxy服务器挂掉,则keepalive检测master挂掉则虚拟ip 8.248 浮动到backup上,backup这个机器的haproxy对访问要求分发到后端服务器,实现负载均衡。通过keepalive实现高可用,haproxy实现负载均衡。

HAProxy介绍
    反向代理服务器,支持双机热备支持虚拟主机,但其配置简单,拥有非常不错的服务器健康检查功能,当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除,故障恢复后再自动将该服务器加入新的1.3引入了frontend,backend;frontend根据任意 HTTP请求头内容做规则匹配,然后把请求定向到相关的backend.
keepalived简介  
http://www.keepalived.org
   keepalived是一个类似于layer3, 4 & 5交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。
   Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案,可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。
   Keepalived是VRRP的完美实现。

一:搭建haproxy服务器:
两台haproxy服务器的配置内容相同
   yum -y install haproxy
Haproxy配置中分成五部分内容,当然这些组件不是必选的,可以根据需要选择作为配置。
    global:参数是进程级的,通常和操作系统(OS)相关。这些参数一般只设置一次,如果配置无误,就不需要再次配置进行修改;
    default:配置默认参数的,这些参数可以被利用配置到frontend,backend,listen组件;
    frontend:接收请求的前端虚拟节点,Frontend可以根据规则直接指定具体使用后端的backend(可动态选择);
    backend:后端服务集群的配置,是真实的服务器,一个Backend对应一个或者多个实体服务器;
    listen:Frontend和Backend的组合体。

编辑haproxy 配置:
vim /etc/haproxy/haproxy.cfg

global      #全局变量
      #uid 99
      #gid 99
      daemon
      stats socket /var/run/haproxy.stat mode 600 level admin
      maxconn 40000
      ulimit-n 81000
      pidfile /var/run/haproxy.pid
defaults
      mode    http      #默认的模式mode { tcp|http|health },tcp是4层,http是7层,health只会返回OK
      timeout connect    4000   #连接超时
      timeout client   3600000
      timeout server   3600000
      balance roundrobin    #轮询方式
listenExchange2010 192.168.8.248:80       #haproxy 监听的端口,也就是后端服务器的应用开放的端口。
      bind 192.168.8.248:25
      bind 192.168.8.248:110,192.168.8.248:135
      bind 192.168.8.248:139,192.168.8.248:443
      bind 192.168.8.248:60000,192.168.8.248:60001
      bind 192.168.8.248:6001-6004
      bind 192.168.8.248:993-995
      mode    tcp            #根据后台服务器的应用端口选择mode模式
      optionpersist
      balance roundrobin
      stick-table type ip size 10240k expire 30m
      stick on src
      server CAS0 192.168.8.151 weight 1 check port 80 inter 5000 rise 2 fall 3
      server CAS1 192.168.8.152 weight 1 check port 80 inter 5000 rise 2 fall 3
      server CAS2 192.168.8.153 weight 1 check port 80 inter 5000 rise 2 fall 3
         #添加后台监听的服务器地址,weight是权重,默认为1。check是指启用check检查。inter是最大连接数,fall 3 错误次数为3次。      
      option redispatch
      option abortonclose
      maxconn 200000
listenstats 127.0.0.1:7000
      stats   enable
      stats   uri /   #统计页面url
      optionhttpclose#每次请求完毕后主动关闭http通道



二:搭建keepalive
yum -y install keepalived
编辑keepalive的配置文件
vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
   xxxx@abc.com
   }
   notification_email_fromaaa@abc.com
   smtp_server 192.168.8.153   #报警邮箱设置
   smtp_connect_timeout 30
   router_id EXchange-233   #自定义router-id,但是两台keepalive需要一样。
}
vrrp_script chk_haproxy {
      script "/etc/keepalived/chk_haproxy.sh"
      interval 4
      weight 2
}   #对haproxy的健康检查脚本,自己编写
vrrp_instance VI_1 {
    state MASTER    #主的写master,辅的是bankup
    interface eth0
    virtual_router_id 51
    priority 100   #优先级,master的要高于backup的,另一台keepalive配置文件里设置的是50
    advert_int 1
    authentication {
      auth_type PASS
      auth_pass 1111
    }
    track_script {
      chk_haproxy
    }
    virtual_ipaddress {
      192.168.8.248/24   #虚拟ip设置
    }
    track_interface {
      eth0
      }
}

haproxy 健康监测脚本

vim /etc/keepalived/chk_haproxy.sh
#!/bin/bash
netstat -tupln |grep haproxy >>null
[ $? -eq 0 ]
if [ $? -eq 0 ];then
   exit
else
   service haproxy start
fi

我又写了个计划任务,检测master服务器是否正常,如果不正常了,立即发邮件通知
vim baojing.sh
#!/bin/bash
/sbin/ip a |grep 192.168.8.248 &> /dev/null
A=`echo $?`
if [ $A -ne 0 ];then
   echo "exkeepalive8.233 is down"|mail -s "警告" xxx@abc.com
fi

crontab -e
* * * * * /etc/keepalived/baojing.sh

三:启动haproxy和keepalived
service keepalived start
chkconfig keepalived on   加入开机启动项
service haproxystart
chkconfig haproxy on   加入开机启动项

# tail -f /var/log/messages

通过查看日志可以发现VIP是浮动在8.233上的
通过命令ip a 可以查看vip,ifconfig命令看不到。




四:验证
停止8.233上的keepalived 服务,可以看到vip浮动到了8.237 这个backup服务器上

页: [1]
查看完整版本: 通过haproxy + keepalive 实现高可用负载均衡