HAproxy + Keepalived负载均衡的安装部署及使用笔记（ubuntu）

不信网恋

负载均衡的安装部署及使用手册

一、首先环境介绍：

LB1：10.10.13.240
LB2：10.10.13.241
　　web server1 ：10.10.13.243
　　web server2 ：10.10.13.244
LB1和LB2做keepalived主从，对haproxy服务提供切换；haproxy服务将调度两台web server，
　　web server 的对外虚拟IP是10.10.13.245 。
　　二、243/244:两台RealServer的 web服务配置
　　1、先安装web服务： apt-get install apache2
2、修改web服务器日志格式
vi /etc/apache2/apache2.conf
　　#LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

3、注释掉原来的CustomLog，并修改文档根路径DocumentRoot为/var/www
vi /etc/apache2/sites-available/default
SetEnvIf Request_URI "^/check\.txt$" dontlog
　　CustomLog /var/log/apache2/access.log combined env=!dontlog
　　echo "The web service provider is 243|244" > /var/www/index.html
4、重启web服务器
/etc/init.d/apache2 restart

5、建立check文件，haproxy使用该文件检查WEB状态，必须建立
touch /var/www/check.txt
　　三、240/241两台服务器的haproxy配置
1、 安装haproxy
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.22.tar.gz
tar xvf haproxy-1.4.22.tar.gz
cd haproxy-1.4.22
make TARGET=36-Ubuntu
make PREFIX=/usr/local/haproxy install

2、 编辑其配置文件
cd /etc
mkdir haproxy
vim haproxy/haproxy.cfg
　　###########全局配置#########
global
        #daemon
　　        #nbproc 1
　　        #pidfile /var/run/haproxy.pid
　　        log 127.0.0.1 local0
　　        log 127.0.0.1 local1 notice
　　        maxconn 4096
　　########默认配置############
defaults
　　        log global
　　        mode http               #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
　　        retries 3              #两次连接失败就认为是服务器不可用，也可以通过后面设置
　　        #option redispatch       #当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
　　        #option abortonclose     #当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
　　        option httplog
　　        option dontlognull
　　        option redispatch
　　        maxconn 2000            #默认的最大连接数
　　        timeout connect 5000ms    #连接超时
　　        timeout client 30000ms    #客户端超时
　　        timeout server 30000ms   #服务器超时
　　        #timeout check 2000       #=心跳检测超时
      log 127.0.0.1 local0 err    #开启记录haproxy日志
listen web 10.10.13.245:80
　　        mode http
　　        stats enable
　　        balance roundrobin
　　        option httpclose
　　        option forwardfor
　　        option httpchk HEAD /check.txt HTTP/1.0
　　        server nc243 10.10.13.243:80 cookie A check
　　        server nc244 10.10.13.244:80 cookie B check
或者：

frontend shishi
　　        bind *:82
　　        mode http
　　        acl api_net url_sub -i sip_apiname=engagecloud
　　        use_backend engagecloud if api_net
　　        default_backend engagecloud
backend engagecloud
　　        mode http
　　        balance roundrobin
　　        server app 10.15.14.130:80 cookie A
　　        server app1 10.15.14.131:8080 cookie B
backend salesapp
　　        mode http
　　        server app1 10.15.14.131:8080 cookie B

frontend shishi2
　　        bind *:822
　　        mode http
　　        acl api_net url_sub -i sip_apiname=engagecloud
　　        use_backend engagecloud if api_net
　　        default_backend salesapp1   
backend engagecloud1
　　        mode http
　　        server app 10.15.14.130:80 cookie A
backend salesapp1
　　        mode http
　　        server app1 10.15.14.131:8080 cookie B
　　        server app 10.15.14.130:80 cookie A
frontend http-ip //前端节点定义

bind 10.10.13.245:80   //虚拟服务节点监听80端口
    mode http
    log global
    option httplog
    option httpclose //每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式，只能够模拟这种模式的实现

    option forwardfor   //如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP

    capture request header Host len 20 //此配置和一下的类似配置都是抓取Http请求中的参数记录到日志中。
    capture request header User-Agent len 16
    capture request header Content-Length len 10     
    capture request header Referer len 20

    capture response header Content-Length len 10

//控制策略的配置，参考别人的配置，使用时要根据自己的实际情况。

    acl api_taobao url_sub -i sip_apiname=taobao. //在请求url中包含sip_apiname=taobao，则此控制策略返回true，否则为false

    acl api_alisoft url_sub -i sip_apiname=alisoft. //在请求url中包含sip_apiname=alisoft，则此控制策略返回true，否则为false

    acl invalid_req url_sub -i sip_apiname= //在请求url中包含sip_apiname=，则此控制策略返回true，否则为false

    acl stat_req url_dir -i admin //在请求url中存在admin作为部分地址路径，则此控制策略返回true，否则返回false

    block if !invalid_req !stat_req //block表示阻止请求，返回403错误，当前表示如果不满足策略invalid_req，同时也不满足策略stat_req，则阻止请求。（就是要求URL中必需有参数sip_apiname，除非是查看服务器状态的URL）。

    use_backend alisoft_server if api_alisoft //如果是满足策略api_alisoft的情况，则使用alisoft_server作为后端服务集群。

    use_backend taobao_server if api_taobao //如果是满足策略api_taobao的情况，则使用taobao_server作为后端服务集群。
    default_backend alisoft_server //使用alisoft_server作为默认后端服务集群。
backend alisoft_server //后端节点1定义
   mode http
   balance roundrobin //负载均衡策略配置
   cookie SERVERID //允许插入serverid到cookie中，serverid后面可以定义

   server app1 10.10.13.243:80 cookie 1 check fall 5 weight 1 //真实服务器配置定义cookie 1表示serverid为1，check表示需要状态检查，fall 5表示失败五次就认为服务器状态不可用（不在接受请求），weight 1表示权重

  server app2 x.x.x.x:8080 cookie 1 check fall 5 weight 10

backend taobao_server //后端节点2定义
   mode http
   server app1 10.10.13.244:80 check fall 5

listen haproxy-status 10.10.13.245:8888
        mode          http
        option        httplog
       stats uri     /haproxy-stats
        stats realm   Global\ statistics
        stats auth    admin:123456
haproxy配置结束。

3、HA-Proxy日志配置说明：
HA-Proxy可以收集本机及其他后端服务器日志，但是需要在Load Balancer（240/241）上作一些配置。
首先修改/etc/sysconfig/syslog文件，将SYSLOGD_OPTIONS="-m 0” 修改为SYSLOGD_OPTIONS="-m 0 -r -x"，支持收集远程服务器日志。
然后修改/etc/syslog.conf，增加如下语句：
#add by haproxy
local0.* /path/to/haproxy.log //需要存储日志的地址
执行service syslog restart，重新启动系统日志器
最后就是在HA-Proxy的配置中增加日志输出，即capture 后的内容。

4、启动haproxy服务
　　/usr/local/haproxy/sbin/haproxy –f /etc/haproxy/haproxy.cfg –d   或者-D
也可以：
cd /usr/local/haproxy/sbin
./haproxy –f /etc/haproxy/haproxy.cfg

5、打开网页测试：


http://10.10.13.245

6、打开haproxy的状态信息页：
http://10.10.13.245:8888/haproxy-stats

HAproxy 使用手册：

1、 HAProxy 常用参数说明

#./haproxy –help //haproxy相关命令参数介绍.

haproxy -f  [-n 最大并发连接总数] [-N 每个侦听的最大并发数] [-d] [-D] [-q] [-V] [-c] [-p] [-s] [-l] [-dk] [-ds] [-de] [-dp] [-db] [-m ] [{-sf|-st} pidlist...]

-d     前台，debug模式
-D     daemon模式启动
-q     安静模式，不输出信息
-V     详细模式
-c     对配置文件进行语法检查
-s     显示统计数据
-l     显示详细统计数据
-dk    不使用kqueue
-ds    不使用speculative epoll
-de    不使用epoll
-dp    不使用poll
-db    禁用后台模式，程序跑在前台
-sf    程序启动后向pidlist里的进程发送FINISH信号，这个参数放在命令行的最后
-st    程序启动后向pidlist里的进程发送TERMINATE信号，这个参数放在命令行的最后

2、HAProxy 错误排除

在上述启动时， 若有出现下述错误:

    Starting haproxy: [ALERT] 015/191034 (15631) : Starting proxy webfarm: cannot bind socket...on both load balancer

    或

    [ALERT] 056/103843 (1358) : Starting proxy www-balancer: cannot bind socket

解法
    暂时解法， 直接先修改设定， 让它先跑起来:

        sysctl -e net.ipv4.ip_nonlocal_bind=1

    永久解法， 让开机时自动设此参数.

        sysctl -a | grep nonlocal   #看是否已经有设定此参数

        vim /etc/sysctl.conf # 最下面加入

        net.ipv4.ip_nonlocal_bind=1

还有一种可能就是，haproxy Load Balancer的机器上开启了web服务，关闭即可。要保证web服务，在这两台机器上是关掉的。

3、 HAProxy 配置手册
haproxy.cfg 有分下列三种: (haproxy.cfg 的三个主项目)
    global
    listen
    defaults
注：

    下述所有  都必须由 大/小 写字母、数字、 -、 . 、: 组成. (大小写会视为不同名称)

    defaults ： 下面所有参数的预设设定值，下面的设定值会盖掉上面的。
    listen ：完整的 Proxy 代理，frontend / backend 都在这个设定里 (用于 TCP)
global 分类
global 部分有下述几类:

    行程管理和安全
    chroot

        daemon: 执行 -D 也是同样

        gid
        group
        uid
        log

        nbproc: deamon 才能使用， 也是最推荐的模式， 如果小档案很多， 建议要多开几个， 但是 debug 时不建议开此参数. (arg: nbproc )

        pidfile

        ulimit-n: 设定每个行程最大文件数， 此值会自动计算， 不建议设定此参数 (arg: ulimit-n )

        user
    stats
   性能调校
     maxconn: 最大连接数， 同 -n (arg: maxconn )

       noepoll: 在 Linux 系统不使用 epoll， 等同 -de

       nokqueue: 在 BSD 不使用 kqueue polling， 同 –dk

       nopoll: 此 poll 在任何机器都可以跑， 不建议关闭， 同 -dp

       nosepoll: 在 Linux 系统不使用 speculative epoll， 等同 -ds

     spread-checks: 多久去 check 一次， 默认值 0 (arg: spread-checks )

     tune.maxaccept
     tune.maxpollevents
    测试
    debug: 将所有讯息都显示到画面上， 同 -d
    quiet: 不显示任何讯息， 同 -v

listen 分类

    listen  [ :[，...] ]

listen 部分有下述几类:
    bind
    mode: TCP / HTTP / health

    balance: roundrobin / source / url / url_param

    server
    option
    # defaults 的参数都可于此写入， 于此 listen 的设定中， 会以此写入的为主。

4、httpchk 范例

httpchk (启用 HTTP 的 server health check.) 特别重要， 范例多记录一点.

    option httpchk
    option httpchk

    option httpchk  

    option httpchk   

    ex:

        # Relay HTTPS traffic to Apache instance and check service availability

        # using HTTP request "OPTIONS * HTTP/1.1" on port 80.

        backend https_relay
            mode tcp

            option httpchk OPTIONS * HTTP/1.1\r\nHost:\ www

            server apache1 192.168.1.1:443 check port 80

        option httpchk GET /robots.txt
        option httpchk GET /index.html
        option httpchk *

    option httpchk GET /robots.txt # 指的是 GET /robots.txt HTTP/1.0

    option httpchk # 指的是 OPTIONS / HTTP/1.0

    option httpchk * # 指的是 OPTIONS * HTTP/1.0

　　四、240/241两台服务器的keepalived配置
1、 安装keepalived
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
tar xvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure –prefix=/usr/local/keepalived/
make
make install

2、 keepalived和ipvsadm 是在一起使用的，不可缺少。所以，要先安装ipvsadm。
apt-get install ipvsadm

3、 编辑配置文件
mkdir –pv /etc/keepalived
vim /etc/keepalived/keepalived.conf

global_defs {
　　        router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER         #241服务器上将MASTER改为BACKUP
interface eth0          #HA监测网络接口
virtual_router_id 51     #主、备机的virtual_router_id必须相同
priority 90            #主、备机取不同的优先级，主机值较大，241的值较小
advert_int 1           #VRRP Multicast广播周期秒数
authentication {
　　            auth_type PASS       #VRRP认证方式
　　            auth_pass 123456789   #VRRP口令字
　　        }
virtual_ipaddress {
　　        10.10.13.245    #LVS虚拟地址
　　        }
}

4、 启动keepalived服务
　　/usr/local/keepalived/sbin/keepalived –f /etc/keepalived/keepalived.conf
ipvsadm –l
ip a 此命令可以看到，
　　在eth0的10.10.13.240的ip下有一个新的ip生成。如：
　　1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
　　    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
　　    inet 127.0.0.1/8 scope host lo
　　    inet6 ::1/128 scope host
　　       valid_lft forever preferred_lft forever
　　2: eth0:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
　　    link/ether 00:e0:4c:ec:d7:e5 brd ff:ff:ff:ff:ff:ff
    inet 10.10.13.240/24 brd 10.10.13.255 scope global eth0
　　    inet 10.10.13.245/32 scope global eth0
　　    inet6 fe80::2e0:4cff:feec:d7e5/64 scope link
　　       valid_lft forever preferred_lft forever
　　在eth0的10.10.13.241的ip下没有新的ip生成，如下：
　　1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
　　    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
　　    inet 127.0.0.1/8 scope host lo
　　    inet6 ::1/128 scope host
　　       valid_lft forever preferred_lft forever
　　2: eth0:  mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
　　    link/ether 00:e0:4c:ec:d7:d3 brd ff:ff:ff:ff:ff:ff
    inet 10.10.13.241/24 brd 10.10.13.255 scope global eth0
　　    inet6 fe80::2e0:4cff:feec:d7d3/64 scope link
　　       valid_lft forever preferred_lft forever
5、 将240的keepalived服务停掉，重新看一下：
240：ip a
　　1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
　　    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
　　    inet 127.0.0.1/8 scope host lo
　　    inet6 ::1/128 scope host
　　       valid_lft forever preferred_lft forever
　　2: eth0:  mtu 1500 qdisc pfifo_fast state UP qlen 1000
　　    link/ether 00:e0:4c:ec:d7:e5 brd ff:ff:ff:ff:ff:ff
    inet 10.10.13.240/24 brd 10.10.13.255 scope global eth0
　　    inet6 fe80::2e0:4cff:feec:d7e5/64 scope link
　　       valid_lft forever preferred_lft forever
241:：ip a
　　1: lo:  mtu 16436 qdisc noqueue state UNKNOWN
　　    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
　　    inet 127.0.0.1/8 scope host lo
　　    inet6 ::1/128 scope host
　　       valid_lft forever preferred_lft forever
　　2: eth0:  mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
　　    link/ether 00:e0:4c:ec:d7:d3 brd ff:ff:ff:ff:ff:ff
　　    inet 10.10.13.241/24 brd 10.10.13.255 scope global eth0
    inet 10.10.13.245/32 scope global eth0
　　    inet6 fe80::2e0:4cff:feec:d7d3/64 scope link
　　       valid_lft forever preferred_lft forever