用keepalived来实现haproxy的高可用性能

jqkyp

　　一、haproxy和keepalived的解释：
　　1、haproxy：haproxy是免费、极速且可靠的用于为TCP和基于HTTP应用程序提供负载均衡和代理服务的解决方案，尤其适用于高负载且需要持久连接或7层处理机制的web站点。
　　2、haproxy的特性：客户端侧的长连接(client-side keep-alive)；TCP加速(TCP speedups)； 响应池(response buffering)；RDP协议；基于源的粘性(source-based stickiness)；更好的统计数据接口(a much better stats interfaces)；更详细的健康状态检测机制(more verbose health checks)；基于流量的健康评估机制(traffic-based health)；支持HTTP认证；服务器管理命令行接口(server management from the CLI)；基于ACL的持久性(ACL-based persistence)；日志分析器；内容交换(content switching)：基于任何请求标准挑选服务器池；ACL：编写内容交换规则；负载均衡算法(load-balancing algorithms)：更多的算法支持；内容探测(content inspection)：阻止非授权协议；透明代理(transparent proxy)：在Linux系统上允许使用客户端IP直接连入服务器；内核TCP拼接(kernel TCP splicing)：无copy方式在客户端和服务端之间转发数据以实现数G级别的数据速率；分层设计(layered design)：分别实现套接字、TCP、HTTP处理以提供更好的健壮性、更快的处理机制及便捷的演进能力；快速、公平调度器(fast and fair scheduler)：为某些任务指定优先级可实现理好的QoS；会话速率限制(session rate limiting)：适用于托管环境。
　　3、keepalived：Keepalived的作用是检测服务器的状态，如果有一台服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。haproxy主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。
　　

　　

　　二、配置haproxy实现网站的负载均衡：
　　1、node1和node2都安装httpd，php，php-mysql：

1	[root@node1 ~]# yum -y install httpd php php-mysql

1	[root@node2 ~]# yum -y install httpd php php-mysql

　　2、为node1和node2提供静态和动态网页：

1 2 3 4

[root@node1 ~]# ls /var/www/html/ index.html  index.php [root@node2 ~]# ls /var/www/html/ index.html  index.php

　　3、node1和node2启动httpd服务：

1 2 3 4

[root@node1 ~]# service httpd start Starting httpd:                                            [  OK  ] [root@node2 ~]# service httpd start Starting httpd:                                            [  OK  ]

　　4、验证node1和node2的静态和动态网站：

　　

　　5、在haproxy1和haproxy2主机上分别安装haproxy程序包：

1	yum -y installhaproxy

　　6、在haproxy1编辑haproxy的主配置文件：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58

[root@haproxy1 ~]# vim /etc/haproxy/haproxy.cfg global log         127.0.0.1 local2 chroot      /var/lib/haproxy pidfile     /var/run/haproxy.pid maxconn     30000 user        haproxy group       haproxy daemon stats socket /var/lib/haproxy/stats defaults mode                    http log                     global option                  httplog option                  dontlognull option http-server-close option forwardfor       except 127.0.0.0/8 option                  redispatch retries                 3 timeout http-request    10s timeout queue           1m timeout connect         10s timeout client          1m timeout server          1m timeout http-keep-alive 10s timeout check           10s maxconn                 3000 listen stats mode http bind *:8009 stats enable stats hide-version stats uri     /hpadmin?stats stats realm   “Haproxy  Statistics" stats auth    admin:admin stats admin ifTRUE frontend  http-in bind *:80 mode http log global option httpclose option logasap option dontlognull capture request  header Host len 20 capture request  header Referer len 60 acl url_static       path_beg       -i /static/images/javascript/stylesheets acl url_static       path_end       -i .jpg .jpeg .gif .png .css .js .html acl url_php          path_end       -i  .php use_backend static_servers          ifurl_static use_backend  dynamic_servers        ifurl_php default_backend dynamic_servers backend static_servers balance roundrobin server node1 172.16.70.1:80 check maxconn 6000 backend dynamic_servers cookie  node   insert  nocache balance roundrobin server node2 172.16.70.2:80 check maxconn 1000   cookie node2

　　说明：
global                                              --全局配置

log         127.0.0.1 local2                        --定义日志服务器为本机（127.0.0.1），日志级别为local2
chroot      /var/lib/haproxy                        --禁锢haproxy用户的目录

pidfile     /var/run/haproxy.pid                    --定义haproxy服务的pid文件

maxconn     30000                                   --单进程的并发连接数

user        haproxy                                 --以haproxy用户的身份运行服务

group       haproxy                                 --以haproxy组的身份运行服务

daemon                                              --让haproxy以守护进程的方式工作于后台
stats socket /var/lib/haproxy/stats                 --启用统计页面输出



defaults                                           --默认配置
    mode                    http                    --工作模式为http
    log                     global                  --使用全局配置中定义的日志服务器
    option                  httplog                 --启用记录HTTP请求、会话状态和计时器的功能
    option                  dontlognull             --日志不能为空
    option http-server-close                        --启用httpd的服务器端关闭的功能
    option forwardfor       except 127.0.0.0/8      --允许在发往服务器的请求首部中插入“X-Forwarded-For”首部，除了本机
    option                  redispatch              --某一上游服务器宕机时，能够将客户端的会话请求重新派发给其它upstreat  server
    retries                 3                      --重试次数

    timeout http-request    10s                     --http请求的超时时间
    timeout queue           1m                      --等待队列的超时时间
    timeout connect         10s                     --将客户端请求转发给后端服务器而等待的时间
    timeout client          1m                      --客户端非活动状态的超时时长
    timeout server          1m                      --客户端等待服务器端非活动状态的超时时间
    timeout http-keep-alive 10s                     --保持连接的超时时长
    timeout check           10s                     --在健康状态检测时的超时时长
    maxconn                 3000                   --每个server的最大并发连接数


listen stats                                        --监听的名称为stats，用于统计页面输出
    mode http                                       -- stats的工作模式为http
    bind *:8009                                     --绑定在所有地址的8009端口
    stats enable                                    --启用stats，可以在浏览器中显示后端服务器信息和整个haproxy的信息
    stats hide-version                              --隐藏haproxy的版本
    stats uri     /hpadmin?stats                    --stats的网页访问路径
    stats realm   “Haproxy  Statistics"            --认证时显示的账号密码的提示信息
    stats auth    admin:admin                       --stats认证的账号和密码
    stats admin if TRUE                             --如果认证通过就启用stats的管理接口


frontend  http-in                                   --前端服务器名称为http-in

    bind *:80                                       --绑定在所有地址的80端口上

    mode http                                       --工作模式为http

    log global                                     --使用全局配置中定义的日志服务器
    option httpclose                                --启用被动httpd连接关闭功能
    option logasap
    option dontlognull                              --日志不能为空

    capture request  header Host len 20             --捕获请求首部为host，首部长度为20
    capture request  header Referer len 60          --记录请求报文中的跳转，长度为60
    acl url_static       path_beg       -i /static /images /javascript /stylesheets          --定义的访问控制列表为静态服务器

    acl url_static       path_end       -i .jpg .jpeg .gif .png .css .js .html               --定义的访问控制列表为静态服务器
    acl url_php          path_end       -i  .php                                             --定义的访问控制列表为动态服务器
    use_backend static_servers          if url_static                                        --在静态页面中使用的后端服务器组（指定使用的条件式后端）
    use_backend  dynamic_servers        if  url_php                                          --在动态页面中使用的后端服务器组（指定使用的条件式后端）
    default_backend dynamic_servers                                                          --默认后端服务器为动态服务器组


backend static_servers                                                                       --定义的静态后端服务器

    balance roundrobin                                                                       --算法为轮询

    server node1 172.16.70.1:80 check maxconn 6000                                           --具体的静态后端服务器，检测服务器健康状态，服务器接收的最大并发连接6000

backend dynamic_servers                                                                      --定义的动态后端服务器
    cookie  node   insert  nocache                                                           --node为cookie名称，insert为直接插入cookie信息，nocache指后端是缓存服务器时，不用保持cookie信息
    balance roundrobin                                                                       --算法为轮询
    server node2 172.16.70.2:80 check maxconn 1000   cookie node2                            --具体的动态后端服务器，检测服务器健康状态，服务器接收的最大并发连接1000


　　7、把haproxy1主机上haproxy主配置文件复制一份到haproxy2主机上：

1 2	[root@haproxy1 ~]# scp /etc/haproxy/haproxy.cfg haproxy2:/etc/haproxy/ haproxy.cfg                                         100% 4190     4.1KB/s00:00

　　


　　8、在haproxy1主机上启动haproxy服务：

1 2	[root@haproxy1 ~]# service haproxy start Starting haproxy:                                          [  OK  ]

　　9、访问haproxy的统计页面：
　　

　　

　　10、访问静态服务器：

　　11、访问动态服务器：

　　12、关闭haproxy1主机上的haproxy服务：

1 2	[root@haproxy1 ~]# service haproxy stop Stopping haproxy:                                          [  OK  ]

　　三、配置keepalived为实现haproxy高可用的双主模型：
　　1、在haproxy1主机和haproxy2主机上都安装keepalived程序包：

1 2	[root@haproxy1 ~]# yum -y install keepalived [root@haproxy2 ~]# yum -y install keepalived

　　2、在haproxy1和haproxy2上写一个脚本，定义主haproxy的启动、辅haproxy的停止即给管理员的邮件通知机制：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

[root@haproxy1 keepalived]# pwd /etc/keepalived [root@haproxy1 keepalived]# vim notify.sh #!/bin/bash # Author: MageEdu # description: An example of notify script # vip=172.16.70.35 contact='root@localhost' notify() { mailsubject="`hostname` to be $1: $vip floating" mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1" echo$mailbody | mail -s "$mailsubject"$contact } case"$1"in master) notify master /etc/rc.d/init.d/haproxystart exit0 ;; backup) notify backup /etc/rc.d/init.d/haproxystop exit0 ;; fault) notify fault /etc/rc.d/init.d/haproxystop exit0 ;; *) echo'Usage: `basename $0` {master|backup|fault}' exit1 ;; esac

　　3、在haproxy1主机上编辑keepalived的主配置文件：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62

[root@haproxy1 keepalived]# pwd /etc/keepalived [root@haproxy1 keepalived]# vim keepalived.conf global_defs { notification_email { root@localhost } notification_email_from kaadmin@localhost smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_haproxy { script "killall -0 haproxy" interval 1 weight -2 } vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 66 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 12168 } virtual_ipaddress { 172.16.35.35 } track_script { chk_haproxy } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" } vrrp_instance VI_2 { state BACKUP interface eth0 virtual_router_id 69 priority 99 advert_int 1 authentication { auth_type PASS auth_pass 22168 } virtual_ipaddress { 172.16.70.135 } track_script { chk_haproxy } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" }

　　说明:
　　global_defs {                                                 --全局定义
   notification_email {                                       --通知邮件
        root@localhost                                        --通知的收件人为本机的管理员
　　}

   notification_email_from kaadmin@localhost                  --通知的发件人
   smtp_server 127.0.0.1                                      --发件服务器为本机的邮件服务器
   smtp_connect_timeout 30                                    --连接邮件服务器的超时时间
　　router_id LVS_DEVEL                                        --路由器的标识
　　}


vrrp_script chk_haproxy {                                     --定义haproxy服务的追踪脚本为chk_haproxy
        script "killall -0 haproxy"                           --探测haproxy服务是否在线
        interval 1                                            --每隔1S探测一次
        weight -2                                             --如果haproxy服务不在线该节点权重就减二
}

vrrp_instance VI_1 {                                          --定义虚拟路由的实例名称为VI_1
　　state MASTER                                              --在VI_1实例中haproxy1主机这个节点为主节点
    interface eth0                                            --所有的通告通过eth0接口进行
　　virtual_router_id 66                                      --虚拟路由ID为66
　　priority 100                                              --节点优先级为100（优先级范围0-255，数字越大，优先级越大）
　　advert_int 1                                              -- 初始化通告的个数
　　authentication {                                          -- 认证机制
　　auth_type PASS                                        --认证的类型为明文密码认证
　　auth_pass 12168                                       --认证的密码为12168
　　}
    virtual_ipaddress {                                       --定义虚拟地址，即VIP地址
　　172.16.70.35                                          --VIP地址为172.16.70.35   
    }
        track_script {
                chk_haproxy                                   --在实例中定义追踪的脚本时chk_haproxy
}
        notify_master "/etc/keepalived/notify.sh master"      --当本节点为主节点时的邮件通知脚本
        notify_backup "/etc/keepalived/notify.sh backup"      --当本节点为backup节点时的邮件通知脚本
　　notify_fault "/etc/keepalived/notify.sh fault"        --当本节点为fault时的邮件通知脚本
　　}

vrrp_instance VI_2 {                                          --定义虚拟路由的实例名称为VI_2
　　state BACKUP                                              --在VI_2实例中haproxy1主机这个节点为从节点
　　interface eth0                                            --所有的通告通过eth0接口进行
　　virtual_router_id 69                                      --虚拟路由ID为69
　　priority 99                                               --节点优先级为99（优先级范围0-255，数字越大，优先级越大）
　　advert_int 1                                              --初始化通告的个数
　　authentication {                                          --认证机制
　　auth_type PASS                                        --认证的类型为明文密码认证
　　auth_pass 22168                                       --认证的密码为22168
　　}
    virtual_ipaddress {                                       --定义虚拟地址，即VIP地址
　　172.16.70.135                                         --VIP地址为172.16.70.135
    }
        track_script {                                       
                chk_haproxy                                   --在实例中定义追踪的脚本时chk_haproxy
　　}
        notify_master "/etc/keepalived/notify.sh master"      --当本节点为主节点时的邮件通知脚本
　　notify_backup "/etc/keepalived/notify.sh backup"      --当本节点为backup节点时的邮件通知脚本
　　notify_fault "/etc/keepalived/notify.sh fault"        --当本节点为fault时的邮件通知脚本
　　}
　　4、在haproxy2主机上编辑keepalived的主配置文件：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62

[root@haproxy2 keepalived]# pwd /etc/keepalived [root@haproxy2 keepalived]# vim keepalived.conf global_defs { notification_email { root@localhost } notification_email_from kaadmin@localhost smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_haproxy { script "killall -0 haproxy" interval 1 weight -2 } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 66 priority 99 advert_int 1 authentication { auth_type PASS auth_pass 12168 } virtual_ipaddress { 172.16.70.35 } track_script { chk_haproxy } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" } vrrp_instance VI_2 { state MASTER interface eth0 virtual_router_id 69 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 22168 } virtual_ipaddress { 172.16.70.135 } track_script { chk_haproxy } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" }

　　5、在haproxy1主机和haproxy2主机上同时启动keepalived服务和haproxy服务：

1 2 3

[root@haproxy1 ~]# ssh haproxy2 'service keepalived start';service keepalived start Starting keepalived: [  OK  ] Starting keepalived:                                       [  OK  ]

1 2 3

[root@haproxy1 ~]# ssh haproxy2 'service haproxy start';service haproxy start Starting haproxy: [  OK  ] Starting haproxy:                                          [  OK  ]

　　6、在haproxy1主机上查看获得的VIP地址为172.16.70.35,haproxy2主机上获得的VIP地址是172.16.70.135：
　　7、使用2个VIP都能访问后端静态和动态网站：

　　8、在haproxy1主机上关闭haproxy服务，发现VIP：172.16.70.35转移到haproxy2主机上去了，但仍然能够反向代理到后端服务器而提供web服务：

1 2	[root@haproxy1 ~]# service haproxy stop Stopping haproxy:                                          [  OK  ]

　　

　　四、总结：
　　本次实验结合keepalived实现了haproxy反向代理的高可用，让两个haproxy都能同时为客户端提供反向代理服务，同时也实现了web站点的负载均衡，实现了网站访问的动静分离机制。。。