keepalived实现高可用集群方案

kuuty

一、keepalived和VRRP协议介绍
        keepalived是基于vrrp协议实现的一个高可用集群解决方案，可以利用keepalived来解决单点故障问题，使用keepalived实现的高可用集群方案中，一般有两台服务器，一个是MASTER（主服务器），另一个是BACKUP（备用服务器），这个集群中对外提供一个虚拟IP，MASTER服务器会定时发送特定信息给BACKUP服务器，当BACKUP服务器接收不到MASTER发送的消息时，BACKUP服务器会接管虚拟IP，继续提供服务。
       VRRP协议介绍：VRRP为虚拟路由冗余协议，目的就是为了解决静态路由单点故障问题。在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
  VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。
  在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。


二、lvs+keepalived实现高可用集群：
   

lvs+keepalived高可用集群拓扑图

Director Server中需安装keepalived软件，并进行如下配置：
global_defs {
   notification_email {
root@localhost
   }
   notification_email_from root@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_schedown {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 2
   weight -2
}

vrrp_instance VI_1 {
    state MASTER  #BACKUP服务器此处应改为BACKUP
    interface eth2
    virtual_router_id 51
    priority 100  #BACKUP服务器此处优先级改为比100小的证书，如99
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.145.200
    }

    track_script {  
        chk_schedown
    }
}
virtual_server 192.168.145.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 100
    protocol TCP

    real_server 192.168.145.203 80 {
        weight 1
        HTTP_GET {
            url {
              path /
      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
    real_server 192.168.145.205 80 {
        weight 1
        HTTP_GET {
            url {
              path /
      status_code 200
            }
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
        }
    }
}

Real Server中的配置可参LVS负载均衡技术介绍中LVS-DR集群模型
至此lvs+keepalived高可用配置完成。


三、nginx+keepalived高可用集群：
  nginx高可用集群方案与lvs高可用集群方案类似，无非就是把负载均衡调度器由lvs换成了nginx。

拓扑图

keepalived配置如下：

global_defs {
   notification_email {
root@localhost
   }
   notification_email_from root@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
   script "/etc/keepalived/chk_nginx.sh"
   interval 2
   weight -2
}

vrrp_instance VI_1 {
    state MASTER  #BACKUP服务器此处应改为BACKUP
    interface eth3
    virtual_router_id 51
    priority 100  #BACKUP服务器此处优先级改为比100小的证书，如99
    advert_int 1

    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.145.200
    }

    track_script {  
        chk_nginx
    }
}

chk_nginx.sh是监控nginx的脚本，如果nginx服务停止，则会尝试重新启动，如果启动两次均失败，则把keepalived服务关闭，此时，BACKUP服务器成为负载均衡调度器，脚本如下：
#!/bin/bash
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    /usr/sbin/nginx
    sleep 3
    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
        /etc/init.d/keepalived stop
    fi
fi

nginx本身需配置转发功能，使用nginx的up_stream模块，主要配置如下：
upstream web_app {   
   #ip_hash;
   server 192.168.145.201:80 weight=1 max_fails=2 fail_timeout=30s;   
   server 192.168.145.207:80 weight=1 max_fails=2 fail_timeout=30s;   
}

server {   
    listen 80;     
    index index.jsp index.html index.htm;   
    root   /usr/share/nginx/html;   
    location /   
    {   
    proxy_pass http://web_app;   
    #expires      3d;   
    }   
  }

nginx+keepalived简单配置完成。