实现keepalived企业级高可用基于LVS-DR模式

wadada

一、为什么要使用keepalived
        当后端实现了负载均衡后坏掉一台机器后可以用另一台后台web服务器补上，但是当前端的LVS坏掉后，整套服务就彻底废掉，因此前端的LVS也需要实现负载均衡。

       Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。
        keepalived：通过实现vrrp协议来实现地址漂移
        配置文件简单：配置文件比较简单，可通过简单配置实现高可用功能
   稳定性强：keepalived是一个类似于layer3,4 & 7交换机制的软件，具备我们平时说的第3层、第4层和第7层交换机的功能，常用于前端负载均衡器的高可用服务，当主服务器出现故障时，可快速进行切换，监测机制灵活，成功率高。
   成本低廉：开源软件，可直接下载配置使用，没有额外费用。
   应用范围广：因为keepalived可应用在多个层面，所以它几乎可以对所有应用做高可用，包括LVS、数据库、http服务、nginx负载均衡等等
   支持多种类型：支持主从模式、主主模式高可用，可根据业务场景灵活选择
二、原理：
1、当用户访问前端的VIP时，到达LVS-server上，通过keepalived根据配置文件将虚拟ip VIP绑定到LVS-server-master的网卡上，首先将访问到主LVS服务器上，通过LVS分配后端realserver，当主LVS服务器出现故障后，keepalived可以将LVS-server-master的网卡上的VIP解除，重新绑定在LVS-server-backup的网卡上，用户将通过LVS-server-backup去访问后端真正的服务器。
       实现一个VIP在主LVS-server和从LVS-server的漂移
2、LVS-DR工作方式
   

(a) 当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b)PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

(d) 由于DS和RS在同一个网络中，所以是通过二层（数据链路层）来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(e)RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP

(f)响应报文最终送达至客户端
三、实验：

1、环境准备：两台centos系统做DR ，一主一从，两台实现过基于LNMP的电子商务网站
    LVS-server-master：VIP：172.17.251.239    桥接模式   开启路由功能，配置keepalived      
    LVS-server-backup：VIP：172.17.251.239    桥接模式    开启路由功能，配置keepalived   
   后端服务器1：RIP：172.17.251.107      桥接模式
                       VIP：172.17.251.239    lo：0
    后端服务器2：RIP：172.17.251.110    桥接模式

                       VIP：172.17.251.239    lo：0

2、在后端服务器上实现LNMP
        在两个后端服务器上分别实现LNMP，实现方法如下

     http://guanm.blog.51cto.com/13126952/1978354
3、安装步骤：

（1）两台LVS-server都使用yum方式安装keepalived服务

（2）iptables -F&& setenforing 0 清空防火墙策略，关闭selinux

4、配置基于DR模式的LVS负载均衡集群:
        配置完成后启动服务：

        centos6：service keepalived start
        centos7：ststemctl start keepalived

    （1）在LVS-server-master上配置keepalived并启动服务
         vim /etc/keepalived/keepalived.conf

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58

! Configuration File for keepalived global_defs {   notification_email {        root@localhost          #邮件    }   notification_email_from root   smtp_server 127.0.0.1   smtp_connect_timeout 600   router_id  KEEPAVILD_LVS }    vrrp_instance VI_1 {    state MASTER                    Master表示主    virtual_router_id 51    interface eth0    priority 101    advert_int 1    authentication {        auth_type PASS        auth_pass centos     }    virtual_ipaddress {        172.17.251.239     } }    virtual_server 172.17.251.239 80{    delay_loop 6    lb_algo wrr    lb_kind DR    nat_mask 255.255.255.255    persistence_timeout 50    protocol TCP       real_server 172.17.251.107 80 {        weight 1        HTTP_GET {            url {               path /            }            connect_timeout 3            nb_get_retry 3            delay_before_retry 3        }     }       real_server 172.17.251.110 80 {        weight 1        HTTP_GET {            url {               path /            }            connect_timeout 3            nb_get_retry 3            delay_before_retry 3        }     } }

（1）在LVS-server-backup上配置keepalived

    在LVS-server-master上将配置文件复制到从上

    scp /etc/keepalived/keepalived.conf  172.17.251.108:/etc/keepalived

    修改 vim /etc/keepalived/keepalived.conf
       state BACKUP      #从负载均衡器
        priority    100    #优先级是100
5、在两台后端服务器上
      要在后端的服务器上配置回环VIP，仅仅自己响应，不然和LVS

      ifconfig lo:0  172.17.251.239 broadcast 172.17.251.239 netmask 255.255.255.255 up
        #配置VIP到本地回环网卡lo上，并只广播自己
    routeadd -host  172.17.251.239 lo:0
        #配置本地回环网卡路由
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        #1 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        #2 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    #关闭arp应答
        1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应
        2：必须避免将接口信息向非本网络进行通告
    开启web、php-fpm、mysql服务
6、开启keepalived服务后，用ip a 查看ip是否成功添加
（1）在LVS-server-master上查看 ，用ifconfig 查看不到，用ip a 查看
      curl http://172.17.251.239/index.html 可以访问成功  
（2）测试
    这时关闭LVS-server-master服务 service keepalived stop
    在BACKUP上ip a 查看，可以看到VIP漂移到BACKUP上了。


用curl 访问不影响访问网站不受影响。