hwl198212 发表于 2015-11-19 13:53:58

keepalived实践



转载 Michael's blog @ http://sjsky.iyunv.com







keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

      官网地址：http://www.keepalived.org/   

      截止目前最新版本1.2.2 附件提供下载：keepalived-1.2.2.tar.gz

      keepalived 中文权威指南：KEEPALIVED权威指南_中文_.pdf

本文目录：


[*]
[一]、实验环境介绍
[*]
[二]、服务器层的双机热备（比如服务器宕机、keepalived宕、网络不通）
[*]
[三]、应用层（web）的双机热备（比如web应用端口不通、 nginx进程被意外kill ）


[一]、实验环境介绍



    1.1、软件信息：


[*]
S-A 192.168.8.183 centos5 keepalived nginx
[*]
S-B 192.168.8.150 centos5 keepalived nginx
[*]
VirtualIP (虚拟IP)：192.168.8.191


   1.2、keepalived 标准的安装步骤：

Shell代码

[*]
# tar -zxvf keepalived-1.2.2.tar.gz
[*]
# cd keepalived-1.2.2
[*]
# ./configure
[*]
# make
[*]
# make install
[*]
# mkdir /etc/keepalived/
[*]
# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf




   1.3、nginx的安装和keepalived类似

   不熟悉的可参考：nginx安装及负载均衡配置 （http://sjsky.iyunv.com/blog/1156195）



   修改nginx.conf 中监听端口80->8088:



Conf代码

[*]
listen       8088;
[*]
server_namelocalhost;


    修改/usr/local/nginx/html/index.html的内容：

    192.168.8.183

Html代码

[*]
<html>
[*]
<head>
[*]
<title>Welcome to nginx!</title>
[*]
</head>
[*]
<body bgcolor=&quot;white&quot; text=&quot;black&quot;>
[*]
<center><h1>Welcome to nginx! 192.168.8.183</h1></center>
[*]
</body>
[*]
</html>


   192.168.8.150:

Html代码

[*]
<html>
[*]
<head>
[*]
<title>Welcome to nginx!</title>
[*]
</head>
[*]
<body bgcolor=&quot;white&quot; text=&quot;black&quot;>
[*]
<center><h1>Welcome to nginx! 192.168.8.150</h1></center>
[*]
</body>
[*]
</html>




   两台server（S-A,S-B）都需要安装这两款软件。



[二]、服务器层的双机热备（比如服务器宕机、keepalived宕了）



    2.1、测试要求：

       主机宕机、keepalived宕了、网络不通时，备机能自动接管，不影响VIP：192.168.8.191的访问



    2.2、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：

Conf代码

[*]
! Configuration File for keepalived
[*]

[*]
global_defs {
[*]
   notification_email {
[*]
   #admin@michael-demo.com
[*]
   }
[*]
   #notification_email_from admin@michael-demo.com
[*]
   #smtp_server 127.0.0.1
[*]
   #smtp_connect_timeout 30
[*]
   router_id LVS_DEVEL
[*]
}
[*]

[*]
vrrp_instance VI_1 {
[*]
    state MASTER
[*]
    interface eth0
[*]
    virtual_router_id 51
[*]
    priority 100
[*]
    advert_int 1
[*]
    authentication {
[*]
      auth_type PASS
[*]
      auth_pass 1111
[*]
    }
[*]
    virtual_ipaddress {
[*]
      192.168.8.191
[*]
    }
[*]
}




    2.3、Backup（S-B 192.168.8.150）配置信息/etc/keepalived/keepalived.conf：

Conf代码

[*]
! Configuration File for keepalived
[*]

[*]
global_defs {
[*]
   notification_email {
[*]
   #admin@michael-demo.com
[*]
   }
[*]
   #notification_email_from admin@michael-demo.com
[*]
   #smtp_server 127.0.0.1
[*]
   #smtp_connect_timeout 30
[*]
   router_id LVS_DEVEL
[*]
}
[*]

[*]
vrrp_instance VI_1 {
[*]
    state BACKUP
[*]
    interface eth0
[*]
    virtual_router_id 51
[*]
    priority 99
[*]
    advert_int 1
[*]
    authentication {
[*]
      auth_type PASS
[*]
      auth_pass 1111
[*]
    }
[*]
    virtual_ipaddress {
[*]
      192.168.8.191
[*]
    }
[*]
}


Tips：


[*]
state   参数值：主的是MASTER、备用的是BACKUP
[*]
priority 参数值： MASTER > BACKUP
[*]
virtual_router_id： 参数值要一样


   2.4、测试：

   两台测试机S-A、S-B均启动keepalived和nginx



   2.4.1、验证nginx启动正常：



    访问 master : http://192.168.8.183:8088/





    访问 backup: http://192.168.8.150:8088/





   2.4.2、查看keepalived的日志信息如下：

   master ：192.168.8.183





    backup：192.168.8.150





   2.4.3、浏览器打开虚拟ip访问：http://192.168.8.191:8088/





    2.4.4、kill 192.168.8.181（master) 的keepalived进程，日志信息如下：

    master ：192.168.8.183



   backup：192.168.8.150





    2.4.5、浏览器打开虚拟ip访问：http://192.168.8.191:8088/





      2.4.6、再次启动192.168.8.181的keepalived进程，192.168.8.181会自动接管成为master，192.168.8.150自动转为backup，从测试结果看，备机能成功接管，已经实现了热备。



Tips： 如果我们停掉master上的nginx进程，你会发现此时应用访问就失败了，很显然这不是我们希望看到的结果，那如何实现web应用的热备呢，在下一节中我们将详细讲述。



[三]、应用层（web）的双机热备（比如nginx进程被意外kill、web端口不通）

      3.1.主要是利用keepalived的track_script检测脚本的原理实现的。



      3.2.配置文件的修改

      3.2.1、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：

Java代码

[*]
/etc/keepalived/keepalived.conf
[*]

[*]
! Configuration File for keepalived
[*]

[*]
global_defs {
[*]
   notification_email {
[*]
   #admin@michael-demo.com
[*]
   }
[*]
   #notification_email_from admin@michael-demo.com
[*]
   #smtp_server 127.0.0.1
[*]
   #smtp_connect_timeout 30
[*]
   router_id LVS_DEVEL
[*]
}
[*]
vrrp_script chk_http_port {
[*]
      script &quot;</dev/tcp/127.0.0.1/8088&quot;
[*]
      interval 1
[*]
      weight -2
[*]
}
[*]

[*]
vrrp_instance VI_1 {
[*]
    state MASTER
[*]
    interface eth0
[*]
    virtual_router_id 51
[*]
    priority 100
[*]
    advert_int 1
[*]
    authentication {
[*]
      auth_type PASS
[*]
      auth_pass 1111
[*]
    }
[*]
    virtual_ipaddress {
[*]
      192.168.8.191
[*]
    }
[*]
    track_script {
[*]
      chk_http_port
[*]
    }
[*]
}


      3.2.2、Backup（S-B 192.168.8.150）配置文件/etc/keepalived/keepalived.conf：



Java代码

[*]
/etc/keepalived/keepalived.conf
[*]

[*]
! Configuration File for keepalived
[*]

[*]
global_defs {
[*]
   notification_email {
[*]
   #admin@michael-demo.com
[*]
   }
[*]
   #notification_email_from admin@michael-demo.com
[*]
   #smtp_server 127.0.0.1
[*]
   #smtp_connect_timeout 30
[*]
   router_id LVS_DEVEL
[*]
}
[*]
vrrp_script chk_http_port {
[*]
      script &quot;</dev/tcp/127.0.0.1/8088&quot;
[*]
      interval 1
[*]
      weight -2
[*]
}
[*]

[*]
vrrp_instance VI_1 {
[*]
    state MASTER
[*]
    interface eth0
[*]
    virtual_router_id 51
[*]
    priority 99
[*]
    advert_int 1
[*]
    authentication {
[*]
      auth_type PASS
[*]
      auth_pass 1111
[*]
    }
[*]
    virtual_ipaddress {
[*]
      192.168.8.191
[*]
    }
[*]
    track_script {
[*]
      chk_http_port
[*]
    }
[*]
}


      3.2.3、注意点（非常重要）

             1）、为什么主备的参数state都是MASTER，对的你没有看错确实要都设置成一样的，不然并不能实现我们想要的VIP漂浮的效果，我测试很久才发现的.state都设置成MASTER后，会根据priority的值大小竞争来决定谁是真正的MASTER，脚本检测也是在失败的时候会把权重减去相应的值，比如原来master（181）的priority=100，如果脚本检测到端口8088无法连接，就会priority-2=98，<
S-B（150）的priority（99），此时 S-B（150） 将竞争成为master，这样就实现了web应用的热备。

         2）、配置文件格式一定要注意，比如：track_script   {，在“track_script”和“{”之间一定要加空格 ，本来测试时少了个空格，一直无法运行检测脚本，调试了很久，非常郁闷



       3.3、测试过程和上面的过程基本一致。





本文连接：http://sjsky.iyunv.com/blog/1156403



本文主要介绍的是keepalived配合haproxy实现高可用时的配置，如果有涉及到LVS，配置就不止这么简单了，会涉及到virtual server的配置。

      Keepalived介绍

Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案，可以利用其来避免单点故障。一个服务至少会有2台服务器运行Keepalived，一台为MASTER，一台为BACKUP，对外表现为一个虚拟IP，MASTER会发送特定的消息给BACKUP，当BACKUP收不到这个消息的时候, BACKUP就会接管虚拟IP，继续提供服务，从而保证了高可用性。

VRRP协议简介

在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：

在主机上使用动态路由协议(RIP、OSPF等)

在主机上配置静态路由

配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点。

VRRP的目的就是为了解决静态路由单点故障问题。

VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

工作机制

在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如 拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址 224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对他们来 说，这种主从的切换是透明的。

在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP广告包(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到广告包)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。

由于安全性考虑，VRRP包使用了加密协议进行加密。

安装步骤

下载安装包


[*]mkdir -p /root/softwares/
[*]cd /root/softwares/
[*]wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz


安装依赖包


[*]yum install openssl openssl-devel popt -y


在所有节点安装keepalived


[*]./configure --prefix=/usr/local/keepalived
[*]make
[*]make install
[*]cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
[*]cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[*]cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
[*]mkdir -p /etc/keepalived
[*]cd /etc/keepalived/
[*]vi keepalived.conf


主节点的keepalived配置文件添加如下内容：


[*]global_defs {
[*]    notification_email {
[*]                  12346789@xx.com
[*]    }
[*]   notification_email_from admin@haproxy01.com
[*]   smtp_server xxx.xxx.xxx.xxx
[*]   smtp_connect_timeout 30
[*]   router_id haproxy01
[*]}
[*]
[*]
[*]vrrp_instance VI_1 {
[*]            state MASTER #标示状态为MASTER
[*]            interface eth0
[*]            virtual_router_id 51
[*]priority 100 #MASTER权重要高于BACKUP
[*]            advert_int 1
[*]            authentication {
[*]                  auth_type PASS #主从服务器验证方式
[*]                  auth_pass aaaaaa
[*]            }
[*]            virtual_ipaddress {
[*]      192.168.1.201
[*]            }
[*]}


备份节点keepalived配置文件添加如下内容：


[*]global_defs {
[*]   notification_email {
[*]                  12346789@xx.com
[*]   }
[*]   notification_email_from admin@haproxy01.com
[*]   smtp_server xxx.xxx.xxx.xxx
[*]   smtp_connect_timeout 30
[*]   router_id haproxy01
[*]}
[*]
[*]
[*]vrrp_instance VI_1 {
[*]            state BACKUP #标示状态为BACKUP
[*]            interface eth0
[*]            virtual_router_id 51
[*]priority 100
[*]            advert_int 1
[*]            authentication {
[*]                  auth_type PASS
[*]                  auth_pass aaaaaa
[*]            }
[*]            virtual_ipaddress {
[*]      192.168.1.201
[*]            }
[*]}


注：global_defs中定义的是报警选项，这个可以去掉

启动

在主备两个节点都启动进程。


[*]/etc/init.d/keepalived start


测试

另找一台机器，ping两个keepalived的虚拟地址192.168.1.201。然后终止MASTER节点的keepalived进程，出现断连几次又重新可以ping通的情况说明keepalived是起作用的。


[*]ping 192.168.1.201
[*]PING 192.168.1.201 (192.168.1.201): 56 data bytes
[*]64 bytes from 192.168.1.201: icmp_seq=71 ttl=64 time=0.133 ms
[*]64 bytes from 192.168.1.201: icmp_seq=72 ttl=64 time=0.201 ms
[*]64 bytes from 192.168.1.201: icmp_seq=73 ttl=64 time=0.236 ms
[*]64 bytes from 192.168.1.201: icmp_seq=74 ttl=64 time=0.154 ms
[*]Request timeout for icmp_seq 75
[*]Request timeout for icmp_seq 76
[*]Request timeout for icmp_seq 77
[*]Request timeout for icmp_seq 78
[*]64 bytes from 192.168.1.201: icmp_seq=79 ttl=64 time=0.236 ms
[*]64 bytes from 192.168.1.201: icmp_seq=80 ttl=64 time=0.154 ms


报错解决



问题一： 080/100308 (6028) : Starting proxy test-webservers: cannot bind socket

错误原因：端口被占用，需要修改一下端口，在这里提示一下，最好用比较纯洁的系统来运行keepalived&#43;haproxy，尽量避免端口占用的问题。因为当架构中有多个haproxy节点的时候，修改起来比较麻烦。（脚本批量修改的人除外，不过写脚本也是时间呀…）



问题二：切换keepalived节点后，需要清楚浏览器cookie才能正常访问。

原因：haproxy配置中，设置了cookie相关的选项，如下：

cookie SERVERID insert indirect nocache

#capture cookie ASPSESSION len 32

但是对于捕获cookie信息的定义给注释掉了。解决办法有两个，一个是把cookie SERVERID insert indirect nocache这一行也注释掉；另一个方法是去掉#capture cookie ASPSESSION len 32的注释。



问题三：网络不可达。



原因：keepalived如果在设置IP时不设置掩码，会使用默认掩码。此例中192段私网地址的默认掩码是255.255.255.0（24），而公网地址的默认掩码是255.255.255.255（32）。公网的默认掩码可能与要使用的公网地址掩码不匹配。导致网络不畅。

解决办法：在配置地址时，配置上子网掩码，如下（标红部分）：


[*]virtual_ipaddress {
[*] 192.168.1.201/24

[*]}
页: [1]
查看完整版本: keepalived实践