keepalived实践

hwl198212 · 发表于 2015-11-19 13:53:58

转载 Michael's blog @ http://sjsky.iyunv.com

  keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

      官网地址：http://www.keepalived.org/

      截止目前最新版本1.2.2 附件提供下载：keepalived-1.2.2.tar.gz

      keepalived 中文权威指南：KEEPALIVED权威指南_中文_.pdf

本文目录：

[一]、实验环境介绍
[二]、服务器层的双机热备（比如服务器宕机、keepalived宕、网络不通）
[三]、应用层（web）的双机热备（比如web应用端口不通、 nginx进程被意外kill ）

[一]、实验环境介绍

1.1、软件信息：

S-A 192.168.8.183 centos5 keepalived nginx
S-B 192.168.8.150 centos5 keepalived nginx
VirtualIP (虚拟IP)：192.168.8.191

1.2、keepalived 标准的安装步骤：

Shell代码

# tar -zxvf keepalived-1.2.2.tar.gz
# cd keepalived-1.2.2
# ./configure
# make
# make install
# mkdir /etc/keepalived/
# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf

1.3、nginx的安装和keepalived类似

   不熟悉的可参考：nginx安装及负载均衡配置（http://sjsky.iyunv.com/blog/1156195）

   修改nginx.conf 中监听端口80->8088:

Conf代码

listen 8088;
server_name localhost;

修改/usr/local/nginx/html/index.html的内容：

192.168.8.183

Html代码

<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body bgcolor="white" text="black">
<center><h1>Welcome to nginx! 192.168.8.183</h1></center>
</body>
</html>

192.168.8.150:

Html代码

<html>
<head>
<title>Welcome to nginx!</title>
</head>
<body bgcolor="white" text="black">
<center><h1>Welcome to nginx! 192.168.8.150</h1></center>
</body>
</html>

两台server（S-A,S-B）都需要安装这两款软件。

[二]、服务器层的双机热备（比如服务器宕机、keepalived宕了）

2.1、测试要求：

主机宕机、keepalived宕了、网络不通时，备机能自动接管，不影响VIP：192.168.8.191的访问

2.2、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：

Conf代码

! Configuration File for keepalived
global_defs {
notification_email {
#admin@michael-demo.com
}
#notification_email_from admin@michael-demo.com
#smtp_server 127.0.0.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.8.191
}
}

2.3、Backup（S-B 192.168.8.150）配置信息/etc/keepalived/keepalived.conf：

Conf代码

! Configuration File for keepalived
global_defs {
notification_email {
#admin@michael-demo.com
}
#notification_email_from admin@michael-demo.com
#smtp_server 127.0.0.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.8.191
}
}

Tips：

state 参数值：主的是MASTER、备用的是BACKUP
priority 参数值： MASTER > BACKUP
virtual_router_id：参数值要一样

2.4、测试：

两台测试机S-A、S-B均启动keepalived和nginx

2.4.1、验证nginx启动正常：

访问 master : http://192.168.8.183:8088/

访问 backup: http://192.168.8.150:8088/

2.4.2、查看keepalived的日志信息如下：

master ：192.168.8.183

backup：192.168.8.150

2.4.3、浏览器打开虚拟ip访问：http://192.168.8.191:8088/

2.4.4、kill 192.168.8.181（master) 的keepalived进程，日志信息如下：

master ：192.168.8.183

backup：192.168.8.150

2.4.5、浏览器打开虚拟ip访问：http://192.168.8.191:8088/

   2.4.6、再次启动192.168.8.181的keepalived进程，192.168.8.181会自动接管成为master，192.168.8.150自动转为backup，从测试结果看，备机能成功接管，已经实现了热备。

Tips： 如果我们停掉master上的nginx进程，你会发现此时应用访问就失败了，很显然这不是我们希望看到的结果，那如何实现web应用的热备呢，在下一节中我们将详细讲述。

[三]、应用层（web）的双机热备（比如nginx进程被意外kill、web端口不通）

   3.1.主要是利用keepalived的track_script检测脚本的原理实现的。

   3.2.配置文件的修改

      3.2.1、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：

Java代码

/etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
#admin@michael-demo.com
}
#notification_email_from admin@michael-demo.com
#smtp_server 127.0.0.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_http_port {
script "</dev/tcp/127.0.0.1/8088"
interval 1
weight -2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.8.191
}
track_script {
chk_http_port
}
}

3.2.2、Backup（S-B 192.168.8.150）配置文件/etc/keepalived/keepalived.conf：

Java代码

/etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
#admin@michael-demo.com
}
#notification_email_from admin@michael-demo.com
#smtp_server 127.0.0.1
#smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_http_port {
script "</dev/tcp/127.0.0.1/8088"
interval 1
weight -2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.8.191
}
track_script {
chk_http_port
}
}

      3.2.3、注意点（非常重要）

         1）、为什么主备的参数state都是MASTER，对的你没有看错确实要都设置成一样的，不然并不能实现我们想要的VIP漂浮的效果，我测试很久才发现的.state都设置成MASTER后，会根据priority的值大小竞争来决定谁是真正的MASTER，脚本检测也是在失败的时候会把权重减去相应的值，比如原来master（181）的priority=100，如果脚本检测到端口8088无法连接，就会priority-2=98，<
S-B（150）的priority（99），此时 S-B（150）将竞争成为master，这样就实现了web应用的热备。

         2）、配置文件格式一定要注意，比如：track_script {，在“track_script”和“{”之间一定要加空格 ，本来测试时少了个空格，一直无法运行检测脚本，调试了很久，非常郁闷

   3.3、测试过程和上面的过程基本一致。

本文连接：http://sjsky.iyunv.com/blog/1156403

  本文主要介绍的是keepalived配合haproxy实现高可用时的配置，如果有涉及到LVS，配置就不止这么简单了，会涉及到virtual server的配置。

      Keepalived介绍

Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案，可以利用其来避免单点故障。一个服务至少会有2台服务器运行Keepalived，一台为MASTER，一台为BACKUP，对外表现为一个虚拟IP，MASTER会发送特定的消息给BACKUP，当BACKUP收不到这个消息的时候, BACKUP就会接管虚拟IP，继续提供服务，从而保证了高可用性。

VRRP协议简介

在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：

在主机上使用动态路由协议(RIP、OSPF等)

在主机上配置静态路由

配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点。

VRRP的目的就是为了解决静态路由单点故障问题。

VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

工作机制

在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址 224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对他们来说，这种主从的切换是透明的。

在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP广告包(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到广告包)，多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。

由于安全性考虑，VRRP包使用了加密协议进行加密。

安装步骤

下载安装包

mkdir -p /root/softwares/
cd /root/softwares/
wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz

安装依赖包

yum install openssl openssl-devel popt -y

在所有节点安装keepalived

./configure --prefix=/usr/local/keepalived
make
make install
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
mkdir -p /etc/keepalived
cd /etc/keepalived/
vi keepalived.conf

主节点的keepalived配置文件添加如下内容：

global_defs {
notification_email {
12346789@xx.com
}
notification_email_from admin@haproxy01.com
smtp_server xxx.xxx.xxx.xxx
smtp_connect_timeout 30
router_id haproxy01
}
vrrp_instance VI_1 {
state MASTER #标示状态为MASTER
interface eth0
virtual_router_id 51
priority 100 #MASTER权重要高于BACKUP
advert_int 1
authentication {
auth_type PASS #主从服务器验证方式
auth_pass aaaaaa
}
virtual_ipaddress {
192.168.1.201
}
}

备份节点keepalived配置文件添加如下内容：

global_defs {
notification_email {
12346789@xx.com
}
notification_email_from admin@haproxy01.com
smtp_server xxx.xxx.xxx.xxx
smtp_connect_timeout 30
router_id haproxy01
}
vrrp_instance VI_1 {
state BACKUP #标示状态为BACKUP
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aaaaaa
}
virtual_ipaddress {
192.168.1.201
}
}

注：global_defs中定义的是报警选项，这个可以去掉

启动

在主备两个节点都启动进程。

/etc/init.d/keepalived start

测试

另找一台机器，ping两个keepalived的虚拟地址192.168.1.201。然后终止MASTER节点的keepalived进程，出现断连几次又重新可以ping通的情况说明keepalived是起作用的。

ping 192.168.1.201
PING 192.168.1.201 (192.168.1.201): 56 data bytes
64 bytes from 192.168.1.201: icmp_seq=71 ttl=64 time=0.133 ms
64 bytes from 192.168.1.201: icmp_seq=72 ttl=64 time=0.201 ms
64 bytes from 192.168.1.201: icmp_seq=73 ttl=64 time=0.236 ms
64 bytes from 192.168.1.201: icmp_seq=74 ttl=64 time=0.154 ms
Request timeout for icmp_seq 75
Request timeout for icmp_seq 76
Request timeout for icmp_seq 77
Request timeout for icmp_seq 78
64 bytes from 192.168.1.201: icmp_seq=79 ttl=64 time=0.236 ms
64 bytes from 192.168.1.201: icmp_seq=80 ttl=64 time=0.154 ms

报错解决

问题一：[ALERT] 080/100308 (6028) : Starting proxy test-webservers: cannot bind socket

错误原因：端口被占用，需要修改一下端口，在这里提示一下，最好用比较纯洁的系统来运行keepalived+haproxy，尽量避免端口占用的问题。因为当架构中有多个haproxy节点的时候，修改起来比较麻烦。（脚本批量修改的人除外，不过写脚本也是时间呀…）

问题二：切换keepalived节点后，需要清楚浏览器cookie才能正常访问。

原因：haproxy配置中，设置了cookie相关的选项，如下：

cookie SERVERID insert indirect nocache

#capture cookie ASPSESSION len 32

但是对于捕获cookie信息的定义给注释掉了。解决办法有两个，一个是把cookie SERVERID insert indirect nocache这一行也注释掉；另一个方法是去掉#capture cookie ASPSESSION len 32的注释。

问题三：网络不可达。

原因：keepalived如果在设置IP时不设置掩码，会使用默认掩码。此例中192段私网地址的默认掩码是255.255.255.0（24），而公网地址的默认掩码是255.255.255.255（32）。公网的默认掩码可能与要使用的公网地址掩码不匹配。导致网络不畅。

解决办法：在配置地址时，配置上子网掩码，如下（标红部分）：

virtual_ipaddress {
192.168.1.201/24
}

账号		自动登录	找回密码
密码			立即注册

wirelessnetview好用的无线分析工具

亿图图示专家(EDraw Max) V7.9 中文破解版

zabbix3.4.1安装部署+微信推送信息+大屏显

Red Hat OpenShift I: Containers & Kubern

2025 年，C++ 还能“硬核”多久？

RH199 RHCSA Rapid Track

Red Hat RHCE 8 (EX294) Cert Guide

[经验分享] keepalived实践

浏览过的版块

扫码加入运维网微信交流群