Keepalived的相关应用，使用keepalived实现nginx和lvs的高可用负载均衡器
使用keepalived实现HA Cluster集群，下面以示例来演示keepalived的使用和keepalived的相关知识HA Cluster配置前提：
1、本机的主机名，要与hostname(uname-n)获得的名称保持一致；
CentOS6: /etc/sysconfig/network
CentOS7: hostnamectl set-hostname HOSTNAME
各节点要能互相解析主机名；一般建议通过hosts文件进行解析；
修改主机名为centos7和centos6.1.com，然后修改hosts文件，能让两边能相互解析到
2、各节点时间同步；ntpdate172.16.249.195把这个主机当成时间服务器，然后进行时间同步
设置ntp时间同步服务器
修改/etc/ntp.conf文件
内容如下：
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 172.16.0.0 mask 255.255.0.0nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 8
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
disable monitor
3、确保iptables及selinux不会成为服务阻碍；
nopreempt：非抢占模式；默认为抢占模式；
在调度器上，首先安装keepalived程序，然后把时间同步成一样的
ntpdate 172.16.249.195
http://s3.运维网.com/wyfs02/M00/75/5E/wKioL1Y4Gu6hqeUVAABwYmLImJw270.jpg
检查iptables和selinux是否开启了
然后在CentOS7中进行实验
yum installkeepalived
用两台机器一台CentOS7，一台CentOS6看是否有问题
CentOS7中
修改位置文件（/etc/keepalived/keepalived.conf）
首先把“virtual_server 192.168.200.100 443 {”这一行以下的全部注释掉
然后修改内容如下
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4GwWSycR2AAE5DesXdDc213.jpg
为了完整，把这后面的信息补全
http://s3.运维网.com/wyfs02/M02/75/61/wKiom1Y4GtfhhqrKAAA56HEzVCg964.jpg
然后复制这个文件到另一个主机
scp keepalived.conf 172.16.249.147:/etc/keepalived/
然后稍微修改下
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4Guew7X4AAAE7fHvzgkE440.jpg
这样就可以了，这样就可以启动测试了
systemctl start keepalived.service;ssh172.16.249.147 'servicekeepalivedstart'因为我使用的是一个centos7和一个centos6，所以前后的启动命令不一样，如果使用的是同样的就不需这样了
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4GwqyvPe4AACw1RbcmJQ056.jpg
使用ps aux查看keepalived是否启动
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4G0egzOfxAADpxwAchlY677.jpg
然后在centos7上使用ifconfig进行查看，可以看到地址加上来了
http://s3.运维网.com/wyfs02/M00/75/5E/wKioL1Y4G1qydiYtAAL4i_wYAgo928.jpg
然后我们把centos7下的keepalived关闭，然后查看地址
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4G26wijKuAAK1eXIf0VA181.jpg
地址没有了，去centos6上查看会发现地址在6上看，这就是高可用了，就是当一台负载均衡器下线时，另一台能立即启用，实现高可用
http://s3.运维网.com/wyfs02/M00/75/61/wKiom1Y4Gz-B3lc3AALmzbA2ov0575.jpg
没有日志信息，我们自己定义一个
首先修改/etc/sysconfig/keepalived这个文件，
http://s3.运维网.com/wyfs02/M00/75/61/wKiom1Y4G5XBTx90AAAcfvEZUgo658.jpg
然后修改/etc/rsyslog.conf这个文件
http://s3.运维网.com/wyfs02/M02/75/5E/wKioL1Y4G9KRfvJYAABqGs-7iOU027.jpg
然后使用systemctl restart rsyslog.service重启日志服务
另一个主机同样修改重启日志服务使用（service rsyslog restart）
然后重启keepalived服务查看日志就有了
然后做两个虚拟路由，即双主模式
修改keepalived的配置文件,增加下面一段
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4HCvz-Iq_AADnHKo9_6A634.jpg
然后另一台主机修改keepalived的配置文件为下面一段
http://s3.运维网.com/wyfs02/M02/75/61/wKiom1Y4G-_wseoYAAC6wJ3iFfU746.jpg
然后重启服务就可以查看了（如果因为网络环境比较复杂的话，等的时间可能要长一点）
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4HAvQbHIHAALuCEPHGfE617.jpg
http://s3.运维网.com/wyfs02/M02/75/61/wKiom1Y4HCCDpXOqAALTVsmVTE8125.jpg
如果停掉一台的keepalived服务，另一台会包括所有的地址
http://s3.运维网.com/wyfs02/M02/75/5E/wKioL1Y4HHCCFnyVAANk01OTMTY410.jpg
这样停服务在生产中，是不行的，下面来添加脚本实现动态切换
修改配置文件，添加下面配置
这一段要加在vrrp_instance 字段外面
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4HFyCs6n8AABXusaVBN0512.jpg
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4HJjSsixZAABddcm2SoA300.jpg
另一个主机也做这样的配置
http://s3.运维网.com/wyfs02/M02/75/61/wKiom1Y4HFzxXHcIAAE-zcDxJ-c405.jpg
这就可以启用了
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4HPOhTU5DAAHt-pc7m-E567.jpg
http://s3.运维网.com/wyfs02/M02/75/5E/wKioL1Y4HS-Az_UzAAHc_ATHw2Q943.jpg
然后在172.16.249.195的/etc/keepalived目录下创建一个down文件，然后查看地址
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4HTuQXAFhAAKFO5OQqaw317.jpg
另一台主机上就有两个地址了
http://s3.运维网.com/wyfs02/M01/75/5E/wKioL1Y4HZaCmaxkAAJY0w7-8Rk193.jpg
定义邮件的发送，需要自行定义，需要自己写一个脚本
脚本内容：
#!/bin/bash
#Author: MageEdu
#description: An example of notify script
#
vip=172.16.100.88
contact='root@localhost'
notify(){
mailsubject="`hostname` to be $1: $vipfloating"
mailbody="`date '+%F %H:%M:%S'`: vrrptransition, `hostname` changed to be $1"
echo $mailbody | mail -s"$mailsubject" $contact
}
case"$1" in
master)
notify master
exit 0
;;
backup)
notify backup
exit 0
;;
fault)
notify fault
exit 0
;;
*)
echo 'Usage: `basename $0`{master|backup|fault}'
exit 1
;;
esac
在/etc/keepalived/目录下创建一个名为notify.sh的脚本
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4HkHhNATaAAHT_K6cAYY275.jpg
给这个脚本一个执行权限chmod +x notify.sh
配置文件中vrrp_instance VI_1这一段里写入下面三行
notify_master"/etc/keepalived/notify.sh master"
notify_backup"/etc/keepalived/notify.sh backup"
notify_fault"/etc/keepalived/notify.shfault"
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4HlzgYG21AAFBMQlRG10146.jpg
验证下，
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4HlyC-VlwAAH1BI2QwyY270.jpg
然后把这个脚本复制到另一个负载均衡器上，然后修改配置文件
scp -rp notify.sh172.16.249.147:/etc/keepalived/
这样邮件的发送就弄好了
另一个虚拟路由就不再演示了，跟这个步骤一样
我们加入lvs和nginx来实现高可用的负载均衡器的实现（做的是双主模型）
下面先以lvs做负载均衡器，进行高可用负载均衡，以lvs的DR模式为例，规划如下
http://s3.运维网.com/wyfs02/M00/75/61/wKiom1Y4HoeCOMCfAAFC1UUxTuo026.jpg
首先两个RS打开web服务，配好测试页，访问测试以下，没问题了，
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4Ht6DevPdAABq42lFduk308.jpg http://s3.运维网.com/wyfs02/M02/75/61/wKiom1Y4Hq3Tr_0zAABXMmmpUHQ836.jpg
然后配置第一个Director（负载均衡器），安装ipvsadm，配置lvs规则（如果不会配置可以上网搜索，或者查看本人的lvs的博客），首先测试是能正常工作的
首先加入VIP，
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4HxfwjAuAAAMQhuaD9Z0434.jpg
用其他主机ping测试一下，这个地址通不通，通了就没问题了，就差lvs规则了，
然后配置两个RS，首先配置arp_ignore和arp_annoce，然后配置VIP和路由
写一个脚本实现一些功能，然后直接在两台RS上运行一下，就可以了
http://s3.运维网.com/wyfs02/M01/75/61/wKiom1Y4H2bDlYPNAAFnp-OkKdg130.jpg
然后 bashset.shstart然后cat看一下是否成功了；把这个脚本复制给另一台RS执行一次
然后添加地址和路由
ifconfig lo:0 172.16.249.18 netmask255.255.255.255 broadcast 172.16.249.18
route add -host 172.16.249.18 dev lo:0
ifconfig lo:1 172.16.249.19 netmask255.255.255.255 broadcast 172.16.249.19
route add -host 172.16.249.19 dev lo:1
另一台RS也添加地址和路由
ifconfig lo:0 172.16.249.18 netmask255.255.255.255 broadcast 172.16.249.18
route add -host 172.16.249.18 dev lo:0
ifconfig lo:1 172.16.249.19 netmask255.255.255.255 broadcast 172.16.249.19
route add -host 172.16.249.19 dev lo:1
因为做的是两个虚拟路由器的即双主的，就是通过DNS在前面分流，一部分走172.16.249.18这个地址一部分走172.16.249.19，所以RS要配置两个VIP
然后RS的配置就做完了，然后回到Director上写入ipvs规则
ipvsadm -A -t 172.16.249.18:80 -s rr
ipvsadm -a -t 172.16.249.18:80 -r172.16.249.116 -g
ipvsadm -a -t 172.16.249.18:80 -r172.16.249.123 -g
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4IFfjJZqyAAFYKMAU1t4655.jpg
然后测试是否能正常轮调
如果用物理机的浏览器访问不轮调，是网络的影响，开一个虚拟机进行测试，如果没有问题，就证明lvs的dr模式的负载均衡做好了
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4IImhg353AADyjhCKJiE221.jpg
另一台lvs服务器也做一下这个规则，然后测试一下，证明lvs的负载均衡没有问题了
然后我们把lvs服务器上的规则清掉，地址删除
然后在两台lvs上做sorryserver 启动httpd服务，然后写一个页面，然后访问
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4IMqQVtJZAACrVfwPB5c193.jpg
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4INWyygzbAACF_NfGYnw858.jpg
测试没问题，就可以了
下面做keepalived高可用的负载均衡器（安装keepalived）
直接做成两台虚拟路由器的，
修改第一台lvs主机的keepalived的配置文件如下
global_defs {
notification_email {
root@localhost
}
notification_email_from kaadmin@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id centos7
}
vrrp_script chk_schedown {
script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
interval 1
weight -2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 5b03429a7cf5
}
virtual_ipaddress {
172.16.249.18/16dev eth0 label eth0:0
}
track_script {
chk_schedown
}
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 61
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 20b662c6c06d
}
virtual_ipaddress {
172.16.249.19/16dev eth0 label eth0:1
}
}
virtual_server 172.16.249.18 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
nat_mask 255.255.0.0
protocol TCP
real_server 172.16.249.116 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.249.123 80 {
weight 2
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 172.16.249.19 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
nat_mask 255.255.0.0
protocol TCP
real_server 172.16.249.116 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.249.123 80 {
weight 2
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
然后配置另一台lvs主机中的的keepalived如下：
global_defs {
notification_email {
root@localhost
}
notification_email_from kaadmin@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id centos6.1.com
}
vrrp_script chk_schedown {
script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
interval 1
weight -2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 5b03429a7cf5
}
virtual_ipaddress {
172.16.249.18/16dev eth0 label eth0:0
}
track_script {
chk_schedown
}
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
}
vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 61
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 20b662c6c06d
}
virtual_ipaddress {
172.16.249.19/16 dev eth0 label eth0:1
}
}
virtual_server 172.16.249.18 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
nat_mask 255.255.0.0
protocol TCP
real_server 172.16.249.116 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.249.123 80 {
weight 2
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 172.16.249.19 80 {
delay_loop 6
lb_algo wrr
lb_kind DR
nat_mask 255.255.0.0
protocol TCP
real_server 172.16.249.116 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.16.249.123 80 {
weight 2
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
这只在第一个虚拟路由器中做脚本，第二个没有做，要想做了，跟第一个的一样
然后就可以启动keepalived服务了
http://s3.运维网.com/wyfs02/M00/75/62/wKiom1Y4ITLTB3ksAANMzwYRpMY018.jpg
http://s3.运维网.com/wyfs02/M01/75/62/wKiom1Y4IULDNJSiAAL5_02um8o844.jpg
然后访问测试一下
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4Iajzo3eYAAGJNcA4D_0622.jpg
http://s3.运维网.com/wyfs02/M00/75/62/wKiom1Y4IWvByU3EAAED5zLsCNk205.jpg
可以看到两个地址都能负载均衡
下面让一台lvs的keepalived下线
http://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4IajzhGVnAAJ-Sb7p3vM227.jpg
http://s3.运维网.com/wyfs02/M01/75/62/wKiom1Y4IbaD9bS3AANzP7esvfI737.jpg
这样两个地址都在一台lvs上了，访问测试下
http://s3.运维网.com/wyfs02/M01/75/5F/wKioL1Y4IhSD2QK4AAFl1BtKaro899.jpg
可以看到也没有问题，
如果把一台RS下线，所有请求就都在一个RS上了；如果RS都下线，sorryserver就可以发挥作用了。（这里不再演示了）
这样高可用的lvs的负载均衡就做好了
下面做下nginx的高可用的负载均衡，就是用nginx做负载均衡器
使用nginx做负载均衡器，架构如下：
http://s3.运维网.com/wyfs02/M00/75/62/wKiom1Y4If2zguckAAD6LIeCoPc151.jpg
安装nginx，然后启动起来，配置成负载均衡服务器
修改/etc/nginx/nginx.conf
http://s3.运维网.com/wyfs02/M02/75/62/wKiom1Y4IjKi1KVgAAEzNiXMW_Q526.jpg
另一台负载均衡器同样这样配置
然后修改这一台nginx的keepalived的配置文件
global_defs {
notification_email {
root@localhost
}
notification_email_from kaadmin@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id centos7
}
vrrp_script chk_nginx {
script "killall -0 nginx &> /dev/null"
interval 1
weight -10
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 5b03429a7cf5
}
virtual_ipaddress {
172.16.249.18/16dev eth0 label eth0:0
}
track_script {
chk_nginx
}
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault
}
另一台nginx的keepalived配置文件为
global_defs {
notification_email {
root@localhost
}
notification_email_from kaadmin@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id centos6.1.com
}
vrrp_script chk_nginx {
script "killall -0 nginx &> /dev/null"
interval 1
weight -10
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 5b03429a7cf5
}
virtual_ipaddress {
172.16.249.18/16dev eth0 label eth0:0
}
track_script {
chk_nginx
}
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"
}
然后启动keepalived
http://s3.运维网.com/wyfs02/M01/75/62/wKiom1Y4Ip_gjmnYAANC73yk2r4583.jpg
可以看到地址配好了，测试下
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4IwWCXltCAABha9egJvI021.jpghttp://s3.运维网.com/wyfs02/M00/75/62/wKiom1Y4IsmTmaZmAABnw6J0Z74905.jpg
可以看到做好了，然后把一台nginx的nginx服务停掉，看另一台能否上线
http://s3.运维网.com/wyfs02/M00/75/62/wKiom1Y4I1CgJl59AAJh9TSIfS8280.jpghttp://s3.运维网.com/wyfs02/M00/75/5F/wKioL1Y4I0HjGZWVAALm0ip3OJQ642.jpg
访问也没有问题，这样nginx的高可用就做好了，
做双主模式的，只需要在keepalived配置文件里加入下面这些内容就行了
第一台（172.16.249.195）
http://s3.运维网.com/wyfs02/M01/75/62/wKiom1Y4I6qywULkAAE0MCOdBdI391.jpg
第二台（172.16.249.147）
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4I-ex_60BAAE1cPGa6oM321.jpg
然后重启keepalived服务
查看ip
http://s3.运维网.com/wyfs02/M01/75/62/wKiom1Y4I9bCTnBCAAMXkqDBWdo706.jpghttp://s3.运维网.com/wyfs02/M01/75/5F/wKioL1Y4JBOTg3BeAAL3t2WQimI535.jpg
访问测试，
http://s3.运维网.com/wyfs02/M02/75/62/wKiom1Y4JBaxjldlAADd5ZpaaUc687.jpg
让一台的nginx服务停掉
http://s3.运维网.com/wyfs02/M02/75/5F/wKioL1Y4JFOiDUsJAANk7xAYh58891.jpg
可以看到能正常切换，这样nginx高可用的双主模式就做好了
页:
[1]