设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 996|回复: 0

[经验分享] keepalived + lvs 高可用负载均衡

[复制链接]
xiguaqq20

尚未签到
发表于 2018-12-29 09:17:27 | 显示全部楼层 |阅读模式
主分发器设置
　　安装keepalived和nginx
yum install -y keepalived
yum install -y nginx
关闭防火墙和SELinux
systemctl stop firewalld
setenforce 0
配置网卡ens33

[root@lynn-04 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.116
NETMASK=255.255.255.0
GATEWAY=192.168.130.2
DNS1=119.29.29.29
　　编辑/etc/keepalived/keepalived.conf
写入如下内容：

[root@lynn-04 ~]# vim /etc/keepalived/keepalived.conf
script "/usr/local/sbin/check_ng.sh"
interval 3
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux>com
}
virtual_ipaddress {
192.168.130.100
}
track_script {
chk_nginx
}
}
virtual_server 192.168.130.100 80 {
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的连接0秒内被分配到同一台realserver)
persistence_timeout 0
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.130.118 80 {
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.130.119 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
　　定义监控脚本/usr/local/sbin/check_ng.sh

[root@lynn-04 ~]# vim /usr/local/sbin/check_ng.sh
　　写入下面内容

#!/bin/bash
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
/etc/init.d/nginx start
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0"  ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
systemctl stop keepalived
fi
fi
　　更改/usr/local/sbin/check_ng.sh权限

[root@lynn-04 ~]# chmod 755 /usr/local/sbin/check_ng.sh
　　编写脚本 /usr/local/sbin/lvs_dr.sh

[root@lynn-04 ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.130.100
rs1=192.168.130.118
rs2=192.168.130.119
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
　　执行脚本 /usr/local/sbin/lvs_dr.sh

[root@lynn-04 ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
　　启动keepalived

[root@lynn-04 ~]# systemctl start keepalived
[root@lynn-04 ~]# ps aux |grep keepalived
root       2190  0.1  0.1 120740  1404 ?        Ss   14:33   0:00 /usr/sbin/keepalived -D
root       2191  0.1  0.3 127480  3336 ?        S    14:33   0:00 /usr/sbin/keepalived -D
root       2192  0.0  0.3 131780  3108 ?        S    14:33   0:00 /usr/sbin/keepalived -D
root       2206  0.0  0.0 112676   988 pts/0    S+   14:33   0:00 grep --color=auto keepalived
　　启动nginx

[root@lynn-04 ~]# /etc/init.d/nginx start
[root@lynn-04 ~]# ps aux |grep nginx
root        912  0.0  0.1  45988  1240 ?        Ss   08:06   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody      913  0.0  0.4  48476  4388 ?        S    08:06   0:00 nginx: worker process
nobody      915  0.0  0.4  48476  4392 ?        S    08:06   0:00 nginx: worker process
root       2072  0.0  0.0 112680   980 pts/0    S+   10:23   0:00 grep --color=auto nginx
　　把nginx的默认页做个标记

[root@lynn-04 ~]# echo master > /data/wwwroot/default/index.html
　　在另一台机器使用从ip访问
得到下面结果

[root@lynn-02 ~]# curl 192.168.130.116
master
从分发器设置
　　安装keepalived和nginx
yum install -y keepalived
yum install -y nginx
关闭防火墙和SELinux
systemctl stop firewalld
setenforce 0
配置网卡ens33

[root@lynn-06 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=fef8a686-6a1e-49bc-b03e-7797fc4c58bb
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.128
NETMASK=255.255.255.0
GATEWAY=192.168.130.2
DNS1=119.29.29.29
　　编辑/etc/keepalived/keepalived.conf
写入如下内容：

[root@lynn-06 ~]# vim /etc/keepalived/keepalived.conf
interval 3
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass aminglinux>com
}
virtual_ipaddress {
192.168.130.100
}
track_script {
chk_nginx
}
}
virtual_server 192.168.130.100 80 {
#(每隔10秒查询realserver状态)
delay_loop 10
#(lvs 算法)
lb_algo wlc
#(DR模式)
lb_kind DR
#(同一IP的连接0秒内被分配到同一台realserver)
persistence_timeout 0
#(用TCP协议检查realserver状态)
protocol TCP
real_server 192.168.130.118 80 {
#(权重)
weight 100
TCP_CHECK {
#(10秒无响应超时)
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.130.119 80 {
weight 100
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
　　定义监控脚本/usr/local/sbin/check_ng.sh

[root@lynn-06 ~]# vim /usr/local/sbin/check_ng.sh
#时间变量，用于记录日志
d=`date --date today +%Y%m%d_%H:%M:%S`
#计算nginx进程数量
n=`ps -C nginx --no-heading|wc -l`
#如果进程为0，则启动nginx，并且再次检测nginx进程数量，
#如果还为0，说明nginx无法启动，此时需要关闭keepalived
if [ $n -eq "0" ]; then
systemctl start nginx
n2=`ps -C nginx --no-heading|wc -l`
if [ $n2 -eq "0"  ]; then
echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
systemctl stop keepalived
fi
fi
　　更改/usr/local/sbin/check_ng.sh权限

[root@lynn-06 ~]# chmod 755 /usr/local/sbin/check_ng.sh
　　编写脚本 /usr/local/sbin/lvs_dr.sh

[root@lynn-06 ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.130.100
rs1=192.168.130.118
rs2=192.168.130.119
#注意这里的网卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
　　执行脚本 /usr/local/sbin/lvs_dr.sh

[root@lynn-06 ~]# sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/4）
　　启动keepalived

[root@lynn-06 ~]# systemctl start keepalived
[root@lynn-06 ~]# ps aux |grep keepalived
root       2190  0.1  0.1 120740  1404 ?        Ss   14:33   0:00 /usr/sbin/keepalived -D
root       2191  0.1  0.3 127480  3336 ?        S    14:33   0:00 /usr/sbin/keepalived -D
root       2192  0.0  0.3 131780  3108 ?        S    14:33   0:00 /usr/sbin/keepalived -D
root       2206  0.0  0.0 112676   988 pts/0    S+   14:33   0:00 grep --color=auto keepalived
　　启动nginx

[root@lynn-06 ~]# systemctl start nginx
[root@lynn-06 ~]# ps aux |grep nginx
root        912  0.0  0.1  45988  1240 ?        Ss   08:06   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody      913  0.0  0.4  48476  4388 ?        S    08:06   0:00 nginx: worker process
nobody      915  0.0  0.4  48476  4392 ?        S    08:06   0:00 nginx: worker process
root       2072  0.0  0.0 112680   980 pts/0    S+   10:23   0:00 grep --color=auto nginx
　　把nginx的默认页做个标记

[root@lynn-06 ~]# echo backup > /usr/share/nginx/html/index.html
　　在另一台机器使用从ip访问
得到下面结果

[root@lynn-02 ~]# curl 192.168.130.128
backup
rs1设置
　　安装nginx
yum install -y nginx
关闭防火墙和SELinux
systemctl stop firewalld
setenforce 0
配置网卡ens33

[root@lynn-05 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.118
NETMASK=255.255.255.0
GATEWAY=192.168.130.2
DNS1=119.29.29.29
　　编写脚本/usr/local/sbin/lvs_rs.sh

[root@lynn-05 ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.130.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　执行脚本/usr/local/sbin/lvs_rs.sh

[root@lynn-05 ~]# sh /usr/local/sbin/lvs_rs.sh
　　启动nginx

[root@lynn-05 ~]# systemctl start nginx
[root@lynn-05 ~]# ps aux |grep nginx
root        995  0.0  0.2 122908  2236 ?        Ss   14:29   0:00 nginx: master process /usr/sbin/nginx
nginx       996  0.0  0.3 123292  3136 ?        S    14:29   0:00 nginx: worker process
nginx       997  0.0  0.3 123292  3136 ?        S    14:29   0:00 nginx: worker process
nginx       998  0.0  0.3 123292  3136 ?        S    14:29   0:00 nginx: worker process
nginx       999  0.0  0.3 123292  3136 ?        S    14:29   0:00 nginx: worker process
root       1006  0.0  0.0 112676   980 pts/0    R+   14:30   0:00 grep --color=auto nginx
　　把nginx的默认页做个标记

[root@lynn-05 ~]# echo This is lynn-05 > /usr/share/nginx/html/index.html
　　在另一台机器使用从ip访问
得到下面结果

[root@lynn-02 ~]# curl 192.168.130.118
This is lynn-05
rs2设置
　　安装nginx
yum install -y nginx
关闭防火墙和SELinux
systemctl stop firewalld
setenforce 0
配置网卡ens33

[root@lynn-07 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.119
NETMASK=255.255.255.0
GATEWAY=192.168.130.2
DNS1=119.29.29.29
　　编写脚本/usr/local/sbin/lvs_rs.sh

[root@lynn-07 ~]# vim /usr/local/sbin/lvs_rs.sh
#/bin/bash
vip=192.168.130.100
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　执行脚本/usr/local/sbin/lvs_rs.sh

[root@lynn-07 ~]# sh /usr/local/sbin/lvs_rs.sh
　　启动nginx

[root@lynn-07 ~]# systemctl start nginx
[root@lynn-07 ~]# ps aux |grep nginx
root        990  0.0  0.2 122908  2244 ?        Ss   14:30   0:00 nginx: master process /usr/sbin/nginx
nginx       991  0.0  0.3 123292  3144 ?        S    14:30   0:00 nginx: worker process
nginx       992  0.0  0.3 123292  3144 ?        S    14:30   0:00 nginx: worker process
nginx       993  0.0  0.3 123292  3144 ?        S    14:30   0:00 nginx: worker process
nginx       994  0.0  0.3 123292  3144 ?        S    14:30   0:00 nginx: worker process
root        996  0.0  0.0 112676   980 pts/0    S+   14:30   0:00 grep --color=auto nginx
　　把nginx的默认页做个标记

[root@lynn-07 ~]# echo This is lynn-07 > /usr/share/nginx/html/index.html
　　在另一台机器使用从ip访问
得到下面结果

[root@lynn-02 ~]# curl 192.168.130.119
This is lynn-07
测试
　　从下图可以看出当vip在主机上时可以实现负载均衡

从下图可以看出当主机keepalived停止后vip就出现在从机上时也能可以实现负载均衡

从下图可以看出当主机keepalived再次启动时vip又回到主机负载均衡还是可以实现

综上这里就同时实现了高可用和负载均衡




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-657078-1-1.html 上篇帖子： centos7安装部署keepalived 下篇帖子： haproxy+keepalived应用实战
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表