LB集群之LVS

jgfhrt

LB 集群是 load balance（负载均衡）集群的简写，常用的负载均衡开源软件有 nginx、lvs、keepalived ，商业的硬件负载设备 F5、Netscale。
LB 集群的架构如下图，原理也很简答，就是当用户的请求过来时，会直接发到分发器（Director Server）上，然后它把用户的请求根据预先设置好的算法，智能均衡地分发到后端的真正服务器（real server）上。如果不同的机器，可能用户请求到的数据不一样，为了避免这样的情况发生，所以用到了共享存储，这样保证所有用户请求的数据是一样的。

LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层(Director)、server 集群层(Real server)和共享存储。LVS 从实现上分为下面三种模式。
（1）NAT（调度器将请求的目标 ip 即 vip 地址改为 Real server 的 ip, 返回的数据包也经过调度器，调度器再把源地址修改为 vip）。
（2）TUN（调度器将请求来的数据包封装加密通过 ip 隧道转发到后端的 real server 上，而 real server 会直接把数据返回给客户端，而不再经过调度器）。
（3）DR（调度器将请求来的数据包的目标 mac 地址改为 real server 的 mac 地址，返回的时候也不经过调度器，直接返回给客户端）。

一、NAT模式

---

1、准备工作
准备三台机器，一台Director server(简写为dir)，两台Real server(简写为rs1,rs2)。
dir有两块网卡，IP配置为：
eth0 192.168.0.109（内网）
eth1 192.168.1.109（外网）
rs1网卡IP配置为：
eth0 192.168.0.112（内网）

rs2网卡IP配置为：

eth0 192.168.0.113（内网）

2、安装软件
dir上安装ipvsadm
[iyunv@dir ~]# yum install -y ipvsadm
因为要验证80端口，我们可以安装httpd或者nginx，这里我在rs1和rs2上都安装nginx进行验证
# yum install -y nginx

3、dir上配置NAT
[iyunv@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //写入以下内容

#! /bin/bash
# director 服务器上开启路由转发功能:  
echo 1 > /proc/sys/net/ipv4/ip_forward  
# 关闭 icmp 的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
# director 设置 nat 防火墙

iptables -t nat –F
iptables -t nat –X
iptables -t nat -A POSTROUTING -s 192.168.0.0/24  -j MASQUERADE
# director 设置 ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM –C
$IPVSADM -A -t 192.168.1.109:80 -s rr
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m

执行脚本
[iyunv@dir ~]# sh /usr/local/sbin/lvs_nat.sh
查看
[iyunv@dir ~]# ipvsadm -ln


4、rs1和rs2上配置网关（这步非常关键）
# vim /etc/sysconfig/network-scripts/ifcfg-eth0   
GATEWAY=192.168.0.109
# ifdown eth0; ifup eth0
这样rs1和rs2就能与dir的eth1不同的网段实现通信了。

5、rs1和rs2都开启80端口
# /etc/init.d/nginx start
查看80端口是否开启成功
# netstat -lnp

6、测试

首先都要关闭防火墙
# iptables -F
然后我们修改下nginx的默认页面
rs1上
echo "rs1 nginx" > /usr/share/nginx/html/index.html
rs2上
echo "rs2 nginx" > /usr/share/nginx/html/index.html
接着在dir上测试
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs1 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs1 nginx
由上可知rs1和rs2轮换提供服务。

这里我们也可以修改权重，比如rs1权重为1，rs2权重为2
[iyunv@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //修改以下内容
$IPVSADM -A -t 192.168.1.109:80 -s wrr
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m -w 1
$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m -w 2
[iyunv@dir ~]# sh /usr/local/sbin/lvs_nat.sh
再测试

[iyunv@dir ~]# curl 192.168.1.109
rs1 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs1 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx
[iyunv@dir ~]# curl 192.168.1.109
rs2 nginx



二、DR模式

---

1、说明
DR模式的一台Director server和两台Real server都要是公网IP，其缺点就是比较浪费公网IP。所以我们在这里的IP都视为公网IP
dir网卡IP配置为：
eth0 192.168.0.109（外网）
rs1网卡IP配置为：
eth0 192.168.0.112（外网）

rs2网卡IP配置为：
eth0 192.168.0.113（外网）

2、清空之前NAT模式下的规则
[iyunv@dir ~]# ipvsadm -C
[iyunv@dir ~]# iptables -t nat -F

3、改回rs1和rs2的网关
GATEWAY=192.168.0.1
ifdown eth0; ifup eth0

4、配置dir
现在不用eth1网卡，所以我们down掉eth1网卡

[iyunv@dir ~]# ifdown eth1
配置脚本
[iyunv@dir ~]# vim /usr/local/sbin/lvs_dr.sh
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.110
rs1=192.168.0.112
rs2=192.168.0.113
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv –C
$ipv -A -t $vip:80 -s rr  
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
执行脚本
[iyunv@dir ~]# sh /usr/local/sbin/lvs_dr.sh
查看
[iyunv@dir ~]# ipvsadm -ln


也可以用ifconfig查看到已经启动了eth0:0这个vip

5、配置rs1和rs2
在rs1和rs2上配置如下一样的脚本
# vim /usr/local/sbin/lvs_rs.sh    //写入如下内容
#! /bin/bash
vip=192.168.0.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up  
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
执行脚本
# sh /usr/local/sbin/lvs_rs.sh
可以用ifconfig查看到已经启动了lo:0这个vip

6、测试
（1）打开另外一台新机器来测试结果如下：



（2）测试权重
编辑dir上的脚本，修改权重
[iyunv@dir ~]# vim /usr/local/sbin/lvs_dr.sh   //修改以下
$ipv -a -t $vip:80 -r $rs1:80 -g -w 2
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
[iyunv@dir ~]# sh /usr/local/sbin/lvs_dr.sh
在新机器上测试

chengyc

好好好好