LB集群之LVS

2321321132

LB 集群是 load balance（负载均衡）集群的简写，常用的负载均衡开源软件有 nginx、lvs、keepalived ，商业的硬件负载设备 F5、Netscale。

LB 集群的架构如下图，原理也很简答，就是当用户的请求过来时，会直接发到分发器（Director Server）上，然后它把用户的请求根据预先设置好的算法，智能均衡地分发到后端的真正服务器（real server）上。如果不同的机器，可能用户请求到的数据不一样，为了避免这样的情况发生，所以用到了共享存储，这样保证所有用户请求的数据是一样的。



LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层(Director)、server 集群层(Real server)和共享存储。LVS 从实现上分为下面三种模式。

（1）NAT（调度器将请求的目标 ip 即 vip 地址改为 Real server 的 ip, 返回的数据包也经过调度器，调度器再把源地址修改为 vip）。

（2）TUN（调度器将请求来的数据包封装加密通过 ip 隧道转发到后端的 real server 上，而 real server 会直接把数据返回给客户端，而不再经过调度器）。

（3）DR（调度器将请求来的数据包的目标 mac 地址改为 real server 的 mac 地址，返回的时候也不经过调度器，直接返回给客户端）。


一、NAT模式

1、准备工作

准备三台机器，一台Director server(简写为dir)，两台Real server(简写为rs1,rs2)。

dir有两块网卡，IP配置为：

eth0 192.168.1.180（内网）
eth1 192.168.11.180（外网）

rs1网卡IP配置为：

eth0 192.168.1.181（内网）

rs2网卡IP配置为：

eth0 192.168.1.182（内网）


[iyunv@ffff ~]# hostname dir


2、安装软件

在dir上安装ipvsadm

[iyunv@dir ~]# yum install -y ipvsadm

因为要验证80端口，我们可以安装httpd或者nginx，这里我在rs1和rs2上都安装nginx进行验证

# yum install -y nginx


3、dir上配置NAT

[iyunv@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //写入以下内容

#! /bin/bash

# director 服务器上开启路由转发功能:

echo 1 > /proc/sys/net/ipv4/ip_forward

# 关闭 icmp 的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director 设置 nat 防火墙

iptables -t nat -F

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.1.0/24  -j MASQUERADE

# director 设置 ipvsadm

IPVSADM='/sbin/ipvsadm'

$IPVSADM -C

$IPVSADM -A -t 192.168.11.180:80 -s rr

$IPVSADM -a -t 192.168.11.180:80 -r 192.168.1.181:80 -m

$IPVSADM -a -t 192.168.11.180:80 -r 192.168.1.182:80 -m

执行脚本

[iyunv@dir ~]# sh /usr/local/sbin/lvs_nat.sh

查看规则

[iyunv@dir ~]#  ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.11.180:80 rr

  -> 192.168.1.181:80             Masq    1      0          0

  -> 192.168.1.182:80             Masq    1      0          0

4、rs1和rs2上配置网关（这步非常关键）

# vim /etc/sysconfig/network-scripts/ifcfg-eth0   
GATEWAY=192.168.1.180
# ifdown eth0; ifup eth0

这样rs1和rs2就能与dir的eth1不同的网段实现通信了。

5、rs1和rs2都开启80端口

# /etc/init.d/nginx start

查看80端口是否开启成功

# netstat -lnp

6、测试

首先都要关闭防火墙

# iptables -F

然后我们修改下nginx的默认页面

rs1上

echo "rs1 nginx" > /usr/share/nginx/html/index.html

rs2上

echo "rs2 nginx" > /usr/share/nginx/html/index.html

接着在dir上测试

[iyunv@dir ~]# curl 192.168.11.180
rs1 nginx
[iyunv@dir ~]# curl 192.168.11.180
rs2 nginx
[iyunv@dir ~]# curl 192.168.11.180
rs1 nginx
[iyunv@dir ~]# curl 192.168.11.180
rs2 nginx
[iyunv@dir ~]# curl 192.168.11.180
rs1 nginx
[iyunv@dir ~]# curl 192.168.11.180
rs2 nginx

由上可知rs1和rs2轮换提供服务。

7、修改权重

这里我们也可以修改权重，比如rs1权重为1，rs2权重为2。

[iyunv@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //修改以下内容
$IPVSADM -A -t 192.168.11.180:80 -s rr
$IPVSADM -a -t 192.168.11.180:80 -r 192.168.1.181:80 -m -w 1
$IPVSADM -a -t 192.168.11.180:80 -r 192.168.1.182:80 -m -w 2
[iyunv@dir ~]# ipvsadm -C
[iyunv@dir ~]# sh /usr/local/sbin/lvs_nat.sh

测试下

[iyunv@dir ~]# curl 192.168.11.180

rs2 nginx

[iyunv@dir ~]# curl 192.168.11.180

rs1 nginx

[iyunv@dir ~]# curl 192.168.11.180

rs2 nginx

[iyunv@dir ~]# curl 192.168.11.180

rs1 nginx

[iyunv@dir ~]# curl 192.168.11.180

rs2 nginx

[iyunv@dir ~]# curl 192.168.11.180

rs1 nginx

二、DR模式

DR模式的一台Director server和两台Real server都要是公网IP，其缺点就是比较浪费公网IP。所以我们在这里的IP都视为公网IP

1、清空之前NAT模式下的规则

[iyunv@dir ~]# ipvsadm -C

[iyunv@dir ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

[iyunv@dir ~]# iptables -t nat -F

2、改回rs1和rs2的网关

[iyunv@rs12 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 把网关改回来

ifdown eth0; ifup eth0

3.dir网卡IP配置为：

eth0 192.168.1.180（外网）

rs1网卡IP配置为：

eth0 192.168.1.181（外网）

rs2网卡IP配置为：

eth0 192.168.1.182（外网）

4、配置dir

配置脚本

[iyunv@dir ~]# vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.1.190
rs1=192.168.1.182
rs2=192.168.1.181
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

执行脚本

[iyunv@dir ~]# sh /usr/local/sbin/lvs_dr.sh

查看

[iyunv@dir ~]# ipvsadm -ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.1.190:80 rr

  -> 192.168.1.181:80             Route   1      0          0

  -> 192.168.1.182:80             Route   1      0          0

5、配置rs1和rs2

在rs1和rs2上配置如下一样的脚本

# vim /usr/local/sbin/lvs_rs.sh    //写入如下内容
#! /bin/bash
vip=192.168.1.190
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up  
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

在rs1和rs2上都执行脚本

# sh /usr/local/sbin/lvs_rs.sh

可以用ifconfig查看到已经启动了lo:0这个vip,也可以用ipvsadm -ln查看详情。

6、测试

（1）打开另外一台新机器来测试结果如下：

[iyunv@gz4 ~]# curl 192.168.1.190

rs2 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs2 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs2 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx


2）测试权重

编辑dir上的脚本，修改权重：rs1权重为2，rs2权重为1。

#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/sbin/ipvsadm

vip=192.168.1.190

rs1=192.168.1.182

rs2=192.168.1.181

ifconfig eth0:0 down

ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev eth0:0

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 2

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

~

ifconfig eth0:0 down            //因为之前执行脚本已经生成过eth0:0，故down掉

在新机器上测试结果如下

rs2 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs2 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs1 nginx

[iyunv@gz4 ~]# curl 192.168.1.190

rs2 nginx

三、LVS结合keepalived

前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把nginx停掉，那么 director server照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测 real server 的状态，这就是 keepalived。它的作用除了可以检测 RS 状态外，还可以检测备用 director 的状态，也就是说 keepalived 可以实现 ha 集群的功能，当然了也需要一台备用 director server。

1、前提准备

主dir： eth0 192.168.1.180
备dir1： eth0 192.168.1.183
rs1: eth0 192.168.1.182
rs2: eth0 192.168.0.181
vip: 192.168.1.190

因为前面我们已经配置过一些操作，而下面我们使用 keepaliave 操作会和之前的操作是有些冲突，所以先做一些预先处理。 在主dr上执行：

[iyunv@dir ~]# ipvsadm -C
[iyunv@dir ~]# ifconfig eth0:0 down

2、安装

在主dr和备dir1上都安装keepalived

# yum install -y keepalived

同时也都安装ipvsadm，因为主dir之前安装配置过，故只需配置备dir1。

[iyunv@dir1 ~]# yum install -y ipvsadm


3、配置

在主dr上配置

[iyunv@dir ~]# echo "" > /etc/keepalived/keepalived.conf   //先清空默认配置
[iyunv@dir ~]# vim /etc/keepalived/keepalived.conf         //再添加如下内容
vrrp_instance VI_1 {
    state MASTER        #如果是备用服务器，这里改为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 100        #如果是备用服务器，这里改为 90（少于100即可）
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.190    #vip
    }
}
virtual_server 192.168.1.190 80 {
    delay_loop 6                        #(每隔 10 秒查询 realserver 状态)
    lb_algo wlc                         #(lvs 算法)
    lb_kind DR                          #(Direct Route)
    persistence_timeout 60              #(同一 IP 的连接 60 秒内被分配到同一台realserver)
    protocol TCP                        #(用 TCP 协议检查 realserver 状态)
   real_server 192.168.0.182 80 {
        weight 100           
        TCP_CHECK {
        connect_timeout 10              #(10 秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
   real_server 192.168.0.181 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

在备dr1上配置

拷贝主上文件到从上

[iyunv@dir1 ~]# scp 192.168.1.180:/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
[iyunv@dir1 ~]# vim /etc/keepalived/keepalived.conf   //找到标红两处，修改为以下参数
state BACKUP
priority 90


4、查看

分别在主备上都查看

ipvsadm -ln    //没有ipvsadm规则
ip addr      //没有虚拟ip：eth0:0的。eth0只有一个ip。


5、开启端口转发（主从都要做）

# echo 1 > /proc/sys/net/ipv4/ip_forward

然后在两个 rs 上都执行/usr/local/sbin/lvs_rs.sh 脚本

# bash /usr/local/sbin/lvs_rs.sh


6、启动 keepalived 服务（先主后从）

# /etc/init.d/keepalived start


7、再查看

接着都在主备上查看

ipvsadm -ln    //可看到已经产生ipvsadm规则


ip addr    //产生虚拟ip：eth0:0


8、测试

用第五台机器curl测试192.168.1.190，可以发现是平均请求rs1和rs2的nginx主页面。