Lvs负载均衡的配置

tiyan

　　Lvs负载均衡的配置
　　原文地址：Lvs负载均衡的配置 作者：china_Linux_hy
　　rhel6 自带 LVS 软件包 安装 ipvsadm 软件包即可使用
　　yum install ipvsadm -y（注意这里需要先配置yum源）
　　三种 IP 负载均衡技术的优缺点归纳在下表中:

　　注:以上三种方法所能支持最大服务器数目的估计是假设调度器使用 100M 网卡,调度器的硬件配置与后端服务器的硬件配置相同,而且是对一般 Web 服 务。使用更高的硬件配置(如千兆网卡和更快的处理器)作为调度器,调度器所能调度的服务器数量会相应增加。当应用不同时,服务器的数目也会相应地改变。所 以,以上数据估计主要是为三种方法的伸缩性进行量化比较。
　　这里我在做的时候用了三台主机：
　　vm1    192.168.1.120    Load Balance    eth0
　　vm1    192.168.1.188    Load Balance    vip
　　vm2    192.168.1.121    realserver
　　vm3    192.168.1.122    realserver
　　1.LVS-DR 模式(调度器与实际服务器都有一块网卡连在同一物理网段上)
　　简要的网络结构如下所示

　　配置LVS server
　　lvs_dr.sh
　　点击(此处)折叠或打开

• 　　#！/bin/sh
  
• 　　VIP=192.168.1.188
  
• 　　RIP1=192.168.1.121
  
• 　　RIP2=192.168.1.122
  
• 　　. /etc/rc.d/init.d/functions
  
• 　　case "$1" in
  
• 　　start)
  
• 　　echo "start LVS of DirectorServer"
  
• 　　#Set the Virtual IP Address
  
• 　　/sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
  
• 　　/sbin/route add -host $VIP dev eth0:1
  
• 　　#Clear IPVS Table
  
• 　　/sbin/ipvsadm -C
  
• 　　#Set Lvs
  
• 　　/sbin/ipvsadm -A -t $VIP:80 -s rr
  
• 　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
  
• 　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
  
• 　　#Run Lvs
  
• 　　/sbin/ipvsadm
  
• 　　;;
  
• 　　stop)
  
• 　　echo "close LVS Directorserver"
  
• 　　/sbin/ipvsadm -C
  
• 　　/sbin/ifconfig eth0:1 down
  
• 　　;;
  
• 　　*)
  
• 　　echo "Usage： $0 {start|stop}"
  
• 　　exit 1
  
• 　　esac
  

　　配置 RIP server
　　realserver.sh
　　点击(此处)折叠或打开

• 　　#!/bin/bash
  
• 　　VIP=192.168.1.188
  
• 　　LOCAL_Name=50bang
  
• 　　BROADCAST=192.168.1.255 #vip's broadcast
  
• 　　. /etc/rc.d/init.d/functions
  
• 　　case "$1" in
  
• 　　start)
  
• 　　echo "reparing for Real Server"
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  
• 　　echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  
• 　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  
• 　　ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $BROADCAST up
  
• 　　/sbin/route add -host $VIP dev lo:0
  
• 　　;;
  
• 　　stop)
  
• 　　ifconfig lo:0 down
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
  
• 　　;;
  
• 　　*)
  
• 　　echo "Usage: lvs {start|stop}"
  
• 　　exit 1
  
• 　　esac
  

　　我们在浏览器端输入：192.168.1.188每次刷新显示结果都会变，如下证明我们配置正确：

　　2.LVS-TUN 模式
　　简要的网络架构如下:

　　配置lvs server
　　lvs_tun.sh
　　点击(此处)折叠或打开

• 　　#!/bin/sh
  
• 　　# description: start LVS of Directorserver
  
• 　　VIP=192.168.1.188（注意，lvs server那台机器2个ip，一个是vip,一个是本身ip例如192.168.1.120）
  
• 　　RIP1=192.168.1.121
  
• 　　RIP2=192.168.1.122
  
• 　　#RIPn=192.168.0.n
  
• 　　GW=192.168.1.1
  
• 　　. /etc/rc.d/init.d/functions
  
• 　　case "$1" in
  
• 　　start)
  
• 　　echo " start LVS of DirectorServer"
  
• 　　# set the Virtual IP Address
  
• 　　/sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up
  
• 　　/sbin/route add -host $VIP dev tunl0
  
• 　　#Clear IPVS table
  
• 　　/sbin/ipvsadm -C
  
• 　　#set LVS
  
• 　　/sbin/ipvsadm -A -t $VIP:80 -s rr
  
• 　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i
  
• 　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i
  
• 　　#/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i
  
• 　　#Run LVS
  
• 　　/sbin/ipvsadm
  
• 　　#end
  
• 　　;;
  
• 　　stop)
  
• 　　echo "close LVS Directorserver"
  
• 　　ifconfig tunl0 down
  
• 　　/sbin/ipvsadm -C
  
• 　　;;
  
• 　　*)
  
• 　　echo "Usage: $0 {start|stop}"
  
• 　　exit 1
  
• 　　esac
  

　　配置real server
　　realserver.sh
　　点击(此处)折叠或打开

• 　　#!/bin/sh
  
• 　　# description: Config realserver tunl port and apply arp patch
  
• 　　VIP=192.168.1.188
  
• 　　. /etc/rc.d/init.d/functions
  
• 　　case "$1" in
  
• 　　start)
  
• 　　echo "Tunl port starting"
  
• 　　ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up
  
• 　　/sbin/route add -host $VIP dev tunl0
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
  
• 　　echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  
• 　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  
• 　　sysctl -p
  
• 　　;;
  
• 　　stop)
  
• 　　echo "Tunl port closing"
  
• 　　ifconfig tunl0 down
  
• 　　echo 1 > /proc/sys/net/ipv4/ip_forward
  
• 　　echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
  
• 　　;;
  
• 　　*)
  
• 　　echo "Usage: $0 {start|stop}"
  
• 　　exit 1
  
• 　　esac
  

　　3.LVS-NAT 模式
　　简要的网络架构如下图:

　　配置LVS server
　　lvs_nat.sh
　　点击(此处)折叠或打开

• 　　#!/bin/sh
  
• 　　# description: start LVS of Nat
  
• 　　VLAN-IP=192.168.1.188
  
• 　　RIP1=10.1.1.2
  
• 　　RIP2=10.1.1.3
  
• 　　#RIPn=10.1.1.n
  
• 　　GW=10.1.1.1
  
• 　　. /etc/rc.d/init.d/functions
  
• 　　case "$1" in
  
• 　　start)
  
• 　　echo " start LVS of NAtServer"
  
• 　　echo "1" >/proc/sys/net/ipv4/ip_forward
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects
  
• 　　echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
  
• 　　#Clear IPVS table
  
• 　　/sbin/ipvsadm -C
  
• 　　#set LVS
  
• 　　/sbin/ipvsadm -a -t $VLAN-IP:80 -r $RIP1:80 -m -w 1
  
• 　　/sbin/ipvsadm -a -t $VLAN-IP:80 -r $RIP2:80 -m -w 1
  
• 　　#Run LVS
  
• 　　/sbin/ipvsadm
  
• 　　#end
  
• 　　;;
  
• 　　stop)
  
• 　　echo "close LVS Nat server"
  
• 　　echo "0" >/proc/sys/net/ipv4/ip_forward
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects
  
• 　　echo "1" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
  
• 　　/sbin/ipvsadm -C
  
• 　　;;
  
• 　　*)
  
• 　　echo "Usage: $0 {start|stop}"
  
• 　　exit 1
  
• 　　esac
  

　　配置real server LVS-Nat 模式的后端机器不需要配置.
　　测试的时候我们在real server里面设置一个发布页面进行测试
　　echo `hostname` >/var/www/html/index.html
　　然后就可以进行测试了！
　　tips： -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。
　　
　　LVS 三种工作模式的优缺点比较：
　　一、Virtual server via NAT（VS-NAT）
　　优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。
　　缺点：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。
　　解决办法：即使是是负载均衡器成为整个系统的瓶颈，如果是这样也有两种方法来解决它。一种是混合处理，另一种是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合处理的方法，将需要许多同属单一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以获得更好的可扩展性。也可以嵌套使用负载均衡器，在最前端的是VS-Tunneling或VS-Drouting的负载均衡器，然后后面采用VS-NAT的负载均衡器。
　　二、Virtual server via IP tunneling（VS-TUN）
　　我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。
　　优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。
　　不足：但是，这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议，我仅在Linux系统上实现了这个，如果你能让其它操作系统支持，还在探索之中。
　　三、Virtual Server via Direct Routing（VS-DR）
　　优点：和VS－TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0无需打补丁；IRIX 6.5；HPUX11等。
　　不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上

　　参考：http://www.uml.org.cn/zjjs/201211124.asp