lvs集群原理及部署实例

44232111

一 LVS简介
LVS （linux virtual server）由章文嵩博士主导开发的开源负载均衡项目，本方案是基于IP数据请求负载均衡调度方案，用户请求发送给LVS调度器，调度器根据自己的调度算法分发请求到后端的web服务器。


二 LVS三种工作模式
1 基于NAT的负载均衡
NAT （network address translation）网络地址转换，其作用是用于修改报文头，使内部机器可以访问外网，外部也可以访问内部主机，该模式下的调度器使用两块网卡配置不同的ip地址，一个用于内部网络连接，一个用于外部网络连接。
负载均衡过程：
首先，用户通过访问域名，DNS解析到负载均衡器上的外网ip地址
接着，调度器根据预订的负载均衡算法，把请求分发到后端的真实服务器上，在转发之前，LVS需要修改请求报文中的目标地址和端口，也即是改为被选出的真实服务器的地址和端口
最后，真实服务器将响应的数据返回给LVS调度器，调度器在收到数据后将地址和端口改回自己的地址和端口，然后再把数据发送给客户端。LVS调度器有一个连接hash表，该表完整记录了所有的请求与转发信息，当同一个连接的下一个数据包发送给调度器时，从hash表中找到记录中的相同服务器和端口。

2 基于TUN的负载均衡
LVS的NAT模式下，所有的请求及数据都要经过LVS调度器，如果后端的web服务器多于10台，则调度器就会成为集群的瓶颈。TUN的思路是将请求与响应数据分离，让调度器处理请求，让真实服务器直接把数据发送给客户端。

IP隧道 IP tunning 是一种数据封装技术，将原始数据包封装并添加新的包头，从而实现实现将一个目标为调度器vip地址的数据包封装，并通过隧道转发给后端真实的服务器，真实服务器将数据直接发送给客户端。 这种模式要求每台机器都要有一个可以联通外网的ip，耗费较多的ip地址。ip隧道封装技术也有相应的资源消耗

3 基于DR的负载均衡
DR模式也叫直接路由模式，这种模式要求调度器与后端服务器在同一个局域网内，VIP地址需要在两者中共享，真实服务器的vip地址必须配置在Non-ARP的网络设备上，也就是不对外广播自己的mac和ip地址。调度器在不修改数据报文的情况下，将数据帧的mac地址改为后端真实服务器的mac地址，真实服务器直接将数据返回给客户端


三 LVS负载均衡调度算法
轮询    rr
加权轮询   wrr
最小链接数 lc
加权最小链接数 wlc
目标地址散列 DH

源地址散列 SH
基于局部的最小链接调度 lblc





四 ipvsadm命令详解
yum install -y ipvsadm 后命令可用

ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master或backup，用来说明LVS Router是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp的服务[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp的服务[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout的默认值为300秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）
-i --ipip 指定LVS的工作模式为隧道模式
-m --masquerading 指定LVS的工作模式为NAT模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组%B

五 实例-基于NAT模式的负载均衡

服务器名称	网络接口	IP地址
lvs.test.com	eth1	122.126.152.183
	eth0	192.168.1.2
web1.test.com	eth0	192.168.1.5
web2.test.com	eth0	192.168.1.6
web3.test.com	eth0	192.168.1.7

lvs调度器安装设置
首先设置2个网卡
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:05:E8:B4   
IPADDR=192.168.1.2         
NETMASK=255.255.255.0         
GATEWAY=192.168.1.1                        
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:06:E9:B6   
IPADDR=122.126.152.183         
NETMASK=255.255.255.240        
GATEWAY= 122.126.152.1                       
DNS1=8.8.8.8
service network restart

安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s rr
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.5:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.6:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.7:80 -m
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux

后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:05:E8:B4   
IPADDR=192.168.1.5         
NETMASK=255.255.255.0         
GATEWAY=192.168.1.1                        
DNS1=8.8.8.8

yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux

在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数

测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问内容表明成功。

六 实例-基于DR模式的负载均衡

服务器名称	网络接口	IP地址
lvs.test.com	eth1 VIP	122.126.152.183
	eth0	192.168.1.2
web1.test.com	eth0	192.168.1.5
	lo:0 VIP	122.126.152.183
web2.test.com	eth0	192.168.1.6
	lo:0 VIP	122.126.152.183
web3.test.com	eth0	192.168.1.7
	lo:0 VIP	122.126.152.183

lvs调度器网络配置与安装
vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:06:E9:B6   
IPADDR=122.126.152.183         
NETMASK=255.255.255.240        
GATEWAY=122.126.152.1                       
DNS1=8.8.8.8

vim /etc/sysconfig/network-script/ifcfg-eth1

DEVICE=eth1                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:06:E9:B6   
IPADDR=122.126.152.183         
NETMASK=255.255.255.240        
GATEWAY= 122.126.152.1                       
DNS1=8.8.8.8

vim /etc/sysconfig/network-script/ifcfg-eth0

DEVICE=eth0                          
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E7:06:E9:B2   
IPADDR=192.168.1.2         
NETMASK=255.255.255.0      
GATEWAY=192.168.1.1                     
DNS1=8.8.8.8

service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s wrr
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.5:80 -g -w 1
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.6:80 -g -w 2
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.7:80 -g -w 3
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux

后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:05:E8:B4   
IPADDR=192.168.1.5         
NETMASK=255.255.255.0         
GATEWAY=192.168.1.1                        
DNS1=8.8.8.8

vim /etc/sysconfig/network-script/ifcfg-lo:0
DEVICE=lo:0                           
BOOTPROTO=static      
TYPE=Ethernet
ONBOOT=yes  
HWADDR=00:07:E9:05:E8:B4   
IPADDR=122.126.152.183        
NETMASK=255.255.255.255        
GATEWAY=192.168.1.1                        
DNS1=8.8.8.8

禁止对VIP地址的ARP响应
vim /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.arp_ignore = 1
net.ipv4.conf.arp_announce = 2
... ...

yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数

测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问次数内容表明成功。