lvs集群原理及部署实例
一 LVS简介LVS （linux virtual server）由章文嵩博士主导开发的开源负载均衡项目，本方案是基于IP数据请求负载均衡调度方案，用户请求发送给LVS调度器，调度器根据自己的调度算法分发请求到后端的web服务器。
二 LVS三种工作模式
1 基于NAT的负载均衡
NAT （network address translation）网络地址转换，其作用是用于修改报文头，使内部机器可以访问外网，外部也可以访问内部主机，该模式下的调度器使用两块网卡配置不同的ip地址，一个用于内部网络连接，一个用于外部网络连接。
负载均衡过程：
首先，用户通过访问域名，DNS解析到负载均衡器上的外网ip地址
接着，调度器根据预订的负载均衡算法，把请求分发到后端的真实服务器上，在转发之前，LVS需要修改请求报文中的目标地址和端口，也即是改为被选出的真实服务器的地址和端口
最后，真实服务器将响应的数据返回给LVS调度器，调度器在收到数据后将地址和端口改回自己的地址和端口，然后再把数据发送给客户端。LVS调度器有一个连接hash表，该表完整记录了所有的请求与转发信息，当同一个连接的下一个数据包发送给调度器时，从hash表中找到记录中的相同服务器和端口。
2 基于TUN的负载均衡
LVS的NAT模式下，所有的请求及数据都要经过LVS调度器，如果后端的web服务器多于10台，则调度器就会成为集群的瓶颈。TUN的思路是将请求与响应数据分离，让调度器处理请求，让真实服务器直接把数据发送给客户端。
IP隧道 IP tunning 是一种数据封装技术，将原始数据包封装并添加新的包头，从而实现实现将一个目标为调度器vip地址的数据包封装，并通过隧道转发给后端真实的服务器，真实服务器将数据直接发送给客户端。 这种模式要求每台机器都要有一个可以联通外网的ip，耗费较多的ip地址。ip隧道封装技术也有相应的资源消耗
3 基于DR的负载均衡
DR模式也叫直接路由模式，这种模式要求调度器与后端服务器在同一个局域网内，VIP地址需要在两者中共享，真实服务器的vip地址必须配置在Non-ARP的网络设备上，也就是不对外广播自己的mac和ip地址。调度器在不修改数据报文的情况下，将数据帧的mac地址改为后端真实服务器的mac地址，真实服务器直接将数据返回给客户端
三 LVS负载均衡调度算法
轮询 rr
加权轮询 wrr
最小链接数 lc
加权最小链接数 wlc
目标地址散列 DH
源地址散列 SH
基于局部的最小链接调度 lblc
四 ipvsadm命令详解
yum install -y ipvsadm 后命令可用
ipvsadm的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p ] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h
命令选项解释：
有两种命令选项格式，长的和短的，具有相同的意思。在实际使用时，两种都可以。
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master或backup，用来说明LVS Router是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp的服务 or
-u --udp-service service-address 说明虚拟服务器提供的是udp的服务 or
-f --fwmark-service fwmark 说明是经过iptables标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
默认的调度算法是： wlc.
-p --persistent 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout的默认值为300秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器
-g --gatewaying 指定LVS的工作模式为直接路由模式（也是LVS默认的模式）
-i --ipip 指定LVS的工作模式为隧道模式
-m --masquerading 指定LVS的工作模式为NAT模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组%B
五 实例-基于NAT模式的负载均衡
服务器名称网络接口IP地址lvs.test.cometh1122.126.152.183eth0192.168.1.2web1.test.cometh0192.168.1.5web2.test.cometh0192.168.1.6web3.test.cometh0192.168.1.7
lvs调度器安装设置
首先设置2个网卡
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s rr
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.5:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.6:80 -m
ipvsadm -a -t 122.126.182.183:80 -r 192.168.1.7:80 -m
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问内容表明成功。
六 实例-基于DR模式的负载均衡
服务器名称网络接口IP地址lvs.test.cometh1 VIP122.126.152.183eth0192.168.1.2web1.test.com
eth0192.168.1.5lo:0 VIP122.126.152.183web2.test.com
eth0192.168.1.6lo:0 VIP122.126.152.183web3.test.com
eth0192.168.1.7lo:0 VIP122.126.152.183 lvs调度器网络配置与安装
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY=122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:06:E9:B6
IPADDR=122.126.152.183
NETMASK=255.255.255.240
GATEWAY= 122.126.152.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E7:06:E9:B2
IPADDR=192.168.1.2
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
service network restart
安装ipvsadm
yum install ipvsadm -y
使用ipvsadm添加一组服务集群
ipvsadm -A -t 122.126.152.183:80 -s wrr
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.5:80 -g -w 1
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.6:80 -g -w 2
ipvsadm -a -t 122.126.152.183:80 -r 192.168.1.7:80 -g -w 3
service ipvsadm save
sed -i /ip_forward/s/0/1/ /etc/sysctl.conf #开启路由转发功能
sysctl -p
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
后端真实服务器1.5 网路配置及服务安装
vim /etc/sysconfig/network-script/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=192.168.1.5
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8
vim /etc/sysconfig/network-script/ifcfg-lo:0
DEVICE=lo:0
BOOTPROTO=static
TYPE=Ethernet
ONBOOT=yes
HWADDR=00:07:E9:05:E8:B4
IPADDR=122.126.152.183
NETMASK=255.255.255.255
GATEWAY=192.168.1.1
DNS1=8.8.8.8
禁止对VIP地址的ARP响应
vim /etc/sysctl.conf
net.ipv4.conf.eth0.arp_ignore = 1
net.ipv4.conf.eth0.arp_announce = 2
net.ipv4.conf.arp_ignore = 1
net.ipv4.conf.arp_announce = 2
... ...
yum install -y httpd
service httpd start
service network restart
echo "web1 192.168.1.5" > /var/www/html/index.html
iptables -F
iptables -X
service iptables save
setenforce 0
sed -i s/enforcing/disabled/g /etc/sysconfig/selinux
在服务器1.6 1.7 上执行同样操作，注意修改对应的ip参数
测试：
浏览器打开http://122.126.152.183 多次访问，得到不同访问次数内容表明成功。
页:
[1]