LVS原理和实现

fswdnr

　　一、LVS简介
　　    LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。在linux内存2.6中，它已经成为内核的一部分，在此之前的内核版本则需要重新编译内核。
　　    LVS主要用于多服务器的负载均衡。它工作在网络层，可以实现高性能，高可用的服务器集群技术。可把许多低性能的服务器组合在一起形成一个超级服务器，实现容量的扩张和伸缩。配置非常简单，且有多种负载均衡的方法。稳定可靠，即使在集群的服务器中某台服务器无法正常工作，也不影响整体效果。
　　

　　二、LVS组件
　　ipvs：是一个框架，工作于内核中，结合netfilter代码上的INPUT钩子函数，根据用户定义的ipvs规则完成转发，使请求不进入用户空间中。
　　一旦用户请求进入用户空间，就意味着每一个用户请求的链接都需要维持一个套接字文件，单主机套接字文件数最多了65535个。由于LVS工作在内核空间中，无需进入用户空间，所以可以突破套接字的限制。
　　ipvsadm：是一个用户空间管理器，用于生成ipvs在INPUT钩子函数中的规则。

　　

　　三、LVS IP地址命名规范
　　在LVS集群中，我们必须基于节点在集群内的角色来区别不同种类的ip地址，在一个集群内有四种基本的ip地址类型。
　　①、虚拟ip地址（VIP）

　　Director用于向客户端计算机提供服务的ip地址

　　用于客户端计算机连接由集群提供的服务的ip地址叫做虚拟ip地址（VIP），VIP是连接Director到常规公共网络的网卡上的ip别名或从属ip地址。LVS VIP很重要，因为它是客户端计算机连接集群时要用到的，客户端计算机从它们的ip地址向VIP地址发送数据包访问集群服务，然后你告诉客户端计算机使用这个VIP地址的服务名（如DNS、DDNS、WINS、LDAP或NIS），这是客户端计算机要使用集群服务常需要知道的唯一名字或地址。（客户端计算机不知道集群内剩下的ip地址）
　　

　　②、真实ip地址（RIP）

　　用在集群节点上的ip地址

    在LVS术语中，向外部世界提供服务的节点叫做真实服务器，因此在真实服务器上使用的ip地址叫做真实ip地址（RIP）。
    RIP地址是分配给连接真实服务器到同一网络上Director的网卡的永久性ip地址，这个网络为集群网络或Director/真实服务器网络（D/RIP网络），Director使用RIP地址在D/RIP网络上进行正常的网络通讯，但是只有Director需要知道如何与这个ip地址对话。

　　

　　③、Director的ip地址（DIP）

　　Director用于连接D/RIP网络的ip地址

　　Director的ip地址（DIP）用在连接Director到D/RIP网络的网卡上的，在Director的VIP上接收访问集群服务的请求，这些请求通过DIP转发出去抵达各个集群节点，DIP和VIP可以处于同一块网卡上。
　　

　　④、客户端计算机的ip地址（CIP）

　　分配给客户端计算机的ip地址，它用作向集群发送请求的源ip地址

　　客户端计算机的ip地址（CIP）可能是一个本地的、与VIP在同一网络的私有ip地址，或者是一个因特网上的公共ip地址。

LVS集群简图（LVS/NAT）和各IP分布简图（点击放大查看）

　　

　　

　　四、LVS的类型
　　①、LVS/NAT类型
　　客户通过Virtual IP Address（虚拟服务的IP地址）访问网络服务时，请求报文到达调度器，调度器根据连接调度算法从一组真实服务器中选出一台服务器，将报文的目标地址 Virtual IP Address 改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。同时，调度器在连接 Hash 表中记录这个连接，当这个连接的下一个报文到达时，从连接Hash表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务 器。当来自真实服务器的响应报文经过调度器时，调度器将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户。
　　当使用VS/NAT方法时，如果有大量的响应数据经过调度器，调度器将成为整个集群的瓶颈
　　LVS NAT的特性
　　1.RS的应该使用私有地址
　　2.RS的网关必须指向DIP
　　3.RIP和DIP必须在同一网段内
　　4.请求和响应的报文都得经过Director，在高负载场景中，Director很可能成为性能凭借
　　5.支持端口映射
　　6.RS可以使用任意支持集群服务的OS
　　

　　②、LVS/DR类型

　　调度器和服务器组都必须在物理上有一个网卡通过不分断的局域网相连，如通过交换机或者高速的HUB相连。VIP地址为调度器和服务器 组共享，调度器配置的VIP地址是对外可见的，用于接收虚拟服务的请求报文；所有的服务器把VIP地址配置在各自的Non-ARP网络设备上，它对外面是 不可见的，只是用于处理目标地址为VIP的网络请求。在VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文， 而是将数据帧的MAC地址改为选出服务器的MAC地址，再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务 器肯定可以收到这个数据帧，从中可以获得该IP报文。当服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应 报文直接返回给客户。
　　LVS DR类型的特性

　　1.RS可以使用私有地址，还可以使用公网地址，此时可以直接通过互联网连入RS，以实现配置、监控等
　　2.RS的网关一定不能指向DIP
　　3.RS跟Dirctory要在同一物理网络内（不能有路由器分隔）
　　4.请求报文经过Directory，但响应报文一定不经过Director
　　5.不支持端口映射
　　6.RS可以使用大多数的操作系统
　　

③、LVS/TUN类型
    LVS/TUN 的连接调度和管理与 VS/NAT 中的一样，只是它的报文转发方法不同。调度器根据各个服务器的负载情况，动态地选择一 台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器；服务器收到报文后，先将报文解封获得原来目标地址为VIP的报 文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。
　　

　　LVS TUN类型(IP隧道)的特性
　　1.RIP，DIP，VIP都得是公网地址
　　2.RS的网关不会指向也不可能指向DIP
　　3.请求报文经过Directory，但响应报文一定不经过Director
　　4.不支持端口映射
　　5.RS的OS必须得支持隧道功能
　　

　　

　　五、LVS的调度方法
　　①、静态方法:仅根据算法本身进行调度
　　轮叫调度（Round Robin）(简称rr)
　　调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
　　

　　加权轮叫（Weighted Round Robin）（简称wrr)
　　调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
源地址散列（Source Hashing）(SH)
    “源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。


目标地址散列（Destination Hashing）(DH)
    “目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
　　

　　②、动态方法：根据算法及RS当前的负载状态
　　在TCP协议中，某一个链接可能有两种状态，活动链接（Active）：正处于数据传输，非活动链接（Inactive）：数据传输结束，但链接没有断开
　　



最少链接（Least Connections）(LC)
    调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载。
    Overhead=Active*256+Inactive，结果中，小的将成为下一个调度对象。



加权最少链接（Weighted Least Connections）(WLC)
    在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
    Overhead=(Active*256+Inactive)/weight，结果中，小的将成为下一个调度对象。


基于局部性的最少链接（Locality-Based Least Connections）(LBLC)
    “基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接” 的原则选出一个可用的服务器，将请求发送到该服务器。


带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）(LBLCR)
    “带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。


最短的期望的延迟（Shortest Expected Delay Scheduling SED）(SED)
    基于wlc算法。Overhead=（Active+1）*256/weight，结果中，小的将成为下一个调度对象。


最少队列调度（Never Queue Scheduling NQ）(NQ)
    无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要在进行sed运算。全部分配后进行sed算法。
　　

　　补充：Session持久机制
　　1.Session绑定：始终将统一请求者的连接定向至统一RS（第一次请求时仍有调度选择）：没有容错哦能力，有损均衡效果
　　2.session复制：在RS之间通过多播或广播同步session，因此，每个RS持集群中所有的session；对于大服务器集群环境不适用
　　3.session服务器：利用单独部署的服务器来统一管理session
[root@localhost ~]# grep -C 10 -i "ipvs" /boot/config-2.6.32-573.el6.x86_64
CONFIG_IP_SET_HASH_IPPORTNET=m
CONFIG_IP_SET_HASH_NET=m
CONFIG_IP_SET_HASH_NETPORT=m
CONFIG_IP_SET_LIST_SET=m
CONFIG_IP_VS=m
CONFIG_IP_VS_IPV6=y
# CONFIG_IP_VS_DEBUG is not set
CONFIG_IP_VS_TAB_BITS=12
#
# IPVS transport protocol load balancing support（支持的传输协议）
#
CONFIG_IP_VS_PROTO_TCP=y
CONFIG_IP_VS_PROTO_UDP=y
CONFIG_IP_VS_PROTO_AH_ESP=y
CONFIG_IP_VS_PROTO_ESP=y
CONFIG_IP_VS_PROTO_AH=y
CONFIG_IP_VS_PROTO_SCTP=y
#
# IPVS scheduler（支持的调度算法）
#
CONFIG_IP_VS_RR=m
CONFIG_IP_VS_WRR=m
CONFIG_IP_VS_LC=m
CONFIG_IP_VS_WLC=m
CONFIG_IP_VS_LBLC=m
CONFIG_IP_VS_LBLCR=m
CONFIG_IP_VS_DH=m
CONFIG_IP_VS_SH=m
CONFIG_IP_VS_SED=m　　

　　六、ipvsadm的使用
　　管理集群服务
　　ipvsadm -A|E -t|u|f service-address [-s scheduler]
　　-A: 添加一个集群服务
　　-t：tcp
　　-u：udp
　　-f： firewall make。防火墙标记，让ipvs跟iptable的mangle表一块工作，基于防火墙标记来实现集群服务，通常应用于将两个或以上的服务绑定为一个服务进行处理时使用
　　service-address：-t IP:port。-u ip:port。-f firewall_mark
　　-s 调度算法，默认为wlc（最理想的调度方法）
　　-p: timeout persistent connection 持久连接
　　-E：修改定义过的集群服务
　　

　　ipvsadm -D -t|u|f service-address
　　-D: 删除指定的集群服务
　　

　　管理集群服务中的Real Server1
　　ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
　　-a：向指定的CS中添加RS
　　-t|-u|-f service-address：指明将RS添加至那个Cluster Service 中
　　    -r：指定RS，可以包含{IP[:port]},只有支持端口映射的LVS类型才允许此处使用跟集群服务中不同的端口
　　    -g：Gateway（指定lvs类型为DR,默认值）
　　    -i：ipip（指定lvs类型为TUN）
　　    -m:masquerade（指定lvs类型为NAT）
　　    -w：指定RS权重（省略权重为1）
　　-e:修改指定的RS属性
　　

　　ipvsadm -d -t|u|f service-address -r server-address
　　-d：在指定的集群服务中删除一个指定的RS
　　

　　清空和查看：

　　ipvsadm -C
　　清空所有的集群服务
　　

　　ipvsadm -L|l [options]
　　-n: numeric，基于数字格式显示地址和端口；
　　-c: connection，显示ipvs连接；
　　--stats：统计数据
　　--rate: 速率
　　--exact: 精确值
　　--timeout：显示tcp、udp、tcpfind会话的超时时长
　　--daemon:守护进程的信息
　　--sort：对虚拟服务进行排序，默认为升序
　　

　　保存和重载：
　　ipvsadm -R
　　ipvsadm -S [-n]
　　

　　置零计数器：
　　ipvsadm -Z [-t|u|f service-address]
　　七、LVS/NAT类型实验步骤
　　①、拓扑图

　　

　　②、实验步骤
[root@localhost ~]# yum install ipvsadm
#安装ipvsamd管理工具实现对ipvs规则的添加
[root@localhost ~]# echo 1 >/proc/sys/net/ipv4/ip_forward
[root@localhost ~]# ipvsadm -A -t 192.168.0.88:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.0.88:80 -r 172.16.0.8:80 -m
[root@localhost ~]# ipvsadm -a -t 192.168.0.88:80 -r 172.16.0.9:80 -m
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.88:80 rr
  -> 172.16.0.8:80                Masq    1      0          0         
  -> 172.16.0.9:80                Masq    1      0          0
#这样就定义好了以rr调度算法的nat类型LVS　　③、测试实验结果（这里为了看出实验结果，172.16.0.8首页内容为MY WEB2，172.16.0.9首页内容为MY WEB1）：
[root@localhost ~]# curl http://192.168.0.88
MY WEB2
[root@localhost ~]# curl http://192.168.0.88
MY WEB1
[root@localhost ~]# curl http://192.168.0.88
MY WEB2
[root@localhost ~]# curl http://192.168.0.88
MY WEB1
[root@localhost ~]# curl http://192.168.0.88
MY WEB2
[root@localhost ~]# curl http://192.168.0.88
MY WEB1
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.88:80 rr
  -> 172.16.0.8:80                Masq    1      0          3  
  -> 172.16.0.9:80                Masq    1      0          3
#因为我们使用了rr调度算法，所以每次访问都会进行轮询　　ipvs的机制和netfilter的机制一样，都是运行在内核内存中，所以我们定义的规则重启服务器后将会消失，所以建议配置、测试没问题后对规则进行导出保存
[root@localhost ~]# ipvsadm -S > /etc/sysconfig/ipvsadm
[root@localhost ~]# cat /etc/sysconfig/ipvsadm
-A -t 192.168.0.88:http -s rr
-a -t 192.168.0.88:http -r 172.16.0.8:http -m -w 1
-a -t 192.168.0.88:http -r 172.16.0.9:http -m -w 1
[root@localhost ~]# ipvsadm -R < /etc/sysconfig/ipvsadm
#把规则导入到ipvs中　　

　　八、LVS/DR类型实验步骤
　　①、拓扑图

　　②、实验步骤
　　Director服务器上配置
[root@localhost network-scripts]# ifconfig eno16777736:0 192.168.0.8/32 broadcast 192.168.0.8 up
[root@localhost network-scripts]# route add -host 192.168.0.8 dev eno16777736:0
#配置Director的VIP地址，并指定掩码位32为，仅广播给自己
[root@localhost ~]# ipvsadm -A -t 192.168.0.8:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.0.8:80 -r 192.168.0.21 -g
[root@localhost ~]# ipvsadm -a -t 192.168.0.8:80 -r 192.168.0.22 -g
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.8:80 rr
  -> 192.168.0.21:80              Route   1      0          0         
  -> 192.168.0.22:80              Route   1      0          0　　Real server服务器上配置
[root@wlw ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@wlw ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
[root@wlw ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@wlw ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
#让其不接受arp广播和不通告arp广播
[root@wlw ~]# ifconfig lo:0 192.168.0.8/32 broadcast 192.168.0.8/32 up
[root@wlw ~]# route add -host 192.168.0.8 dev lo:0　　③、测试实验结果（这里为了看出实验结果，192.168.0.21首页内容为MY WEB2，192.168.0.22首页内容为MY WEB1）：
[root@localhost ~]# curl http://192.168.0.8
MY WEB2
[root@localhost ~]# curl http://192.168.0.8
MY WEB1
[root@localhost ~]# curl http://192.168.0.8
MY WEB2
[root@localhost ~]# curl http://192.168.0.8
MY WEB1
[root@localhost ~]# curl http://192.168.0.8
MY WEB2
[root@localhost ~]# curl http://192.168.0.8
MY WEB1
[root@localhost ~]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.88:80 rr
  -> 172.16.0.8:80                Route    1      0          3  
  -> 172.16.0.9:80                Route    1      0          3