LVS详解

ktyu65

LVS概述
1、LVS（Linux Virtual Server）Linux虚拟服务器：是一个虚拟的服务器集群系统。本项目在1998年5月有章文嵩博士成立，是中国国内最早出现的自由软件项目之一。通过LVS提供的负载均衡技术和Linux操作系统可实现一个高性能、高可用的服务器集群，从而以低成本实现最优的服务性能。
2、集群简介：集群（Cluster）是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群系统的主要优点：高可扩展性、高可用性、高性能、高性价比。
3、集群类型
    LB：Load Balancing 高可拓展，伸缩集群
    HA ：High Availability 高可用集群
    HP：High Performance 高性能集群
LVS详解

一、LVS组成：LVS其实由两个组件组成，在用户空间的ipvsadm和内核空间的ipvs，ipvs工作于INPUT链上，如果有请求报文被ipvs事先定义，就会将请求报文直接截取下根据其特定的模型修改请求报文，再转发到POSTROUTING链上送出TCP/IP协议栈。

二、LVS的实现模型：LVS在不同场景中提供了4种实现模型：分别是NAT，DR，TUN，FULLNAT。
1、NAT工作模式
实现原理：NAT模型其实就是一个多路的DNAT，客户端对VIP进行请求，Director通过事先指定好的调度算法计算出应该转发到那台RS上，并修改请求报文的目标地址为RIP，通过DIP送往RS。当RS响应客户端报文给CIP，在经过Director时，Director又会修改源地址为VIP并将响应报文发送给客户端，这段过程对于用户来说是透明的。
NAT特性：
1）RS和Director必须要在同一个IP网段中。
2）RS的网关必须指向DIP
3）可以实现端口映射

4）请求报文和响应报文都会经过Director
5）RS可以是任意OS
6）DIP和RIP只能是内网IP

2、DR工作模式

DR模型是一个比较复杂的模型，因为VIP在Director和每一个RS上都存在，客户端对VIP（Director）请求时，Director接收到请求，会将请求报文的源MAC地址和目标MAC地址修改为本机DIP所在网卡的MAC地址和指定的RS的RIP所在网卡的MAC地址，RS接收到请求报文后直接对CIP发出响应报文，而不需要经过Director。
DR特性：
1）RS和Director可以不在同一IP网段中，但是一定要在同一物理网络中。（最好同一网段）
2）RS可以使用公网地址，此时可以直接通过互联网连入，配置监控RS服务器。
3）RS的网关一定不能指向Director。
4）客户端请求报文必须经过Director，但是响应报文一定不能通过Director。
5）不能实现端口映射。
6）RS可以是大部分操作系统。
DR模型的问题（客户请求VIP怎么到达Director）：
1）网络设备（路由器）中设置VIP地址和Director的MAC地址进行绑定。（前提：路由器的配置权限；缺点：Director故障转移，无法更新此绑定；）
2）arptables（前提：在各RS安装arptables程序，并编写arptables规则；缺点：依赖于独特功能的应用程序；）
3）修改Linux内核参数，arp_ignore，arp_announce（前提：RS必须是Linux；缺点：适用性差；）
两个参数的取值含义：

    arp_announce：定义通告模式

            0：default，只要主机接入网络，则自动通告所有网卡MAC地址。

            1：尽力不通告非直接连入网络的网卡MAC地址。
            2：只通告直接进入网络的网卡MAC地址。

    arp_ignore：定义收到arp请求时的响应模式                        
            0：只有arp广播请求，马上响应，并且响应所有本机网卡的mac地址。

            1：只响应，接受arp广播请求的网卡接口mac地址。

            2：只响应，接受arp广播请求的网卡接口mac地址，并且需要请求广播于接口地址属于同一网段。
            3：主机范围（Scope host）内生效的接口，不予响应，只响应全局生效于外网能通信的网卡接口。

            4-7：保留位

            8：不响应一切arp广播请求。


3、TUN：IP隧道，IP报文中套IP报文
TUN模型通过隧道的方式在公网中实现请求报文的转发，客户端请求VIP（Director），Director不修改请求报文的源IP和目标IP，而是在IP首部前附加DIP和对应的RIP地址并转发到RIP上，RS收到请求报文，RS的本地接口上也有VIP，遂直接响应报文给CIP。
TUN特性
1）RIP，DIP，VIP都必须是公网地址。
2）RS网关不会指向DIP。
3）请求报文必须经过Director，但响应报文一定不经过Director。
4）不支持端口映射。
5）RS的OS(操作系统)必须得支持隧道功能。

4、FullNAT：NAT的增强版
FULLNAT是最近几年才出现的，客户端请求VIP（Director），Director修改请求报文的源地址（DIP）和目标地址（RIP）并转发给RS，FULLNAT模型一般是Director和RS处于复杂的内网环境中的实现。
FULLNAT特性：
1）VIP是公网地址，DIP和RIP是内网地址，但是无需在同一网络中。
2）请求报文需要经过Director，响应报文也要经过Director。
3）RIP接收到的请求报文的源地址为DIP，目标地址为RIP。
4）支持端口映射。
5）RS可以是任意的OS（操作系统）。

三、LVS的调度算法

静态方法：仅根据调度算法本身进行调度

1 2 3 4

rr：round robin，轮流，轮训，轮叫，轮调 wrr：weighted round robin，加强轮询 sh：source hashing，session绑定 dh：destination hashing,目标地址hash

动态方法：根据算法及各RS当前的负载状况进行调度

1 2 3 4 5 6

lc：least connection，最少连接 wlc：weighted lc，加权最少连接 sed：shortest expection delay，最少期望延迟 nq：never queue，永不排队 lblc：Locality-Based Least Connection，基于局部性的最少连接 lblcr：Replicated lblc，基于局部性的带复制功能的最少连接

四、LVS配置（ipvsadm）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54

命令格式： ipvsadm -A|E -t|u|f service-address [-s scheduler]               [-p [timeout]] [-M netmask]       ipvsadm -D -t|u|f service-address       ipvsadm -C       ipvsadm -R       ipvsadm -S [-n]       ipvsadm -a|e -t|u|f service-address -r server-address               [-g|i|m] [-w weight] [-x upper] [-y lower]       ipvsadm -d -t|u|f service-address -r server-address       ipvsadm -L|l [options]       ipvsadm -Z [-t|u|f service-address]       ipvsadm --set tcp tcpfin udp       ipvsadm --start-daemon state [--mcast-interface interface]               [--syncid syncid]       ipvsadm --stop-daemon state       ipvsadm -h 命令详解：     定义集群服务：         -A 添加一个集群服务         -D 删除一个集群服务         -E 修改一个集群服务         -t VIP:端口 定义集群服务的类型为TCP的某个端口         -u VIP:端口 定义集群服务的类型为UDP的某个端口         -f 防火墙标记 定义集群服务的类型为防火墙标记         -s 调度算法 指定集群服务的调度算法     定义集群节点：         -a 添加一个节点到集群服务         -d 从集群服务中删除一个节点         -e 修改集群服务器中的节点         -r 节点IP:端口  定义节点的IP及类型         -m 定义为NAT模型         -g 定义为DR模型         -i 定义为TUN模型         -w 权重 定义服务器的权重     查看已经定义的集群服务及RS：         ipvsadm -L -n             -c: 查看各连接             --stats: 统计数据             --rate:　速率             --exact: 精确值     从集群服务中删除RS：         ipvsadm -d -t|u|f service-address -r server-address     删除集群服务：         ipvsadm -D -t|u|f service-address     清空所有的集群服务：         ipvsadm -C     保存集群服务定义：         ipvsadm -S > /path/to/some_rule_file         ipvsadm-save > /path/to/some_rule_file     让规则文件中的规则生效：         ipvsadm -R < /path/from/some_rule_file         ipvsadm-restore < /path/from/some_rule_file