LVS负载均衡

wqee2

相关术语：

跟Host相关:

Director：调度器----提供调度的主机

Real Server: RS，后端提供服务的主机

跟IP相关：

Client: CIP----客户端ip地址

Director Virtual IP: VIP---面向客户端的ip地址（做单点高可用时用vip）

Directory IP: DIP---跟后端主机的ip地址

Real IP: RIP---实际提供服务的ip地址

一、LVS简介

LVS是什么呢？lvs的全称是Linux Virtual Server，由国防科技大学副教授章文嵩在1998年5月研发的一个虚拟的服务器集群系统。

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。

二、LVS组成部分以及类型

1.LVS的组成部分
    LVS是由ipvs和ipvsadm两部分组成。ipvs工作在内核，ipvsadm工作在用户空间，是一个为ipvs提供定义集群服务、以及使用何种调度方法的工具，类似于netfilter跟iptables的关系。此外，ipvs工作于netfilter的INPUT链； ipvsadm用于在ipvs上定义集群服务：同时也得定义此集群服务对应于有哪个后端主机可用；根据所指定的调度方法（算法）作出调度决策；真正实现调度的是工作于内核空间的ipvs，而且ipvs将接受来自ipvsadm所生成的规则，并让这个规则在INPUT链上真正生效起来。

2.lvs的四种类型：

lvs-nat	也称masquerade，基于地址伪装
lvs-dr	也称directrouting，直接路由
lvs-tun	tunneling，有隧道之意，基于ip隧道
lvs-fullnat	fullnat，完全nat，既改目标ip又改源ip

2.1.lvs-nat：类似于iptables中的DNAT, 但支持多目标转发；

它通过修改请求报文的目标地址为根据调度算法所挑选出的某RS的RIP来进行转发；

                     架构特性：

(1) RS应该使用私有地址，即RIP应该为私有地址；各RS的网关必须指向DIP；

(2) 请求和响应报文都经由Director转发；高负载场景中，Director易于成为系统瓶颈；

(3) 支持端口映射；

(4) RS可以使用任意类型的OS;

(5) RS的RIP必须与Director的DIP在同一网络；

2.2.lvs-dr：直接路由

Director在实现转发时不修改请求的IP首部，而是通过直接封装MAC首部完成转发；目标MAC是Director根据调度方法挑选出某RS的MAC地址；拓扑结构有别有NAT类型；

                     架构特性：

(1) 保证前端路由器将目标地址为VIP的请求报文通过ARP地址解析后送往Director

解决方案两种：

(1)静态绑定：在前端路由直接将VIP对应的目标MAC静态配置为Director的MAC地址；

(2)arptables：在各RS上，通过arptables规则拒绝其响应对VIP的ARP广播请求；

(3)内核参数(容易实现的方案)：在RS上修改内核参数，并结合地址的配置方式实现拒绝响应对VIP的ARP广播请求；

(2) RS的RIP可以使用私有地址；但也可以使用公网地址，此时可通过互联网上的主机直接对此RS发起管理操作；

(3) 请求报文必须经由Director调度，但响应报文必须不能经由Director;

(4)各RIP必须与DIP在同一个物理网络中；

(5) 不支持端口映射；

(6) RS可以使用大多数的OS；

(7) RS的网关一定不能指向Director；

2.3.lvs-tun: 不修改请求报文IP首部，而是通过IP隧道机制在原有的IP报文之外再封装IP首部，经由互联网把请求报文交给选定的RS；

架构特性：

(1) RIP, DIP, VIP都是公网地址；

(2) RS的网关不能，也不可能指向DIP;

(3) 请求报文由Director分发，但响应报文直接由RS响应给Client；

(4) 不支持端口映射；

(5) RS的OS必须得支持IP隧道;

2.4.lvs-fullnat：通过请求报文的源地址为DIP，目标为RIP来实现转发；对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发；

架构特性：

(1) RIP,DIP可以使用私有地址；

(2) RIP和DIP可以不在同一个网络中，且RIP的网关未必需要指向DIP；

(3) 支持端口映射；

(4) RS的OS可以使用任意类型；

(5) 请求报文经由Director，响应报文经由Direct

三、LVS的scheduler（LVS调度方法）

四、ipvsadm工具的使用

4.1管理集群服务：

a.创建或修改集群服务：

ipvsadm -A|E -t|u|f service-address [-sscheduler]

选项：

-A: 添加

-E：修改

-t: 承载的应用层协议为基于TCP协议提供服务的协议；其service-address的格式为“VIP:PORT”，如“172.16.100.6:80”；

-u: 承载的应用层协议为基于UDP协议提供服务的协议；其service-address的格式为“VIP:PORT”，如“172.16.100.6:53”；

-f:承载的应用层协议为基于TCP或UDP协议提供服务的协议，但此类报文会经由iptables/netfilter打标记，即为防火墙标记；其service-address的格式为“FWM”，即一个数字，例如“10”；（比如将web服务的80端口和https的443端口归类为同一个服务类，此时就需要将此类报文都打上防火墙标记为10，即可归为同一类了）

-s scheduler: 指明调度方法；默认为wlc；

b.删除集群服务：

ipvsadm -D -t|u|f service-address

4.2管理集群服务上的RS：

a.添加或修改RS(在现存的集群服务上)：

ipvsadm -a|e -t|u|fservice-address -r server-address [-g|i|m] [-w weight]

选项：

                   -rserver-address: 指明RS，server-address格式一般为“IP[:PORT]”；

【注意，只支持端口映射的lvs类型中才应该显式定义此处端口，否则不用写port,比如NAT,FULLNAT 需要指明端口】例如：-r 192.168.10.7:80

    [-g|i|m]: 指明lvs类型

    -g: gateway，意为dr类型；

    -i: ipip, 意为tun类型；

    -m: masquerade（伪装之意）, 意为nat类型；

    [-w weight]：当前RS的权重；

【注意：仅对于支持加权调度的scheduler，权重才有意义；】

        b.删除RS：

ipvsadm -d -t|u|f service-address -r server-address

4.3清空所有集群服务的定义：

    ipvsadm -C

4.4保存及恢复集群服务及RS的定义：

ipvsadm -S > /etc/sysconfig/ipvsadm

ipvsadm-save > /etc/sysconfig/ipvsadm

service ipvsadm save

ipvsadm -R < /etc/sysconfig/ipvsadm

ipvsadm-restore < /etc/sysconfig/ipvsadm

service ipvsadm restart

4.5查看规则：

ipvsadm -L|l [options]

-c: 列出当前所有connection；

--stats: 列出统计数据

--rate: 列出速率

-n,--numeric: 数字格式显示IP及端口；（而不要反解成服务名或主机名）    --exact: 精确值；

4.6清空计数器：

ipvsadm -Z[-t|u|f service-address]