Linux集群之LVS

dsfwqd

一、LVS简介
  LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。
  负载均衡集群（Load Balancing，简称为LB）从工作在协议层来划分为TCP和应用层；TCP协议层是根据请求的目标地址和端口进行调度；应用层协议是根据请求的内容进行调度，而且此种调度为“代理”方式，即反向代理。

二、LVS组成
  LVS软件由ipvs和ipvsadm两个程序组成，ipvs是工作在内核中的；ipvsadm是工作在用户空间，将为工作在内核空间的ipvs定义集群服务，作出调度决策算法的功能的一种工具，从功能上来看类似于netfilt.
2.1 LVS工作原理
  ipvs工作于netfilter的INPUT链上；ipvsadm用于在ipvs上定义集群服务：同时也得定义此集群服务对应于有哪个后端主机可用；根据所指定的调度方法（算法）作出调度决策；

  当用户的请求到达本机时，首先经由PREROUTING链，到达PREROUTING链后进行路由判断，经路由判断后发现是送往本机的，将用户请求送往INPUT链接中，此时ipvs将检查INPUT链上的所有经过的报文，判断是不是请求的集群服务，如果请求的是集群服务，ipvs将“拦下”服务，经过调度算法挑选出一个时先定义好的主机，并将用户请求服务转发出去，经由网络将用户请求送往后端主机并为用户提供服务响应。

2.2 LVS常见术语约定
  为用户提供挑选后端服务器的主机称为调度器（Director）；后端提供服务的主机称为Real Server （简写为RS）。
  客户端（Client）的IP称为CIP；被DNS域名解析后的IP称为VIP（Director Virtual IP）；调度器面向后方的集群的IP称为DIP（Director IP）；Real Server服务器上的IP称为RIP（Real Server）。

2.3 LVS的类型
  LVS的类型分为lvs-nat、lvs-dr、lvs-tun、lvs-fullnat。

三、lvs-nat
  lvs-nat非常类似于DNAT，支持多目标转发，它是通过修改请求报文的目标地址并根据调度算法所挑选出的某RS的RIP来进行转发。

  当用户请求报文到达Director时，源地址为CIP目标地址为VIP，Director经过内部路由后发现是送往本机的，就送往INPUT链，ipvs将检查在INPUT链发现对CIP请求的是集群服务，根据在ipvs中指明的RS1和RS2，并根据内部的调度算法，挑选出一台RS为本次请求服务，此时更改请求报文中的目标地址改为挑选出的RS的IP地址如“CIP：RIP1”，并经由forward链转发出去，在报文到达RS1服务器是源地址是CIP目标地址是RS1的IP地址（即本机的IP地址），本机运行着有用户请求服务，RS1进行报文响应，响应报文的源地址是RIP1，目标地址是CIP，即“RIP1：CIP”；到响应报文达到Director时，Director根据内部的NAT追踪机制，发现用户访问的是CIP，因此Director将进行修改源地址为VIP，报文格式“VIP：CIP”。

lvs-nat架构特性：

(1) RS应该使用私有地址，即RIP应该为私有地址；各RS的网关必须指向DIP；

(2) 请求和响应报文都经由Director转发；高负载场景中，Director易于成为系统瓶颈；

(3) 支持端口映射；

(4) RS可以使用任意类型的OS;

(5) RS的RIP必须与Director的DIP在同一网络；

四、lvs-dr
  lvs-dr模型即为直接路由；Director在实现转发时不修改请求的IP首部，而是通过直接封装MAC首部完成转发；目标MAC是Director根据调度方法挑选出某RS的MAC地址；拓扑结构有别有NAT类型；

  当用户请求到达路由器，路由器经过路由到达交换机，并把用户请求交给Director，Director经过调度至RS服务器，RS服务器在响应是并不经过Director，而是直接经交换机-->路由器送往用户。

  在Director服务器的网卡上配置DIP，在网卡别名上配置VIP；在RS服务器上的网卡配置RIP，把VIP配置到RS服务器内部的lo网卡的别名上如lo:1。当用户请求到达时，首先到达路由器，路由器通过路由送往另一个接口，此接口经过ARP广播，解析到内网中VIP的MAC地址。此时路由器会收到三个VIP的MAC地址，显然这不是我们希望得到的结果，我们得想办法让RS服务器不能响应路由器ARP广播请求解析得到VIP的MAC地址，或者响应了不让响应请求出去；这样就能保证只有Director的VIP会响应ARP广播请求解析VIP的MAC地址。当路由器得到VIP的MAC地址时，路由器会进行封装报文帧，在源报文的基础上加上自己的MAC地址和ARP广播请求解析VIP的MAC地址，然后报文到达Director服务器，Director发现请求的报文是本机的地址，把报文送往INPUT链，ipvs发现这是一个请求的集群服务，根据调度算法挑选出一个RS如RS1，并ARP广播请求解析RS1的RIP地址的MAC得到RS1的RIP地址的MAC地址，源IP地址和目标IP没有变，只是修改源MAC和目标MAC地址变成了Director的和RS1的RIP的Mac地址。当报文送往RS1服务器，RS1服务器判断源IP和目标IP是自己本机上，并响应服务封装报文，源IP是VIP，目标IP是CIP，将报文发送给RS1设置的网关地址路由器接口。
  此时会有一个问题，在Linux中由哪块网卡发送出去目标IP就是哪块网卡的IP地址，这里可以要求强求报文必须由lo出去，但lo出不去的，可以通过forward链转发出去的。
架构特性：
(1) 保证前端路由器将目标地址为VIP的请求报文通过ARP地址解析后送往Director;
解决方案：
   静态绑定：在前端路由直接将VIP对应的目标MAC静态配置为Director的MAC地址；
    arptables：在各RS上，通过arptables规则拒绝其响应对VIP的ARP广播请求；
   内核参数：在RS上修改内核参数，并结合地址的配置方式实现拒绝响应对VIP的ARP广播请求；
(2) RS的RIP可以使用私有地址；但也可以使用公网地址，此时可通过互联网上的主机直接对此RS发起管理操作（不安全）；
(3) 请求报文必须经由Director调度，但响应报文必须不能经由Director;
(4) 各RIP必须与DIP在同一个物理网络中；
(5) 不支持端口映射；
(6) RS可以使用大多数的OS；
(7) RS的网关一定不能指向Director；

五、lvs-tun
  lvs-tun不修改请求报文IP首部，而是通过IP隧道机制在原有的IP报文之外再封装IP首部，经由互联网把请求报文交给选定的RS；

架构特性：
(1) RIP, DIP, VIP都是公网地址；
(2) RS的网关不能，也不可能指向DIP;
(3) 请求报文由Director分发，但响应报文直接由RS响应给Client；
(4) 不支持端口映射；
(5) RS的OS必须得支持IP隧道;

六、lvs-fullnat
  lvs-fullnat并不是LVS官方的模型，这是由淘宝开发团队开发的一种模型，并没有被官方收录至LVS中，要使用lvs-fullnat模型需要重新经内核打补丁，并重新编译内核。
  lvs-fullnat：通过请求报文的源地址为DIP，目标为RIP来实现转发；对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发；

架构特性：
(1) RIP,DIP可以使用私有地址；
(2) RIP和DIP可以不在同一个网络中，且RIP的网关未必需要指向DIP；
(3) 支持端口映射；
(4) RS的OS可以使用任意类型；
(5) 请求报文经由Director，响应报文经由Director；

七、LVS调度算法

类型	算法	说明
静态方法	RR	round-robin, 轮询；
	WRR	weighted round-robin, 加权轮询；Overhead=conn/weight
	SH	Source ip Hashing，源地址哈希；把来自同一个地址请求，统统定向至此前选定的RS;
	DH	Destination ip Hashing, 目标地址哈希；把访问同一个目标地址的请求，统统定向至此前选定的某RS；
动态方法	LC	least connection：最小连接，Overhead=Active*256+Inactive
	WLC	weighted least connection：加权最小连接，Overhead=(Active*256+Inactive)/weight；默认的调度算法
	SED	Shorted Expection Delay：最短期望延迟，Overhead=(Active+1)*256/weight
	NQ	Never Queue：永不排序
	LBLC	Local-Based Least Connection，基于本地的最小连接：动态方式的DH算法
	LBLCR	Replicated LBLC：带复制的LBLCR

八、LVS-NAT实现
  通过前面的原理介绍，这里来实现一下lvs-nat模型，将要使用三台虚拟机，客户端就用物理机来访问；RS-1和RS-2的网卡要使用Vmware Workstation中的仅主机模式，Director要使用两张网卡，一个用于当VIP一个用于当DIP，DIP网卡要使用仅主机模式与后端RS使用一个私有网络地址；

  Real Server分别开启Web服务器用于测试，页面就是种RealServer的名称，使用rr调度算法进行轮询，这样更容易看出效果。
8.1 RealServer的配置
（1）配置IP地址及网关
ifconfig 192.168.190.81/24 up  #设置IP地址，如果你已经设置好了，此步可以省略的
route add default gw 192.168.190.100   设置默认网关

1 2 3 4 5

[iyunv@RS-1 ~]# route  -n Kernel IP routing table Destination     Gateway         Genmask         Flags Metric Ref    Use Iface 192.168.190.0   0.0.0.0         255.255.255.0   U    0      0        0 eth0 0.0.0.0         192.168.190.100 0.0.0.0         UG   0      0        0 eth0

（2）启动httpd服务
# service httpd start
8.2 Director的配置
（1）配置IP地址
如果你已经设置好了，此步可以省略；

1 2	ifconfigeth0 172.16.9.100/16 up ifconfigeth1 192.168.190.100/24 up

（2）开启路由间转发

1 2	echo 1 > /proc/sys/net/ipv4/ip_forward [iyunv@LVS ~]# cat/proc/sys/net/ipv4/ip_forward

1
（3）配置LVS
如果你没有安装ipvsadm，需要在配置好yum源之后直接yum install ipvsadm即可；

1 2 3 4

ipvsadm -C ipvsadm -A -t 172.16.9.100:80 -s rr ipvsadm -a -t 172.16.9.100:80 -r192.168.190.81:80 -m ipvsadm -a -t 172.16.9.100:80 -r192.168.190.82:80 -m

#-C：表示清空ipvsadm中的所有定义的集群服务
#-A：定义集群服务
#-t：承载的应用层协议为基于TCP协议提供服务的协议；其service-address的格式为“VIP:PORT”，如“172.16.100.6:80”；
#-s：指定调度算法，默认为wlc
#-a：创建集群服务上的RS
#-r：指明RS，server-address格式一般为“IP[:PORT]”；注意，只支持端口映射的lvs类型中才应该显式定义此处端口
#-m：指明LVS的类型为nat

1 2 3 4 5 6 7

[iyunv@LVS ~]# ipvsadm -L -n IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port          Forward Weight ActiveConn InActConn TCP 172.16.9.100:80 rr -> 192.168.190.81:80           Masq    1      0         0          -> 192.168.190.82:80           Masq    1      0         0

  

（4）在浏览器中访问测试
在浏览器中输入VIP的地址，不断的刷新将会出现轮询的效果。





九、LVS-DR实现

  Real Server分别开启Web服务器用于测试，页面就是种RealServer的名称，使用rr调度算法进行轮询，这样更容易看出效果。
9.1 Real Server的配置

         各Real Server的配置都是一样的，这们就介绍一个Real Server的配置即可。
（1）抵制ARP对VIP的请求

1 2 3 4

echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce

（2）配置VIP地址及路由

1 2	ifconfig lo:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up route add -host 172.16.9.100 dev lo:0

（3）启动HTTP服务

1	service httpd start

（4）在浏览器中访问测试




9.2 Director上的配置
（1）配置VIP

1 2	ifconfig eth0:0 172.16.9.100 netmask255.255.255.255 broadcast 172.16.9.100 up route add -host 172.16.9.100 dev eth0:0

（2）配置ipvs服务

1 2 3

ipvsadm-A -t 172.16.9.100:80 -s rr ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.81-g ipvsadm -a -t 172.16.9.100:80 -r 172.16.9.82-g

（3）检查ipvs配置信息

1 2 3 4 5 6 7

[iyunv@node-03 ~]# ipvsadm -L -n IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port          Forward Weight ActiveConn InActConn TCP 172.16.9.100:80 rr -> 17.16.9.81:80               Route   1      0         0         -> 17.16.9.82:80               Route   1      0         0

（4）在浏览器中浏览
不断的刷新将会出现轮询的效果。




完