初识LVS（二）——LVS的DR工作模式

sxyzy

　　LVS的DR模式介绍
　　LVS在NAT模式下所有的请求和响应报文都需要经过director，尽管LVS工作在内核层不受套接字文件65535的数量限制，但也有可能会成为性能瓶颈（如视频网站），以下介绍LVS的另一种工作模式——dr模式，它是LVS默认的工作模式。与nat模式通过单边修改源或目标的IP地址实现负载均衡功能不同，dr模式则是通过修改mac地址来实现该功能，整个过程中源和目标的IP地址不发生变法。
　　LVS的dr模式工作原理
　　与nat模式下LVS负载均衡器充当内网中RS服务器的网关不同，dr模式下LVS负载均衡器和RS主机各自只需要一块网卡并接在同一个交换机下

　　我们将客户端向服务器端发出请求，经过网络上路由器层层转发后，到达LVS服务器所在网络的接口IP地址设为CIP，此时数据报文中源地址是CIP；目标地址是VIP

　　由于本地网络中计算机之间是通过mac地址进行通信，此时路由器的CIP接口会向本地网络发出广播索要VIP接口的mac地址，VIP接口接收到广播后上报自己的mac地址，数据报文在IP地址上再封装一层mac地址后发送给LVS负载均衡器

　　LVS负载均衡器在接收到请求后拆掉mac地址，根据设置的调度规则，选定一个服务器（以服务器1为例），并将目标mac地址改为RIP1的mac地址后发还给路由器的CIP接口，此处需要注意的是director只能通过DIP与realserver通信，所以LVS负载均衡器上同时还要配置一个DIP地址

　　路由器的CIP接口在接收到修改过目标mac地址的报文后从新将数据报发给新mac地址所对应的服务器1，当服务器1接收到请求后拆掉mac报发现请求的地址是VIP，所以realserver上还需要配置VIP地址，否则请求将会被丢弃，且realserver的VIP地址绑在回环接口上，避免地址发生冲突，与此同时又引入一个新问题：在之前过程中广播寻找VIP地址时director和realserver都会相应，通过修改realserver内核参数避免这种情况的产生

　　服务器处理完请求后直接将结果返回给客户端而不再经过director

　　arp抑制功能
　　realserver为了避免在本地网络中广播索要VIP的mac地址时，需要修改内核参数开启arp抑制功能，修改的参数是arp_announce和arp_ignore，下面分别进行说明。
　　1.arp_announce
　　主动向外通告计算机所有的IP地址，arp_announce有0、1、2三个值，0为默认值，如下图所示，1.1会向1.2通告所有的IP地址包括2.1和3.1，同理2.1和3.1也会向各自所在的网段通告本机所有的IP，由于realserver不能和director去抢着响应VIP的广播，所以在realserver上需要将arp_announce值设置为2

　　2.arp_ignore
　　请求从哪个接口进来该接口才做出响应，其余接口不做响应，以上图为例，请求从1.1接口进来，所以只有1.1接口做出回应，2.1和3.1接口不做响应，arp_ignore有9个值，0为默认值，如下图所示，此处需要将arp_ignore值设置为1，另外需要注意的是arp抑制的操作应在给realserver设置VIP之前完成

　　总结
　　1.lvs-dr模式它通过修改请求报文的目标MAC地址进行转发，请求报文经由director调度，响应报文不经过director
　　2.director上配置DIP和VIP，realserver上配置RIP和VIP，同时启用realserver的arp抑制功能
　　3.realserver跟director必须在同一物理网络中，可以是不同的vlan，只要中间没有路由设备；RS的RIP可以使用私有地址但也可以使用公网地址
　　4.因为响应报文不经过director，所以不支持端口映射；
　　5.realserver可以大多数支持设置arp抑制的系统；
　　6.realserver的网关不能指向DIP
　　操作步骤
　　网络拓扑

　　LVS负载均衡器和web服务器系统版本均为CentOS6.8，LVS负载均衡器有1张网卡，VIP地址配置在本地接口别名上，安装ipvsadm作为director，web服务器为realserver，安装httpd提供页面服务，VIP配置在本地回环接口别名上，此处便于演示效果让2台web服务器页面不一致，安装步骤省却。
　　操作步骤
　　1.将VIP地址设置在director本地接口别名或回环接口上（本地网络中是通过广播寻找VIP地址，所以在那个接口无所谓，如果使用ip addr add命令可以直接在eth0上设置多个地址），并查看是否生效

2.指定LVS的director服务器，并选择调度模式；指定realserver服务器并设置数据转发类型，查看设置是否生效

　　3.保存ipvsadm当前配置，指定一个保存文件，便于清理后从该文件恢复配置

　　4.realserver服务器做arp抑制，抑制时注意将所有端口都要进行设置，除了all之外由于RIP是设置在eth0上与外部通信，所以也要进行设置

5.将VIP配置在realserver的回环地址上，并添加路由，要求前往172.16.10.100的流量必须从经过lo:0接口。如果使用ip addr add命令可以直接在eth0或lo上设置，且不需要添加路由

　　6.确认realserver的网关一定不能指向DIP，至此操作全部完成

　　补充说明
　　本地接口和回环接口
　　本地接口是一个真实的物理接口，自身有mac地址；而会换接口是一个逻辑接口没有mac地址。本地接口别名和本地接口可以是不同的IP地址，但使用相同的mac地址；而回环接口和回环地址别名有不同的IP地址，但都没有mac地址。
　　所以当director将目标mac地址更改完后realserver是通过RIP的接口接收到，发现mac地址就是自己的本地接口后拆掉mac地址，发现目标IP是VIP，而VIP配置在环回地址的别名上，所以此时需要使用route add -host 172.16.10.100 dev lo:0

　　而当数据报文返回时由于是从RIP接口进来应该直接由RIP接口返回，但是客户端请求的是VIP的地址，此时又强行让数据报文先经过VIP，整个lvs-dr模式工作流程如下：

　　1.客户端向VIP地址发起请求
　　2.本地网络通过广播形式寻找VIP的mac地址，director进行响应并接受请求
　　3.director根据设置的调度规则选定一个负责处理的realserver，并将目标mac地址改为对应realserver的mac地址
　　4.按照新的目标mac地址重新发出请求，RIP接口发现目标mac地址就是自己拆封后发现目标IP是本地回环接口上的IP，交由本地回环接口处理
　　5.由于数据报文时从物理接口流入，守护进程处理完后交由物理接口返还客户端
　　6.但此时物理接口上的IP为RIP并不是客户端请求的VIP，所以数据报文被强行指向VIP的环回接口
　　7.回环接口封装完IP地址后再封装物理接口的mac地址，将结果返回客户端