lvs tunnel模式配置原理说明

uf123

　　在LVS的Tunnel模式里，数据包通过VIP地址到达LB后，会被重新封装，在原有数据报外加上RS的真实IP地址并发送给RS。
　　RS在收到数据包（ipip-proto协议）后，会解包并将包直接转发给之前配置的tunl端口VIP地址。后续RS处理数据包后，将返回数据包直接发给给客户端而无需经过LB。
　　使用Tunnel模式的LVS相比NAT模式，从RS返回客户端的数据包不用经过LB，减轻了LB的压力。另一方面，相比于DR模式，RS和LB在网络上没有限制条件，网络上更加灵活。
　　实验环境：
　　client:10.1.1.1
　　LB:10.2.2.2(VIP:10.2.2.3:80)
　　RS:10.3.3.3（启用HTTP服务）
　　LB配置：
#ifconfig eth0:0 10.2.2.3 netmask 255.255.255.255 broadcast 10.2.2.3 up
#ipvsadm -A -t 10.2.2.3:80 -s rr
#ipvsadm -a -t 10.2.2.3:80 -r 10.3.3.3 -i (-i 为tunnel模式）
　　RS配置：
　　ifconfig tunl0 10.2.2.3 netmask 255.255.255.255 broadcast 10.2.2.3 up （设置漂移IP，注意此处一定是tunl0设备）
　　echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
　　echo 1 >/proc/sys/net/ipv4/conf/default/rp_filter
　　从client使用命令curl 10.2.2.3，在LB和RS上抓包
　　LB上：
　　# tcpdump host 10.1.1.1 or host 10.3.3.3
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
21:07:23.178051 IP 10.1.1.1.58749 > 10.2.2.3.http: S 954375443:954375443(0) win 5840
21:07:23.182300 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: S 954375443:954375443(0) win 5840  (ipip-proto-4)
21:07:23.179795 IP 10.1.1.1.58749 > 10.2.2.3.http: . ack 3018764771 win 46
21:07:23.179804 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: . ack 1 win 46  (ipip-proto-4)
21:07:23.179822 IP 10.1.1.1.58749 > 10.2.2.3.http: P 0:158(158) ack 1 win 46
21:07:23.179826 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: P 0:158(158) ack 1 win 46  (ipip-proto-4)
21:07:23.182035 IP 10.1.1.1.tbsite.net.58749 > 10.2.2.3.http: . ack 283 win 54
21:07:23.182045 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: . ack 283 win 54  (ipip-proto-4)
21:07:23.182150 IP 10.1.1.1.58749 > 10.2.2.3.http: F 158:158(0) ack 284 win 54
21:07:23.182155 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: F 158:158(0) ack 284 win 54  (ipip-proto-4)
　　RS上：
　　# tcpdump host 10.2.2.2 or host 10.1.1.1 |grep -v vrrp
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
21:07:23.178964 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: S 954375443:954375443(0) win 5840  (ipip-proto-4)
21:07:23.179006 IP 10.2.2.3.http > 10.1.1.1:58749: S 3018764770:3018764770(0) ack 954375444 win 5792
21:07:23.180837 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: . ack 1 win 46  (ipip-proto-4)
21:07:23.180844 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: P 1:159(158) ack 1 win 46  (ipip-proto-4)
21:07:23.180878 IP 10.2.2.3.http > 10.1.1.1.58749: . ack 159 win 54
21:07:23.181330 IP 10.2.2.3.http > 10.1.1.1.58749: P 1:283(282) ack 159 win 54
21:07:23.181460 IP 10.2.2.3.http > 10.1.1.1.58749: F 283:283(0) ack 159 win 54
21:07:23.182970 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: . ack 283 win 54  (ipip-proto-4)
21:07:23.183084 IP 10.2.2.2 > 10.3.3.3: IP 10.1.1.1.58749 > 10.2.2.3.http: F 159:159(0) ack 284 win 54  (ipip-proto-4)
21:07:23.183096 IP 10.2.2.3.http > 10.1.1.1.58749: . ack 160 win 54
　　看懂没，从RS返回client的包确实没有经过LB，而是直接发给了client。

cn539

学习 了 。