linux集群系列(4)

lujiguo115

一、简介
1.1. lvs的持久连接简介
  先说说lvs的持久连接能干什么：无论你选择lvs的何种转发策略，如果你想确定来自某一个客户端的所有连接均返回到同一台Real Server,就需要LVS的持久连接了。经常用于SSL,建立一个SSL连接，需要交换SSL密钥，当启用持久性连接时，只需要做一次验证即可。


  显然LVS持久连接的定义也就知道了：某一个周期（时间段）之内，来自于同一个用户的请求，都转向同一个RS。




1.2. 持久连接模板：


  当使用LVS持久连接时，分发器使用一个连接跟踪（持久连接模板）使所有来自同一客户端的连接被标记为相同的real server；而当客户端向集群服务器请求连接时，分发器（director）会查看持久连接模板，是否real server已经被标记为这种类型的连接，若没有，director重新为每次连接创建一个正常连接的跟踪记录表（持久连接模板）。




1.3. 持久连接超时：


我们可以在director使用ipvsadm为持久连接模板规定一个具体的时间段,如果记数器归零，而且是激活状态（客户端一直在和real server通信），不管你设置的持久连接时长是多少，记录器将会重置一个默认值2分钟，并开始计数，下降为零后，再开始再一下重置。




1.4. 持久连接类型：


PCC（persistent client connections）：持久的客户端连接，也叫做零端口的持久连接；
#ipvsadm -A 192.168.0.10:0 -s rr -p [6000](只需将VIP的端口设为0接口表示所有端口都持久)


PPC（persistent port connections）：持久的端口连接；
一个持久端口连接到同一个real server强制所有从客户端计算机的连接为一个特定的目的端口号


# ipvsadm -A 192.168.0.10:80 -s rr -p [6000]



PNMPP（Persistent Netfilter Marked Packet persistence）：基于防火墙标记的持久性连接；
这种防火墙标记仅在数据包在分发器上时有影响，数据包一旦离开director，就不再被标记。
把多个目标端口标记为同一个标记mark(1~99)，持久后保证可以cookie、session可用。
# ipvsadm -A -f mark -s rr -p [600]
# ipvsadm -a -f mark -r 192.168.10.12 -g
# ipvsadm -a -f mark -r 192.168.10.13 -g



案例示意拓扑：

二、手动配制示例


2.1. 实验环境：



案例1. 持久的端口连接ppc




director配置：


ipvsadm  -A -t 192.168.2.254:0 -s rr -p


ipvsadm  -a -t 192.168.2.254:0 -t 192.168.2.10 -g  //-g:使用网关直接路由


ipvsadm  -a -t 192.168.2.254:0 -t 192.168.2.10 -g








service ipvsadm save    //保存配置
service ipvsadm start   //启动服务
server1与server2同：


[root@smb html]# echo 1 >  /proc/sys/net/ipv4/conf/lo/arp_ignore


[root@smb html]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce


[root@smb html]# echo 1 >  /proc/sys/net/ipv4/conf/all/arp_ignore


[root@smb html]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce


# ifconfig lo:0 192.168.2.254 netmask 255.255.255.255  配置回环接口


# route add -host 192.168.2.254 dev lo:0        添加默认路由









案例2：持久的客户端连接ppc




#ipvsadm -C                 //清除ipvsadm规则表
#ipvsadm -At 192.168.2.254:80 -s rr -p 1800  //80端口


# ipvsadm -at 192.168.2.254:80 -r 192.168.2.20 -g


# ipvsadm -At 192.168.2.254:3306 -s rr -p 1800


# ipvsadm -at 192.168.2.254:3306 -r 192.168.2.10 -g








# ipvsadm -At 192.168.2.254:22 -s rr -p      //22端口，使用默认时间300秒
# ipvsadm -at 192.168.2.254:22 -r 192.168.2.10 -g   //-g:使用网关直接路由


# ipvsadm -At 192.168.2.254:80 -s rr -p


# ipvsadm -at 192.168.2.254:80 -r 192.168.2.20 -g
#service ipvsadm save    //保存配置
#service ipvsadm start    //启动服务

可通过ipvsadm -Ln来查看策略匹配情况，








案例3: ftp持久连接，防火墙标记




#ipvsadm -C     //清除ipvsadm规则表
#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 21 -j MARK --set-mark 10


#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 10000:20000 -j MARK --set-mark 10


#ipvsadm -A -f 10 -s rr -p 1800


#ipvsadm -a -f 10 -r 192.168.2.10 -g  //-g:使用网关直接路由


#ipvsadm -a -f 10 -r 192.168.2.20 -g
#service ipvsadm save    //保存配置
#service ipvsadm start    //启动服务

案例4：http与https


#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 80 -j MARK --set-mark 80


#iptables -t mangle -A PREROUTING -d 192.168.2.254 -p tcp --dport 443 -j MARK --set-mark 80


#ipvsadm -C
# ipvsadm -A -f 80 -s rr -p 300     //修改时间为300秒


# ipvsadm -a -f 80 -r 192.168.2.10 -g  //-g:使用网关直接路由


# ipvsadm -a -f 80 -r 192.168.2.20 -g
#service ipvsadm save                //保存配置
#service ipvsadm start                //启动服务

对于ca的配置略，







案例5：

Real Server: 10.109.134.203 /10.109.134.204
[root@localhost ~]# chkconfig telnet on
[root@localhost ~]# service xinetd restart
Stopping xinetd:              [  OK  ]
Starting xinetd:              [  OK  ]
[root@localhost ~]# netstat -tnlp

...
tcp     0      0 :::80      :::*     LISTEN      7983/httpd
tcp     0      0 :::22      :::*     LISTEN      1501/sshd
tcp     0      0 :::23      :::*     LISTEN      8350/xinetd
...
[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd hadoop


DR:10.109.134.210
[root@localhost ~]# ipvsadm -A -t 10.109.134.210:23 -s rr
[root@localhost ~]# ipvsadm -a -t 10.109.134.210:23 -r 10.109.134.203 -g -w 2
[root@localhost ~]# ipvsadm -a -t 10.109.134.210:23 -r 10.109.134.204 -g -w 1
[root@localhost ~]# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port      Forward Weight ActiveConn InActConn
TCP  10.109.134.210:http rr persistent 900
  -> 10.109.134.204:http    Route   3   0     0
  -> 10.109.134.203:http    Route   1   0     0
TCP  10.109.134.210:telnet rr persistent 3600
  -> 10.109.134.204:telnet   Route   1   1     0
  -> 10.109.134.203:telnet   Route   2   1     0


若要实现持久连接
[root@localhost ~]# ipvsadm -E -t 10.109.134.210:23 -s rr -p 3600


若要实现多服务的标记持久连接
ipvsadm -C
iptables -t mangle -A PREROUTING -d 10.109.134.210 -i eth0 -p tcp --dport 80 -j mark 6
iptables -t mangle -A PREROUTING -d 10.109.134.210 -i eth0 -p tcp --dport 23 -j mark 6
ipvsadm -A -f 6 -s rr -p 600

ipvsadm -a -f 6 -r 10.109.134.203 -g -w 2
ipvsadm -a -f 6 -r 10.109.134.204 -g -w 1

---end---