集群LVS之NAT的应用配置

xuyaxiu

　　一、集群简介
　　集群的总类：
　　    1.负载均衡集群(LB:Load Banlancing):实现将一个访问量或者任务量特别大的应用，给他
　　平均分配到不同的服务器上面，以提供高容量、大并发。
　　    2.高可用集群(HA:High Avalibility):将多台计算机组合起来，避免一个服务因某台机器
　　出现故障，而导致服务中断的，在于保障服务的可持续性。
　　    3.高性能集群(HP:High Performance)又叫科学运算集群:解决复杂的计算，组合起来的集群，一般要很大量的计算机组成。suse用的比较多
　　

　　集群分别代表的软件
　　    LB：负载均衡集群(LB:Load Banlancing)
　　    lvs(Linux Virtual Serverlinux虚拟服务器)：提供更高的吞吐率、提供冗余、更灵活的实用性
　　   lvs:ipvsadm(工作在用户空间)/(ipvs工作在内核空间)和iptables/netfilter类似
　　二、LVS
　　 1、LVS的分类
　　a、Virtual Server via Network Address Translation（VS/NAT）
        通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。
　　    nat类型的特性：
　　1、RS应用使用私有地址；RS的网关必须指向DIP；
　　2、请求和响应都要经过Director；高负载场景中，Director易成为性能瓶颈；
　　3、支持端口映射；
　　4、RS可以使用任意OS；
　　b、Virtual Server via IP Tunneling（VS/TUN）
　　        采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报 文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。
　　
　　    tun类型的特性:
　　1、RIP、VIP、DIP全部是公网地址；
　　2、RS的网关不会也不可能指向DIP；
　　3、请求报文经由Director，但响应报文必须不能经过Director；
　　4、不支持端口映射；
　　5、RS的OS必须支持隧道功能；
　　c、Virtual Server via Direct Routing（VS/DR）
　　        VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地 提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连 在同一物理网段上。
　　    dr类型的特性：
　　1、保证前端路由将目标地址为VIP的报文统统发往Directory，而不能是RS；
　　解决方案：
　　(1) 静态地址绑定：在前端路由器上操作
　　                    问题：未必有路由操作权限
　　(2) aprtables
　　(3) 修改RS上内核参数，将RS上的VIP配置在lo接口的别名上，并限制其不能响应对                       VIP地址解析请求；
　　2、RS可以使用私有地址；但也可以使用公网地址，此时可通过互联网通过RIP对其直接访问；
　　3、RS跟Directory必须在同一物理网络中；
　　4、请求报文经由Director，但响应报文必须不能经过Director；
　　5、不支持端口映射；
　　6、RS可以是大多数常见的OS；
　　7、RS的网关绝不允许指向DIP；
3、LVS的调度算法

    针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下八种负载调度算法：
　　
　　1）轮叫（Round Robin）
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。
　　2）加权轮叫（Weighted Round Robin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
　　3）最少链接（Least Connections）

　　调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
　　4）加权最少链接（Weighted Least Connections）

　　在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
　　5）基于局部性的最少链接（Locality-Based Least Connections）
"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 器，将请求发送到该服务器。
　　6）带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个 目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务 器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一 台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的 程度。
　　7）目标地址散列（Destination Hashing）
"目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
　　8）源地址散列（Source Hashing）
"源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
　　4、LVS的四个ip地址
　　
　　Director：负责调度集群的主机；也简称调度器、分发器
　　VIP：(Virtual IP address)Virtual IP 向外提供服务的IP；通常此IP绑定域名
　　DIP：(Director's IP address)与内部主机RIP通信的IP，在Director主机上
　　RIP：(Real IP address)RealServer IP；内部真正提供服务的主机
　　CIP：(Client computer's IP address)客户端IP
　　

　　5、ipvsadm
　　    在线帮助：http://linux.die.net/man/8/ipvsadm
　　

　　1、定义集群服务格式：
　　1)、添加集群服务：
　　ipvsadm -A|E -t|u|f service-address [-s scheduler]
　　              [-p [timeout]] [-M netmask]
　　-A：                  表示添加一个新的集群服务
　　-E：                  编辑一个集群服务
　　-t：                  表示tcp协议
　　-u：                  表示udp协议
　　-f：                  表示firewall-Mark,防火墙标记
　　service-address：     集群服务的IP地址，即VIP
　　-s                    指定调度算法
　　-p                    持久连接时长，如#ipvsadm -Lcn ，查看持久连接状态
　　-M                    定义掩码
　　ipvsadm -D -t|u|f service-address      删除一个集群服务
　　ipvsadm -C                             清空所有的规则
　　ipvsadm -R                             重新载入规则
　　ipvsadm -S [-n]                        保存规则
　　    eg：

　　        ipvsadm -A -t 192.168.1.110:80 -s rr

　　

　　2、向集群服务添加RealServer规则：
　　1)、添加RealServer规则
　　ipvsadm -a|e -t|u|f service-address -r server-address
　　              [-g|i|m] [-w weight]
　　-a                 添加一个新的realserver规则
　　-e                 编辑realserver规则
　　-t                 tcp协议
　　-u                 udp协议
　　-f                 firewall-Mark，防火墙标记
　　service-address    realserver的IP地址
　　-g                 表示定义为LVS-DR模型
　　-i                 表示定义为LVS-TUN模型
　　-m                 表示定义为LVS-NAT模型
　　-w                 定义权重，后面跟具体的权值
　　ipvsadm -d -t|u|f service-address -r server-address          --删除一个realserver
　　ipvsadm -L|l [options]                                       --查看定义的规则
　　eg：#ipvsadm -L -n  
　　ipvsadm -Z [-t|u|f service-address]                          --清空计数器
　　  eg:  ipvsadm -a -t 192.168.1.110:80 -r 172.16.36.1:80 -m -w 1
　　       ipvsadm -a -t 192.168.1.110:80 -r 172.16.36.2:80 -m -w 2
　　三、LVS-DR

　　实验拓扑图如下：

　　

　　准备工作

　　     关闭所有节点上的selinux和iptables

　　        # setenforce 0

　　        # iptables -F

　　        # service iptables stop

　　        # chkconfig iptables off

　　在RealServer上部署httpd服务并测试
　　        [root@90sec ~]# yum -y install httpd

　　        [root@90sec ~]# echo "RealServer1" > /var/www/html/index.html
　　        [root@90sec ~]# service httpd start
　　        [root@80sec ~]# yum -y install httpd
　　        [root@80sec ~]# echo "RealServer2" > /var/www/html/index.html
　　        [root@80sec ~]# service httpd start
　　测试httpd服务是否OK！

　　        [root@90sec ~]# curl http://localhost
　　        RealServer1
　　        [root@80sec ~]# curl http://172.16.36.20
　　        RealServer2
　　添加网关
　　    [root@90sec ~] route add -net 192.168.1.0/24 gw 172.16.36.1

　　    [root@90sec ~] route add -net 192.168.1.0/24 gw 172.16.36.1
在Director上部署ipvs服务并测试       
    开启转发功能
　　

        [root@10sec ~]# echo "1" > /proc/sys/net/ipv4/ip_forward
　　

        [root@10sec ~]# cat /proc/sys/net/ipv4/ip_forward
　　

            1
　　

添加一块网卡配置IP
　　

        [root@10sec ~]# ifconfig eth1 172.16.36.1/16
　　

        [root@10sec ~]#  ifconfig | grep 'inet addr'
　　

          inet addr:192.168.1.118  Bcast:192.168.1.255  Mask:255.255.255.0
　　

          inet addr:172.16.36.1  Bcast:172.16.255.255  Mask:255.255.0.0
　　

          inet addr:127.0.0.1  Mask:255.0.0.0
　　

查看本机是否支持LVS，2.4.2后都支持了；然后安装ipvsadm
　　

      [root@10sec ~]# grep -i "ip_vs" /boot/config-2.6.32-431.el6.x86_64
　　

            CONFIG_IP_VS=m
　　

            CONFIG_IP_VS_IPV6=y
　　

            # CONFIG_IP_VS_DEBUG is not set
　　

            CONFIG_IP_VS_TAB_BITS=12
　　

            CONFIG_IP_VS_PROTO_TCP=y    #IPVS支持哪些集群服务
　　

            CONFIG_IP_VS_PROTO_UDP=y
　　

            CONFIG_IP_VS_PROTO_AH_ESP=y
　　

            CONFIG_IP_VS_PROTO_ESP=y
　　

            CONFIG_IP_VS_PROTO_AH=y
　　

            CONFIG_IP_VS_PROTO_SCTP=y
　　

            CONFIG_IP_VS_RR=m        #ipvs支持的十种调度算法
　　

            CONFIG_IP_VS_WRR=m
　　

            CONFIG_IP_VS_LC=m
　　

            CONFIG_IP_VS_WLC=m
　　

            CONFIG_IP_VS_LBLC=m
　　

            CONFIG_IP_VS_LBLCR=m
　　

            CONFIG_IP_VS_DH=m
　　

            CONFIG_IP_VS_SH=m
　　

            CONFIG_IP_VS_SED=m
　　

            CONFIG_IP_VS_NQ=m
　　

            CONFIG_IP_VS_FTP=m        #支持代理ftp协议的
　　

            CONFIG_IP_VS_PE_SIP=m   
　　

    [root@10sec ~]# yum -y install ipvsadm
　　

添加LVS

　　永久保存LVS规则并恢复
　　第一种方法：
　　    [root@10sec ~]# service ipvsadm save
　　    ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [确定]
　　

　　第二种方法：
　　    [root@10sec ~]# ipvsadm -S > /etc/sysconfig/ipvsadm.s1
　　
　　

　　模拟清空ipvsadm规则来恢复
　　[root@10sec ~]# ipvsadm -C

　　[root@10sec ~]# ipvsadm -L -n
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　[root@10sec ~]# ipvsadm -R < /etc/sysconfig/ipvsadm.s1
　　[root@10sec ~]# ipvsadm -L -n
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　TCP  192.168.1.118:80 wrr
　　  -> 172.16.36.20:80             Masq    2      0          0         
　　  -> 172.16.36.10:80             Masq    1      0          0