LVS DR模型配置示例

hongmeigui22027

　　
　　要让路由知道哪台主机是Director，进行选择：
　　1、VIP：MAC(Director VIP) —— MAC绑定，但未必可行，例如路由是运营商的。
　　2、arptables
　　3、kernel parameter（常用此配置）：
　　    arp_ignore：定义接收到ARP请求时的响应级别；
　　        0：默认级别，只要本机配置有相应的地址，就给予响应；
　　        1：只有当请求目标地址是请求到达接口上配置的地址，才给予响应；
　　    arp_announce：定义将自己的地址向外通告时的通告级别；
　　        0：默认级别，将本机任何接口上的任何地址向外通告；
　　        1：试图仅向目标网络通告与其网络匹配的地址；
　　        2：仅向与本地接口上的地址匹配的网络进行通告；
　　

　　
# 注意：各节点间的时间偏差不应该超出1秒钟。
# Director配置NTP服务器：
Director：
yum install ntp
/etc/init.d/ntpd start


Client：
/usr/sbin/ntpdate Director_IP
　　

　　VS/DR拓扑示例：
　　            192.168.101.253
　　                10.10.10.1

　　                    Client
　　                        |
　　                        |
　　                  (router)
　　            192.168.101.254
　　                        |
　　                        |          VIP=192.168.101.168
　　                        | ————— Director
　　                        |              DIP=10.10.10.10
　　                        |
　　            —————————
　　            |                                |
　　            |                                |
　　RIP=10.10.10.11        RIP=10.10.10.12
　　          RS1                            RS2
　　VIP=192.168.101.168    VIP=192.168.101.168
　　

　　        在如上图的VS/DR或VS/TUN应用的一种模型中（所有机器都在同一个物理网络），所有机器（包括Director和RealServer）都使用了一个额外的IP地址VIP。当一个客户端向VIP发出一个连接请求时，此请求必须要连接至Director的VIP，而不能是RealServer的。因为，LVS的主要目标就是要Director负责调度这些连接请求至RealServer的。
　　        因此，在Client发出至VIP的连接请求后，只能由Director将其MAC地址响应给客户端（也可能是直接与Director连接的路由设备），而Director则会相应的更新其ipvsadm table以追踪此连接，然后将其转发至后端的RealServer之一。
　　        如果Client在请求建立至VIP的连接时由某RealServer响应了其请求，则Client会在其MAC table中建立起一个VIP至RealServer的对应关系，并以至进行后面的通信。此时，在Client看来只有一个RealServer而无法意识到其它服务器的存在。
　　        为了解决此问题，可以通过在路由器上设置其转发规则来实现。当然，如果没有权限访问路由器并做出相应的设置，则只能通过传统的本地方式来解决此问题。这些方法包括：
　　1、禁止RealServer响应对VIP的ARP请求；
　　2、在RealServer上隐藏VIP，使得它们无法获知网络上的ARP请求；
　　3、基于"透明代理（Transparent Proxy）"或者"fwmark （firewall mark）"；
　　4、禁止ARP请求发往RealServer。
　　

　　        传统认为，解决ARP问题可以基于网络接口，也可以基于主机来实现。Linux采用了基于主机的方式，因为其可以在大多场景中良好的工作，但LVS却并不属于这些场景之一，因此，过去实现此功能相当麻烦。现在可以通过设置arp_ignore和arp_announce，这变得相对简单的多。
　　        Linux 2.2和2.4（2.4.26之前的版本）的内核解决"ARP问题"的方法各不相同，且比较麻烦。幸运的是，2.4.26和2.6的内核中引入了两个新的调整ARP栈的标志（device flags）：arp_announce和arp_ignore。基于此，在DR/TUN的环境中，所有IPVS相关的设定均可使用arp_announce=2和arp_ignore=1/2/3来解决"ARP问题”。
　　

　　VS/DR配置示例：
　　Director：
　　    eth0, DIP：10.10.10.10/24
　　    eth1, VIP：192.168.101.168/24    gw：192.168.101.254
　　
　　RS1：
　　    eth0, RIP：10.10.10.11/24        gw：10.10.10.1
　　    lo:0, VIP：192.168.101.168/32
　　RS2：
　　    eth0, RIP：10.10.10.12/24        gw：10.10.10.1
　　    lo:0, VIP：192.168.101.168/32
　　Client：
　　    IP1：192.168.101.253/24
　　    IP2：10.10.10.1/24
　　

　　# 注意：这里物理机(Client)VM8网卡配置两个IP地址，一个192.168.101.253，一个10.10.10.1；RS配置网关指向物理机的10.10.10.1。
　　

　　1、Director安装ipvsadm
　　# yum install ipvsadm
　　

　　2、RS1安装httpd
　　# yum install httpd
　　# echo "rs1.redhat.com" > /var/www/html/index.html
　　# service httpd start
　　

　　3、RS2安装httpd
　　# yum install httpd
　　# echo "rs2.redhat.com" > /var/www/html/index.html
　　# service httpd start
　　

　　4、解决ARP问题
　　# 注意：RS需先配置关闭arp请求响应arp_ignore或arp_announce，然后再配置VIP
　　# RS1、RS2配置相同：
　　# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
　　# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
　　# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
　　# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
　　

　　5、RS1配置IP及路由
　　
　　# ifconfig lo:0 192.168.101.168 broadcast 192.168.101.168 netmask 255.255.255.255 up
　　# route add -host 192.168.101.168 dev lo:0
　　

　　6、RS2配置IP及路由
　　
　　# ifconfig lo:0 192.168.101.168 broadcast 192.168.101.168 netmask 255.255.255.255 up
　　# route add -host 192.168.101.168 dev lo:0
　　

　　7、Director配置VS/DR（调度算法：WLC）
　　
　　# ifconfig eth1 192.168.101.168 broadcast 192.168.101.255 netmask 255.255.255.0 up
　　# route add default gw 192.168.101.254
　　# ipvsadm -A -t 192.168.101.168:80 -s wlc
　　# ipvsadm -a -t 192.168.101.168:80 -r 10.10.10.11 -g -w 2
　　# ipvsadm -a -t 192.168.101.168:80 -r 10.10.10.12 -g -w 1
　　

　　8、浏览器访问：http://192.168.101.168
　　

　　VS/DR Script：
　　### Director ###

　　
　　#!/bin/bash
　　#
　　# chkconfig: - 90 10
　　# description: LVS Script for VS/DR.
　　#
　　

　　VIP=192.168.101.168
　　RIP1=10.10.10.11
　　RIP2=10.10.10.12
　　GW=192.168.101.254
　　

　　CSTATUS1() {
　　    [ -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is running...\033[0m" && exit 1
　　}
　　

　　CSTATUS2() {
　　    [ ! -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is not running...\033[0m" && exit 2
　　}
　　

　　case "$1" in
　　  start)
　　    CSTATUS1
　　    echo -e "\033[32mStart VS/DR of Director Server...\033[0m"
　　    # Set the Virtual IP address.
　　    /sbin/ifconfig eth1 $VIP broadcast $VIP netmask 255.255.255.0 up
　　    /sbin/route add -host $VIP dev eth1
　　    /sbin/route add default gw $GW
　　    # Director must open packet forwarding.
　　    #echo 1 > /proc/sys/net/ipv4/ip_forward
　　    # Clean all iptables rules.
　　    /sbin/iptables -F
　　    # Reset iptables counters.
　　    /sbin/iptables -Z
　　    # Clean all ipvsadm rules/services.
　　    /sbin/ipvsadm -C
　　    # Set VS/DR, Scheduling is Weighted Least Connection.
　　    /sbin/ipvsadm -A -t $VIP:80 -s wlc
　　    /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 2
　　    /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1
　　    # Show VS/DR status.
　　    /sbin/ipvsadm -L -n
　　    /bin/touch /var/lock/subsys/ipvsadm.lock
　　    ;;
　　  stop)
　　    CSTATUS2
　　    echo -e "\033[32mStop VS/DR of Director Server...\033[0m"
　　    # Reset ipvsadm.
　　    /sbin/ipvsadm -C
　　    # Close VIP interface.
　　    /sbin/ifconfig eth1 down &> /dev/null
　　    # Close packet forwarding.
　　    #echo 0 > /proc/sys/net/ipv4/ip_forward
　　    /bin/rm -f /var/lock/subsys/ipvsadm.lock
　　    ;;
　　  status)
　　    [ -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is running...\033[0m" || echo -e "\033[32mipvsadm is not running...\033[0m"
　　    ;;
　　  *)
　　    echo -e "\033[32mUsage: $0 {start|stop|status}\033[0m"
　　    ;;
　　esac
　　

　　### RealServer ###
　　
　　#!/bin/bash
　　#
　　# description: VS/DR Real Server.
　　#
　　

　　VIP=192.168.101.168
　　GW=10.10.10.1
　　

　　case "$1" in
　　  start)
　　    echo -e "\033[32mStart VS/DR of Real Server...\033[0m"
　　    /sbin/ifconfig lo down
　　    /sbin/ifconfig lo up
　　    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
　　    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
　　    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
　　    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
　　    /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　    /sbin/route add -host $VIP dev lo:0
　　    #/sbin/route add default gw $GW
　　    ;;
　　  stop)
　　    echo -e "\033[32mStop VS/DR of Real Server...\033[0m"
　　    /sbin/ifconfig lo:0 down &> /dev/null
　　    #/sbin/route del default gw $GW
　　    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
　　    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
　　    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
　　    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
　　    ;;
　　  status)
　　    CHECKLO=`/sbin/ifconfig lo:0 | grep $VIP`
　　    CHECKRO=`netstat -nr | grep lo | grep $VIP`
　　    if [ ! "$CHECKLO" -o ! "$CHECKRO" ];then
　　        echo -e "\033[32mReal Server VS/DR is not running...\033[0m"
　　    else
　　        echo -e "\033[32mReal Server VS/DR is Running...\033[0m"
　　    fi
　　    ;;
　　  *)
　　    echo -e "\033[32mUsage: $0 {start|stop|status}\033[0m"
　　    ;;
　　esac