LVS DR模型配置示例

sadw

要让路由知道哪台主机是Director，进行选择：
1、VIP：MAC(Director VIP) —— MAC绑定，但未必可行，例如路由是运营商的。
2、arptables
3、kernel parameter（常用此配置）：
    arp_ignore：定义接收到ARP请求时的响应级别；
        0：默认级别，只要本机配置有相应的地址，就给予响应；
        1：只有当请求目标地址是请求到达接口上配置的地址，才给予响应；
    arp_announce：定义将自己的地址向外通告时的通告级别；
        0：默认级别，将本机任何接口上的任何地址向外通告；
        1：试图仅向目标网络通告与其网络匹配的地址；
        2：仅向与本地接口上的地址匹配的网络进行通告；

# 注意：各节点间的时间偏差不应该超出1秒钟。

# Director配置NTP服务器：

Director：

yum install ntp

/etc/init.d/ntpd start

Client：

/usr/sbin/ntpdate Director_IP

VS/DR拓扑示例：
            192.168.101.253
                10.10.10.1

                    Client
                        |
                        |
                  (router)
            192.168.101.254
                        |
                        |          VIP=192.168.101.168
                        | ————— Director
                        |              DIP=10.10.10.10
                        |
            —————————
            |                                |
            |                                |
RIP=10.10.10.11        RIP=10.10.10.12
          RS1                            RS2
VIP=192.168.101.168    VIP=192.168.101.168

        在如上图的VS/DR或VS/TUN应用的一种模型中（所有机器都在同一个物理网络），所有机器（包括Director和RealServer）都使用了一个额外的IP地址VIP。当一个客户端向VIP发出一个连接请求时，此请求必须要连接至Director的VIP，而不能是RealServer的。因为，LVS的主要目标就是要Director负责调度这些连接请求至RealServer的。
        因此，在Client发出至VIP的连接请求后，只能由Director将其MAC地址响应给客户端（也可能是直接与Director连接的路由设备），而Director则会相应的更新其ipvsadm table以追踪此连接，然后将其转发至后端的RealServer之一。
        如果Client在请求建立至VIP的连接时由某RealServer响应了其请求，则Client会在其MAC table中建立起一个VIP至RealServer的对应关系，并以至进行后面的通信。此时，在Client看来只有一个RealServer而无法意识到其它服务器的存在。
        为了解决此问题，可以通过在路由器上设置其转发规则来实现。当然，如果没有权限访问路由器并做出相应的设置，则只能通过传统的本地方式来解决此问题。这些方法包括：
1、禁止RealServer响应对VIP的ARP请求；
2、在RealServer上隐藏VIP，使得它们无法获知网络上的ARP请求；
3、基于"透明代理（Transparent Proxy）"或者"fwmark （firewall mark）"；
4、禁止ARP请求发往RealServer。

        传统认为，解决ARP问题可以基于网络接口，也可以基于主机来实现。Linux采用了基于主机的方式，因为其可以在大多场景中良好的工作，但LVS却并不属于这些场景之一，因此，过去实现此功能相当麻烦。现在可以通过设置arp_ignore和arp_announce，这变得相对简单的多。
        Linux 2.2和2.4（2.4.26之前的版本）的内核解决"ARP问题"的方法各不相同，且比较麻烦。幸运的是，2.4.26和2.6的内核中引入了两个新的调整ARP栈的标志（device flags）：arp_announce和arp_ignore。基于此，在DR/TUN的环境中，所有IPVS相关的设定均可使用arp_announce=2和arp_ignore=1/2/3来解决"ARP问题”。

VS/DR配置示例：
Director：
    eth0, DIP：10.10.10.10/24
    eth1, VIP：192.168.101.168/24    gw：192.168.101.254

RS1：
    eth0, RIP：10.10.10.11/24        gw：10.10.10.1
    lo:0, VIP：192.168.101.168/32
RS2：
    eth0, RIP：10.10.10.12/24        gw：10.10.10.1
    lo:0, VIP：192.168.101.168/32
Client：
    IP1：192.168.101.253/24
    IP2：10.10.10.1/24

# 注意：这里物理机(Client)VM8网卡配置两个IP地址，一个192.168.101.253，一个10.10.10.1；RS配置网关指向物理机的10.10.10.1。

1、Director安装ipvsadm
# yum install ipvsadm

2、RS1安装httpd
# yum install httpd
# echo "rs1.redhat.com" > /var/www/html/index.html
# service httpd start

3、RS2安装httpd
# yum install httpd
# echo "rs2.redhat.com" > /var/www/html/index.html
# service httpd start

4、解决ARP问题
# 注意：RS需先配置关闭arp请求响应arp_ignore或arp_announce，然后再配置VIP
# RS1、RS2配置相同：
# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

5、RS1配置IP及路由

# ifconfig lo:0 192.168.101.168 broadcast 192.168.101.168 netmask 255.255.255.255 up
# route add -host 192.168.101.168 dev lo:0

6、RS2配置IP及路由

# ifconfig lo:0 192.168.101.168 broadcast 192.168.101.168 netmask 255.255.255.255 up
# route add -host 192.168.101.168 dev lo:0

7、Director配置VS/DR（调度算法：WLC）

# ifconfig eth1 192.168.101.168 broadcast 192.168.101.255 netmask 255.255.255.0 up
# route add default gw 192.168.101.254
# ipvsadm -A -t 192.168.101.168:80 -s wlc
# ipvsadm -a -t 192.168.101.168:80 -r 10.10.10.11 -g -w 2
# ipvsadm -a -t 192.168.101.168:80 -r 10.10.10.12 -g -w 1

8、浏览器访问：http://192.168.101.168


VS/DR Script：
### Director ###


#!/bin/bash
#
# chkconfig: - 90 10
# description: LVS Script for VS/DR.
#

VIP=192.168.101.168
RIP1=10.10.10.11
RIP2=10.10.10.12
GW=192.168.101.254

CSTATUS1() {
    [ -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is running...\033[0m" && exit 1
}

CSTATUS2() {
    [ ! -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is not running...\033[0m" && exit 2
}

case "$1" in
  start)
    CSTATUS1
    echo -e "\033[32mStart VS/DR of Director Server...\033[0m"
    # Set the Virtual IP address.
    /sbin/ifconfig eth1 $VIP broadcast $VIP netmask 255.255.255.0 up
    /sbin/route add -host $VIP dev eth1
    /sbin/route add default gw $GW
    # Director must open packet forwarding.
    #echo 1 > /proc/sys/net/ipv4/ip_forward
    # Clean all iptables rules.
    /sbin/iptables -F
    # Reset iptables counters.
    /sbin/iptables -Z
    # Clean all ipvsadm rules/services.
    /sbin/ipvsadm -C
    # Set VS/DR, Scheduling is Weighted Least Connection.
    /sbin/ipvsadm -A -t $VIP:80 -s wlc
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 2
    /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1
    # Show VS/DR status.
    /sbin/ipvsadm -L -n
    /bin/touch /var/lock/subsys/ipvsadm.lock
    ;;
  stop)
    CSTATUS2
    echo -e "\033[32mStop VS/DR of Director Server...\033[0m"
    # Reset ipvsadm.
    /sbin/ipvsadm -C
    # Close VIP interface.
    /sbin/ifconfig eth1 down &> /dev/null
    # Close packet forwarding.
    #echo 0 > /proc/sys/net/ipv4/ip_forward
    /bin/rm -f /var/lock/subsys/ipvsadm.lock
    ;;
  status)
    [ -e /var/lock/subsys/ipvsadm.lock ] && echo -e "\033[32mipvsadm is running...\033[0m" || echo -e "\033[32mipvsadm is not running...\033[0m"
    ;;
  *)
    echo -e "\033[32mUsage: $0 {start|stop|status}\033[0m"
    ;;
esac


### RealServer ###

#!/bin/bash
#
# description: VS/DR Real Server.
#

VIP=192.168.101.168
GW=10.10.10.1

case "$1" in
  start)
    echo -e "\033[32mStart VS/DR of Real Server...\033[0m"
    /sbin/ifconfig lo down
    /sbin/ifconfig lo up
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
    /sbin/route add -host $VIP dev lo:0
    #/sbin/route add default gw $GW
    ;;
  stop)
    echo -e "\033[32mStop VS/DR of Real Server...\033[0m"
    /sbin/ifconfig lo:0 down &> /dev/null
    #/sbin/route del default gw $GW
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    ;;
  status)
    CHECKLO=`/sbin/ifconfig lo:0 | grep $VIP`
    CHECKRO=`netstat -nr | grep lo | grep $VIP`
    if [ ! "$CHECKLO" -o ! "$CHECKRO" ];then
        echo -e "\033[32mReal Server VS/DR is not running...\033[0m"
    else
        echo -e "\033[32mReal Server VS/DR is Running...\033[0m"
    fi
    ;;
  *)
    echo -e "\033[32mUsage: $0 {start|stop|status}\033[0m"
    ;;
esac