LVS-DR VIP和RIP不同网段的配置方法

ftsr

　　转自：http://blog.itpub.net/124805/viewspace-1047686/
　　在网上流传的很多文章中，LVS-DR模式都要求VIP和RIP在同一网段，很少有在不同网段配置成功的案例。但章文嵩博士已经在官网上明
　　确回答了是可以在不同网段的（见http://zh.linuxvirtualserver.org/node/155），负载调度器只要有一个网口和真实服务器是通过不分
　　段的网络连接起来就可以，真实服务器可以通过自己的路由器将响应报文发送给客户。也就是说Director至少要有两个网口才满足VIP和RIP
　　不在同一网段。
　　LVS-HOWTO（http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.LVS-DR.html）也说明了LVS-DR的要求。
　　从realserver到client路由，可以是另外的，也可能通过director，但要使用director做路由必须对director的内核打forward_shared
　　补丁，不然director不会转发源IP是自已的包（见http://zh.linuxvirtualserver.org/node/249#comment-352）。
　　如果使用另外的路由，则只要求能从realserver到client就行了，不需要得到client的响应，因此realserver可以放在防火墙后面。
　　下面是具体的配置过程：
　　[@more@]
　　director有两块网卡：
　　eth0 192.168.2.254 用于跟realserver连接
　　eth1 61.180.79.110 外网IP，VIP也绑定到此网卡
　　director的配置
　　1、安装ipvsadm
　　ipvsadm是用来管理lvs设置的命令行工具，可以用来查看当前状态。
　　yum install ipvsadm
　　2、安装keepalived
　　keepalived可以用于双机热备的自动故障转移，也可以管理lvs的realserver列表，自动对realserver做健康检查。
　　wget -c http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
　　tar zxvf keepalived-1.2.2.tar.gz
　　cd keepalived-1.2.2
　　./configure --prefix=/usr --sysconfdir=/etc
　　如果最后显示
　　Use IPVS Framework : No
　　IPVS sync daemon support : No
　　请指定内核源码目录再运行configure
　　./configure --prefix=/usr --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/linux-2.6.35.9
　　make && make install
　　将keepalived加入服务中
　　chkconfig --add keepalived
　　chkconfig --level 35 keepalived on
　　修改配置文件
　　mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.old
　　vi /etc/keepalived/keepalived.conf
　　填入以下内容
　　! Configuration File for keepalived
　　global_defs {
　　notification_email {
　　root@localhost #需要本机SMTP服务
　　}
　　notification_email_from root@localhost
　　smtp_server 127.0.0.1
　　smtp_connect_timeout 30
　　router_id LVS_DEVEL
　　}
　　vrrp_instance VI_1 {
　　state MASTER #备份服务器上将MASTER改为BACKUP
　　interface eth1 #HA监测网络接口（绑定VIP的网口）
　　virtual_router_id 1 #主、备机的virtual_router_id一定要相同，必须相同！！！
　　priority 100 #主、备机取不同的优先级，主机值较大，备份机值较小
　　advert_int 1 #VRRP Multicast广播周期秒数
　　authentication {
　　auth_type PASS #VRRP认证方式
　　auth_pass 1111 #VRRP口令字
　　}
　　virtual_ipaddress {
　　61.180.79.18 #LVS虚拟地址,可写多个VIP，一行一个VIP
　　}
　　}
　　virtual_server 61.180.79.18 80 {
　　delay_loop 2 #延时等待时间
　　lb_algo wrr #轮询算法
　　lb_kind DR #传输模式
　　persistence_timeout 0 #单一链接重连保持时间秒
　　protocol TCP
　　real_server 192.168.2.11 80 {
　　weight 1 #权重
　　TCP_CHECK { #realserve的状态检测设置部分，单位是秒
　　connect_timeout 3
　　nb_get_retry 3
　　delay_before_retry 3
　　}
　　}
　　real_server 192.168.2.12 80 {
　　weight 1 #权重
　　TCP_CHECK { #realserve的状态检测设置部分，单位是秒
　　connect_timeout 3
　　nb_get_retry 3
　　delay_before_retry 3
　　}
　　}
　　}
　　realserver的配置
　　rs1和rs2的IP分别是192.168.2.11 192.168.2.12
　　1、安装nginx用于测试
　　wget -c http://nginx.org/download/nginx-0.8.54.tar.gz
　　tar zxvf nginx-0.8.54.tar.gz
　　cd nginx-0.8.54
　　./configure --prefix=/usr/local/nginx
　　make && make install
　　启动nginx
　　/usr/local/nginx/sbin/nginx
　　2、绑定VIP到lo
　　ifconfig lo:0 61.180.79.18 broadcast 61.180.79.18 netmask 255.255.255.255 up
　　3、将绑定VIP的网卡设置为no_arp
　　vi /etc/sysctl.conf
　　增加
　　net.ipv4.conf.lo.arp_ignore = 1
　　net.ipv4.conf.lo.arp_announce = 2
　　net.ipv4.conf.all.arp_ignore = 1
　　net.ipv4.conf.all.arp_announce = 2
　　使之生效
　　sysctl -p
　　4、设置realserver能到达client的路由网关
　　route add default gw 192.168.2.1
　　我开始测试的时候，使用一个tp-link的无线宽带路由器，一直配置不成功，后来用tcpdump分析才发现，这个路由器就是不转发从
　　realserver到client的数据包，不知道什么原因，但直接ping client又是通的，后来直接用一台linux做路由就可以了
　　（net.ipv4.ip_forward = 1，而且这台路由启用NAT也不影响）。
　　如果要使用director做realserver到client的网关，就需要给director的内核打补丁，我是使用最新的内核编译的，过程如下：
　　wget -c http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.35.9.tar.bz2
　　tar -xjvf linux-2.6.35.9.tar.bz2
　　mv linux-2.6.35.9 /usr/src/kernels
　　为内核打forward_shared补丁
　　cd /usr/src/kernels
　　wget -c http://www.ssi.bg/~ja/hidden-forward_shared-2.6.34-2.diff /usr/src/kernels/linux-2.6.35.9
　　patch -p1 < ../forward_shared-2.6.34-2.diff
　　cd
　　为了方便编译配置，将boot目录下的配置文件复制到 /usr/src/kernels/linux-2.6.35.9
　　cp /boot/config-2.6.18-194.32.1.el5 /usr/src/kernels/linux-2.6.35.9/.config

　　make menuconfig 选择 Load an>　　默认情况下启动时会提示如下错误：
　　mount: could not find filesystem ‘/dev/root’
　　setuproot: moving /dev failed: No such file or directory
　　setuproot: error mounting /proc: No such file or directory
　　setuproot: error mounting /sys: No such file or directory
　　switchroot: mount failed: No such file or directory
　　Kernel panic – not syncing: Attempted to kill init!
　　解决方法：
　　执行完make menuconfig后，修改/usr/src/kernels/linux-2.6.35.9/.config
　　将#CONFIG_SYSFS_DEPRECATED_V2 is not set
　　默认被注释掉的，将其改为y。即修改为
　　CONFIG_SYSFS_DEPRECATED_V2=y
　　根据需要再选择编译选项；
　　make （这个过程相当的漫长，起码半个小时以上）
　　如果没有错误，执行模块编译安装
　　make modules_install
　　编译内核安装
　　make install
　　sh /usr/src/kernels/linux-2.6.35.9/arch/x86/boot/install.sh 2.6.35.9 arch/x86/boot/bzImage
　　System.map "/boot"
　　看到如上提示表示编译成功，
　　如果没有看到错误，可以修改启动项 让 centos 启动时加载 新内核， （如有编译错误请勿修改启动配置，否则启动失败）
　　vi /boot/grub/grub.conf
　　default=0 （修改为0 即可）
　　不知为什么这个内核启动的时候会报错
　　insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists
　　解决办法如下：
　　1、解压initrd文件
　　[root@vhost ~]# cp /boot/initrd-2.6.35.4.img /tmp
　　[root@vhost ~]# cd /tmp/
　　[root@vhost tmp]# ls
　　initrd-2.6.35.4.img
　　[root@vhost tmp]# mkdir newinitrd
　　[root@vhost tmp]# cd newinitrd/
　　[root@vhost newinitrd]# zcat ../initrd-2.6.35.4.img |cpio -i
　　11282 blocks
　　释放之后看到如下内容
　　[root@vhost newinitrd]# ls
　　bin dev etc init lib proc sbin sys sysroot
　　2、下边就是编辑init，删掉其中重复的四行中的两行
　　echo "Loading dm-region-hash.ko module"
　　insmod /lib/dm-region-hash.ko
　　echo "Loading dm-region-hash.ko module"
　　insmod /lib/dm-region-hash.ko
　　3、重新打包initrd
　　[root@vhost newinitrd]# find .|cpio -c -o > ../initrd
　　11282 blocks
　　[root@vhost newinitrd]# cd ..
　　[root@vhost tmp]# gzip -9 < initrd > initrd.img
　　[root@vhost tmp]# ls
　　initrd-2.6.35.4.img initrd initrd.img newinitrd
　　initrd.img就是重新打包的initrd了，然后把initrd.img拷贝到/boot
　　[root@vhost tmp]# mv /boot/initrd-2.6.35.4.img /boot/initrd-2.6.35.4.img.bak
　　[root@vhost tmp]# mv initrd.img /boot/initrd-2.6.35.4.img
　　[root@vhost tmp]# reboot
　　这样“insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists” 就不会有了
　　使用新内核重启后
　　vi /etc/sysctl.conf
　　修改或增加
　　net.ipv4.ip_forward = 1
　　net.ipv4.conf.default.rp_filter = 0
　　net.ipv4.conf.eth0.forward_shared = 1
　　net.ipv4.conf.all.forward_shared = 1
　　sysctl -p
　　注意查看forward_shared选项是否成功设置
　　这样，就可以将realserver的网关改为192.168.2.254了