LVS-DR VIP和RIP不同网段的配置方法
转自：http://blog.itpub.net/124805/viewspace-1047686/在网上流传的很多文章中，LVS-DR模式都要求VIP和RIP在同一网段，很少有在不同网段配置成功的案例。但章文嵩博士已经在官网上明
确回答了是可以在不同网段的（见http://zh.linuxvirtualserver.org/node/155），负载调度器只要有一个网口和真实服务器是通过不分
段的网络连接起来就可以，真实服务器可以通过自己的路由器将响应报文发送给客户。也就是说Director至少要有两个网口才满足VIP和RIP
不在同一网段。
LVS-HOWTO（http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.LVS-DR.html）也说明了LVS-DR的要求。
从realserver到client路由，可以是另外的，也可能通过director，但要使用director做路由必须对director的内核打forward_shared
补丁，不然director不会转发源IP是自已的包（见http://zh.linuxvirtualserver.org/node/249#comment-352）。
如果使用另外的路由，则只要求能从realserver到client就行了，不需要得到client的响应，因此realserver可以放在防火墙后面。
下面是具体的配置过程：
[@more@]
director有两块网卡：
eth0 192.168.2.254 用于跟realserver连接
eth1 61.180.79.110 外网IP，VIP也绑定到此网卡
director的配置
1、安装ipvsadm
ipvsadm是用来管理lvs设置的命令行工具，可以用来查看当前状态。
yum install ipvsadm
2、安装keepalived
keepalived可以用于双机热备的自动故障转移，也可以管理lvs的realserver列表，自动对realserver做健康检查。
wget -c http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
tar zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr --sysconfdir=/etc
如果最后显示
Use IPVS Framework : No
IPVS sync daemon support : No
请指定内核源码目录再运行configure
./configure --prefix=/usr --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/linux-2.6.35.9
make && make install
将keepalived加入服务中
chkconfig --add keepalived
chkconfig --level 35 keepalived on
修改配置文件
mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.old
vi /etc/keepalived/keepalived.conf
填入以下内容
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost #需要本机SMTP服务
}
notification_email_from root@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER #备份服务器上将MASTER改为BACKUP
interface eth1 #HA监测网络接口（绑定VIP的网口）
virtual_router_id 1 #主、备机的virtual_router_id一定要相同，必须相同！！！
priority 100 #主、备机取不同的优先级，主机值较大，备份机值较小
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式
auth_pass 1111 #VRRP口令字
}
virtual_ipaddress {
61.180.79.18 #LVS虚拟地址,可写多个VIP，一行一个VIP
}
}
virtual_server 61.180.79.18 80 {
delay_loop 2 #延时等待时间
lb_algo wrr #轮询算法
lb_kind DR #传输模式
persistence_timeout 0 #单一链接重连保持时间秒
protocol TCP
real_server 192.168.2.11 80 {
weight 1 #权重
TCP_CHECK { #realserve的状态检测设置部分，单位是秒
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.2.12 80 {
weight 1 #权重
TCP_CHECK { #realserve的状态检测设置部分，单位是秒
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
realserver的配置
rs1和rs2的IP分别是192.168.2.11 192.168.2.12
1、安装nginx用于测试
wget -c http://nginx.org/download/nginx-0.8.54.tar.gz
tar zxvf nginx-0.8.54.tar.gz
cd nginx-0.8.54
./configure --prefix=/usr/local/nginx
make && make install
启动nginx
/usr/local/nginx/sbin/nginx
2、绑定VIP到lo
ifconfig lo:0 61.180.79.18 broadcast 61.180.79.18 netmask 255.255.255.255 up
3、将绑定VIP的网卡设置为no_arp
vi /etc/sysctl.conf
增加
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
使之生效
sysctl -p
4、设置realserver能到达client的路由网关
route add default gw 192.168.2.1
我开始测试的时候，使用一个tp-link的无线宽带路由器，一直配置不成功，后来用tcpdump分析才发现，这个路由器就是不转发从
realserver到client的数据包，不知道什么原因，但直接ping client又是通的，后来直接用一台linux做路由就可以了
（net.ipv4.ip_forward = 1，而且这台路由启用NAT也不影响）。
如果要使用director做realserver到client的网关，就需要给director的内核打补丁，我是使用最新的内核编译的，过程如下：
wget -c http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.35.9.tar.bz2
tar -xjvf linux-2.6.35.9.tar.bz2
mv linux-2.6.35.9 /usr/src/kernels
为内核打forward_shared补丁
cd /usr/src/kernels
wget -c http://www.ssi.bg/~ja/hidden-forward_shared-2.6.34-2.diff /usr/src/kernels/linux-2.6.35.9
patch -p1 < ../forward_shared-2.6.34-2.diff
cd
为了方便编译配置，将boot目录下的配置文件复制到 /usr/src/kernels/linux-2.6.35.9
cp /boot/config-2.6.18-194.32.1.el5 /usr/src/kernels/linux-2.6.35.9/.config
make menuconfig 选择 Load an> 默认情况下启动时会提示如下错误：
mount: could not find filesystem ‘/dev/root’
setuproot: moving /dev failed: No such file or directory
setuproot: error mounting /proc: No such file or directory
setuproot: error mounting /sys: No such file or directory
switchroot: mount failed: No such file or directory
Kernel panic – not syncing: Attempted to kill init!
解决方法：
执行完make menuconfig后，修改/usr/src/kernels/linux-2.6.35.9/.config
将#CONFIG_SYSFS_DEPRECATED_V2 is not set
默认被注释掉的，将其改为y。即修改为
CONFIG_SYSFS_DEPRECATED_V2=y
根据需要再选择编译选项；
make （这个过程相当的漫长，起码半个小时以上）
如果没有错误，执行模块编译安装
make modules_install
编译内核安装
make install
sh /usr/src/kernels/linux-2.6.35.9/arch/x86/boot/install.sh 2.6.35.9 arch/x86/boot/bzImage
System.map "/boot"
看到如上提示表示编译成功，
如果没有看到错误，可以修改启动项 让 centos 启动时加载 新内核， （如有编译错误请勿修改启动配置，否则启动失败）
vi /boot/grub/grub.conf
default=0 （修改为0 即可）
不知为什么这个内核启动的时候会报错
insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists
解决办法如下：
1、解压initrd文件
# cp /boot/initrd-2.6.35.4.img /tmp
# cd /tmp/
# ls
initrd-2.6.35.4.img
# mkdir newinitrd
# cd newinitrd/
# zcat ../initrd-2.6.35.4.img |cpio -i
11282 blocks
释放之后看到如下内容
# ls
bin dev etc init lib proc sbin sys sysroot
2、下边就是编辑init，删掉其中重复的四行中的两行
echo "Loading dm-region-hash.ko module"
insmod /lib/dm-region-hash.ko
echo "Loading dm-region-hash.ko module"
insmod /lib/dm-region-hash.ko
3、重新打包initrd
# find .|cpio -c -o > ../initrd
11282 blocks
# cd ..
# gzip -9 < initrd > initrd.img
# ls
initrd-2.6.35.4.img initrd initrd.img newinitrd
initrd.img就是重新打包的initrd了，然后把initrd.img拷贝到/boot
# mv /boot/initrd-2.6.35.4.img /boot/initrd-2.6.35.4.img.bak
# mv initrd.img /boot/initrd-2.6.35.4.img
# reboot
这样“insmod: error inserting '/lib/dm-region-hash.ko' : -1 File exists” 就不会有了
使用新内核重启后
vi /etc/sysctl.conf
修改或增加
net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.eth0.forward_shared = 1
net.ipv4.conf.all.forward_shared = 1
sysctl -p
注意查看forward_shared选项是否成功设置
这样，就可以将realserver的网关改为192.168.2.254了
页:
[1]