集群之LVS-11068542

我很黑！

　　LB 集群是 load balance（负载均衡）集群的简写，常用的负载均衡开源软件有 nginx、lvs、keepalived ，商业的硬件负载设备 F5、Netscale。
　　LB 集群的架构如下图，原理也很简答，就是当用户的请求过来时，会直接发到分发器（Director Server）上，然后它把用户的请求根据预先设置好的算法，智能均衡地分发到后端的真正服务器（real server）上。如果不同的机器，可能用户请求到的数据不一样，为了避免这样的情况发生，所以用到了共享存储，这样保证所有用户请求的数据是一样的。
　　LVS 是一个实现负载均衡集群的开源软件项目，LVS 架构从逻辑上可分为调度层(Director)、server 集群层(Real server)和共享存储。LVS 从实现上分为下面三种模式。
　　（1）NAT（调度器将请求的目标 ip 即 vip 地址改为 Real server 的 ip, 返回的数据包也经过调度器，调度器再把源地址修改为 vip）。
　　（2）TUN（调度器将请求来的数据包封装加密通过 ip 隧道转发到后端的 real server 上，而 real server 会直接把数据返回给客户端，而不再经过调度器）。
　　（3）DR（调度器将请求来的数据包的目标 mac 地址改为 real server 的 mac 地址，返回的时候也不经过调度器，直接返回给客户端）。
　　一、NAT模式
　　1、准备工作
　　准备三台机器，一台Director server(简写为dir)，两台Real server(简写为rs1,rs2)。
　　dir有两块网卡，IP配置为：
eth0 192.168.0.109（内网）　　eth1 192.168.1.109（外网）
　　rs1网卡IP配置为：
eth0 192.168.0.112（内网）　　rs2网卡IP配置为：
eth0 192.168.0.113（内网）　　2、安装软件
　　在dir上安装ipvsadm
[root@dir ~]# yum install -y ipvsadm　　因为要验证80端口，我们可以安装httpd或者nginx，这里我在rs1和rs2上都安装nginx进行验证
# yum install -y nginx　　3、dir上配置NAT
[root@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //写入以下内容　　#! /bin/bash
　　# director 服务器上开启路由转发功能:
　　echo 1 > /proc/sys/net/ipv4/ip_forward
　　# 关闭 icmp 的重定向
　　echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
　　echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
　　echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
　　echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
　　# director 设置 nat 防火墙
　　iptables -t nat –F
　　iptables -t nat –X
　　iptables -t nat -A POSTROUTING -s 192.168.0.0/24  -j MASQUERADE
　　# director 设置 ipvsadm
　　IPVSADM='/sbin/ipvsadm'
　　$IPVSADM –C
　　$IPVSADM -A -t 192.168.1.109:80 -s rr
　　$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m
　　$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m
　　执行脚本
[root@dir ~]# sh /usr/local/sbin/lvs_nat.sh　　查看规则
　　[root@dir ~]# ipvsadm -ln

　　4、rs1和rs2上配置网关（这步非常关键）
# vim /etc/sysconfig/network-scripts/ifcfg-eth0　　GATEWAY=192.168.0.109
　　# ifdown eth0; ifup eth0
　　这样rs1和rs2就能与dir的eth1不同的网段实现通信了。
　　5、rs1和rs2都开启80端口
　　# /etc/init.d/nginx start
　　查看80端口是否开启成功
　　# netstat -lnp
　　6、测试
　　首先都要关闭防火墙
# iptables -F　　然后我们修改下nginx的默认页面
　　rs1上
echo "rs1 nginx" > /usr/share/nginx/html/index.html　　rs2上
echo "rs2 nginx" > /usr/share/nginx/html/index.html　　接着在dir上测试
[root@dir ~]# curl 192.168.1.109　　rs2 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs1 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs2 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs1 nginx
　　由上可知rs1和rs2轮换提供服务。
　　7、修改权重
　　这里我们也可以修改权重，比如rs1权重为1，rs2权重为2。
[root@dir ~]# vim /usr/local/sbin/lvs_nat.sh  //修改以下内容　　$IPVSADM -A -t 192.168.1.109:80 -s wrr
　　$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.112:80 -m -w 1
　　$IPVSADM -a -t 192.168.1.109:80 -r 192.168.0.113:80 -m -w 2
　　[root@dir ~]# ipvsadm -C
　　[root@dir ~]# sh /usr/local/sbin/lvs_nat.sh
　　测试下
[root@dir ~]# curl 192.168.1.109　　rs1 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs2 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs2 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs1 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs2 nginx
　　[root@dir ~]# curl 192.168.1.109
　　rs2 nginx
　　二、DR模式
　　1、说明
　　DR模式的一台Director server和两台Real server都要是公网IP，其缺点就是比较浪费公网IP。所以我们在这里的IP都视为公网IP
　　dir网卡IP配置为：
eth0 192.168.0.109（外网）　　rs1网卡IP配置为：
eth0 192.168.0.112（外网）　　rs2网卡IP配置为：
eth0 192.168.0.113（外网）　　2、清空之前NAT模式下的规则
[root@dir ~]# ipvsadm -C　　[root@dir ~]# iptables -t nat -F
　　3、改回rs1和rs2的网关
GATEWAY=192.168.0.1　　ifdown eth0; ifup eth0
　　4、配置dir
　　现在不用eth1网卡，所以我们down掉eth1网卡
[root@dir ~]# ifdown eth1　　配置脚本
　　[root@dir ~]# vim /usr/local/sbin/lvs_dr.sh
　　#! /bin/bash
　　echo 1 > /proc/sys/net/ipv4/ip_forward
　　ipv=/sbin/ipvsadm
　　vip=192.168.0.110
　　rs1=192.168.0.112
　　rs2=192.168.0.113
　　ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
　　route add -host $vip dev eth0:0
　　$ipv –C
　　$ipv -A -t $vip:80 -s rr
　　$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
　　$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
　　执行脚本
[root@dir ~]# sh /usr/local/sbin/lvs_dr.sh　　查看
[root@dir ~]# ipvsadm -ln　　也可以用ifconfig查看到已经启动了eth0:0这个vip
　　5、配置rs1和rs2
　　在rs1和rs2上配置如下一样的脚本
# vim /usr/local/sbin/lvs_rs.sh    //写入如下内容　　#! /bin/bash
　　vip=192.168.0.110
　　ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
　　route add -host $vip lo:0
　　echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　在rs1和rs2上都执行脚本
# sh /usr/local/sbin/lvs_rs.sh　　可以用ifconfig查看到已经启动了lo:0这个vip,也可以用ipvsadm -ln查看详情。
　　6、测试
　　（1）打开另外一台新机器来测试
　　（2）测试权重
　　编辑dir上的脚本，修改权重：rs1权重为2，rs2权重为1。
[root@dir ~]# vim /usr/local/sbin/lvs_dr.sh   //修改以下　　#! /bin/bash
　　echo 1 > /proc/sys/net/ipv4/ip_forward
　　ipv=/sbin/ipvsadm
　　vip=192.168.0.110
　　rs1=192.168.0.112
　　rs2=192.168.0.113
　　ifconfig eth0:0 down            //因为之前执行脚本已经生成过eth0:0，故down掉
　　ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
　　route add -host $vip dev eth0:0
　　$ipv –C
　　$ipv -A -t $vip:80 -s wrr
　　$ipv -a -t $vip:80 -r $rs1:80 -g -w 2
　　$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
　　[root@dir ~]# ipvsadm -C
　　[root@dir ~]# sh /usr/local/sbin/lvs_dr.sh
　　三、LVS结合keepalived
　　前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把nginx停掉，那么 director server照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测 real server 的状态，这就是 keepalived。它的作用除了可以检测 RS 状态外，还可以检测备用 director 的状态，也就是说 keepalived 可以实现 ha 集群的功能，当然了也需要一台备用 director server。
　　1、前提准备
主dir： eth0 192.168.0.109　　备dir1： eth0 192.168.0.104
　　rs1: eth0 192.168.0.112
　　rs2: eth0 192.168.0.113
　　vip: 192.168.0.110
　　因为前面我们已经配置过一些操作，而下面我们使用 keepaliave 操作会和之前的操作是有些冲突，所以先做一些预先处理。 在主dr上执行：
[root@dir ~]# ipvsadm -C　　[root@dir ~]# ifconfig eth0:0 down
　　2、安装
　　在主dr和备dir1上都安装keepalived
# yum install -y keepalived　　同时也都安装ipvsadm，因为主dir之前安装配置过，故只需配置备dir1。
[root@dir1 ~]# yum install -y ipvsadm　　3、配置
　　在主dr上配置
[root@dir ~]# echo "" > /etc/keepalived/keepalived.conf   //先清空默认配置　　[root@dir ~]# vim /etc/keepalived/keepalived.conf         //再添加如下内容
　　vrrp_instance VI_1 {
　　state MASTER        #如果是备用服务器，这里改为 BACKUP
　　interface eth0
　　virtual_router_id 51
　　priority 100        #如果是备用服务器，这里改为 90（少于100即可）
　　advert_int 1
　　authentication {
　　auth_type PASS
　　auth_pass 1111
　　}
　　virtual_ipaddress {
　　192.168.0.110    #vip
　　}
　　}
　　virtual_server 192.168.0.110 80 {
　　delay_loop 6                        #(每隔 10 秒查询 realserver 状态)
　　lb_algo wlc                         #(lvs 算法)
　　lb_kind DR                          #(Direct Route)
　　persistence_timeout 60              #(同一 IP 的连接 60 秒内被分配到同一台realserver)
　　protocol TCP                        #(用 TCP 协议检查 realserver 状态)
　　real_server 192.168.0.112 80 {
　　weight 100
　　TCP_CHECK {
　　connect_timeout 10              #(10 秒无响应超时)
　　nb_get_retry 3
　　delay_before_retry 3
　　connect_port 80
　　}
　　}
　　real_server 192.168.0.113 80 {
　　weight 100
　　TCP_CHECK {
　　connect_timeout 10
　　nb_get_retry 3
　　delay_before_retry 3
　　connect_port 80
　　}
　　}
　　}
　　在备dr1上配置
　　拷贝主上文件到从上
[root@dir1 ~]# scp 192.168.0.109:/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf　　[root@dir1 ~]# vim /etc/keepalived/keepalived.conf   //找到标红两处，修改为以下参数
　　state BACKUP
　　priority 90
　　4、查看
　　分别在主备上都查看
ipvsadm -ln    //没有ipvsadm规则　　ip addr      //没有虚拟ip：eth0:0的。eth0只有一个ip。
　　5、开启端口转发（主从都要做）
# echo 1 > /proc/sys/net/ipv4/ip_forward　　然后在两个 rs 上都执行/usr/local/sbin/lvs_rs.sh 脚本
# bash /usr/local/sbin/lvs_rs.sh　　6、启动 keepalived 服务（先主后从）
# /etc/init.d/keepalived start　　7、再查看
　　接着都在主备上查看
ipvsadm -ln    //可看到已经产生ipvsadm规则ip addr    //产生虚拟ip：eth0:0　　8、测试
　　用第五台机器curl测试192.168.0.110，可以发现是平均请求rs1和rs2的nginx主页面。
　　转自http://msiyuetian.blog.运维网.com/8637744/1700710