LVS DR模式搭建，keepalived+lvs

wxsheng

LVS DR模式搭建

• 准备工作
  
  
  
  • 三台机器
    
  • 分发器，也叫调度器（简写为dir），IP为21.128
    
  • rs1,21.129
    
  • rs2,21.130
    
  • vip,21.100
    
  • 在dir上安装ipvsadm
    
  
  
• dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
  #! /bin/bash
  echo 1 > /proc/sys/net/ipv4/ip_forward
  ipv=/usr/sbin/ipvsadm
  vip=192.168.21.100
  rs1=192.168.21.129
  rs2=192.168.21.130
  #注意这里的网卡名字
  ifdown ens33
  ifup ens33
  ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
  route add -host $vip dev ens33:2
  $ipv -C
  $ipv -A -t $vip:80 -s rr
  $ipv -a -t $vip:80 -r $rs1:80 -g -w 1
  $ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  
• 两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
  #/bin/bash
  vip=192.168.21.100
  #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
  ifdown lo
  ifup lo
  ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
  route add -host $vip lo:0
  #以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
  #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
  echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  
• 分别在dir上和两个rs上执行这些脚本
  
• 测试
  
  
  
  • 在浏览器中输入192.168.21.100测试
    
  • 由于访问量太低，导致测试可能一直在一台机器上，也可以在第四台linux服务器上使用curl测试
    keepalived+lvs
    
  
  
• 完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
  
• keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
  
• 三台机器分别为：dir（安装keepalived）21.128，rs1 21.129，rs2 21.130，vip 21.100
  
• 　　编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf//内容请到https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf 获取
  
  vrrp_instance VI_1 {
  #备用服务器上为 BACKUP
  state MASTER
  #绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
  interface ens33
  virtual_router_id 51
  #备用服务器上为90
  priority 100
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass aminglinux
  }
  virtual_ipaddress {
  192.168.21.100
  }
  }
  virtual_server 192.168.21.100 80 {
  #(每隔10秒查询realserver状态)
  delay_loop 10
  #(lvs 算法)
  lb_algo wlc
  #(DR模式)
  lb_kind DR
  #(同一IP的连接60秒内被分配到同一台realserver)
  persistence_timeout 0
  #(用TCP协议检查realserver状态)
  protocol TCP
  real_server 192.168.21.129 80 {
  #(权重)
  weight 100
  TCP_CHECK {
  #(10秒无响应超时)
  connect_timeout 10
  nb_get_retry 3
  delay_before_retry 3
  connect_port 80
  }
  }
  real_server 192.168.21.130 80 {
  weight 100
  TCP_CHECK {
  connect_timeout 10
  nb_get_retry 3
  delay_before_retry 3
  connect_port 80
  }
  }
  }
  
• 执行ipvsadm -C  把之前的ipvsadm规则清空掉
  [root@akuilinux01 ~]# ipvsadm -C
  [root@akuilinux01 ~]# ipvsadm -ln
  IP Virtual Server version 1.2.1 (size=4096)
  Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  
• systemctl restart network 可以把之前的vip清空掉
  
• 两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
  #/bin/bash
  vip=192.168.21.100
  #把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
  ifdown lo
  ifup lo
  ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
  route add -host $vip lo:0
  #以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
  #参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
  echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  
• keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去
  [root@akuilinux03 ~]# systemctl stop nginx
  [root@akuilinux01 ~]# ipvsadm -ln
  IP Virtual Server version 1.2.1 (size=4096)
  Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  TCP  192.168.21.100:80 wlc
  -> 192.168.21.129:80            Route   100    2          3         
  扩展
  
• haproxy+keepalived
  
• nginx、lvs、haproxy比较
  
• keepalived中自定义脚本vrrp_script
  
• lvs dr模式只使用一个公网ip的实现方法