LVS+keepalived(双主模型)

21fsdsd · 发表于 2016-9-20 11:00:14

集群类型：
      LB:负载均衡
               组件：负载均衡器、调试器、分发器
      HA:高可用
               活动服务器、备用服务器
      HP：高性能
      DS：分布式
               分布式存储、分布式计算

  主要写LB类型,lvs集群：
      lvs集群类型:
            lvs-nat
            lvs-dr
            lvs-tun
            lvs-fullnat

lvs-nat  :多目标的DNAT，将请求报文中的目标IP和目标PORT修改为某一RS的IP和PORT实现转发。
   特点：
         1、请求报文和响应报文都是由Director转发，较高负载下，Director易于成为系统性能瓶颈。
         2、lvs主机必须是Linux，RS可以是任意OS
         3、RIP和DIP必须在同一IP网络，且应该使用私有地址；RS的网关要指向DIP（保证响应报文必                须经由VS）
         4、支持端口映射

lvs-dr：通过为请求报文的重新封闭一个MAC首部进行转发，源MAC是DIP所在接口的MAC，目标MAC是挑选出某RS的RIP所在接口的MAC地址；IP首部不会发生变化；之后由RS直接响应客户端，不经由Director，是通过修改RS的内核参数，使每个RS都有Director的地址，但多个RS之间又不会互相冲突。
      特点：
            1、请求报文必须由Directory调度，但响应报文必须不能经由Director
            2、RS可以使用大多的OS
            3、RS的RIP可以使用私有地址，也可以使用公网地址；
            4、不支持端口映射

   lvs-tun：tunnel隧道模型
   修改请求报文的源IP和目标IP，将请求报文的原IP和目标IP上再次封装一个Directory自己的原IP和目标IP，基于此种机制进行转发；
               特点：
                     1、RIP，DIP，VIP全得是公网地址；
2、RS网关不能指向也可能指向DIP；
3、请求报文经由Director转发，但响应报文将直接发往CIP；
4、不支持端口映射；
5、RS的OS必须支持隧道功能；

      lvs-fullnat：
            通过同时修改请求报文的源IP地址（CIP-->DIP）和目标IP地址（VIP-->RIP）进行转发；
（1）VIP是公网地址，RIP和DIP是私网地址，且通常不在同一网络中，但需要经由路由器互通；
（2）RS收到的请求报文源IP为DIP，因此响应报文将直接响应给DIP；
（3）请求和响应报文都经由Director；
（4）支持端口映射；

         lvs会话保存方法：
      session sticky 地址绑定，原地址哈希（会影响负载均衡效果）
            session cluster 会话集群，负载到任何一个节点，会话都存在
            session server 找一台服务器专用保持会话

         lvs调度方法：

            有两种模式：基于是否考虑后端主机的当前负载
                  静态方法：
                           rr, wrr, sh, dh （仅根据算法本身进行调度）；
                  动态方法：
                        lc, wlc, sed, nq, lblc, lblcr （  根据算法及各RS当前的负载状态进行调度）

   静态方法：
            RR：Round Robin：轮询/轮调/轮叫；
                  WRR：Weighted RR：加权轮询；（根据各个rs的情况，公平分配）
                  SH：Source Hashing：源地址哈希；（将来自同一IP地址的请求始终发往同一rs），很粗糙，削弱了负载均衡
                  DH：Destination Hashing：目标地址哈希；（客户端上次所请求的地址是由哪台服务器所代理，服务器会有缓存，下次来直接就分配给上一次代理的服务器）
   动态方法：
                  负载值Overhead=
                  LC: least connections，最少连接；
                              Overhead=Active*256+Inactive活动链接数x256+非活动连接数
                  WLC: Weighted LC, 加权最少连接；
                              Overhead=(Active*256+Inactive)/weight活动链接数x256+非活动连接数÷权重
                     SED：Shortest Expections Delay最短期望延迟
                              Overhead=(Active+1)*256/weight活动链接数+1x256÷权重
                     NQ：Never Queue永不排队，先按权重大小，之后再用sed算法
                     LBLC：Locality-Based LC
                              动态的DH算法；
                     LBLCR：LBLC with Replication
                        带复制功能的LBLC；

ipvsadm：用户空间的集群服务管理工具；

# ipvsadm -Ln 查看规则

Prot:哪个协议

LocalAddress:Port  ： vip的地址
Scheduler ：调度方法
Flags ：标志位

RemoteAddress:Port ：rs的地址
Forward: 转发方法
weight:权重
ActiveConn：活动联连接数
InActConn：非活动连接数

#ipvsadm -Ln --rate  查看速率

CPS ：每秒钟的连接数
InPPS  ：每秒的入站报文数
OutPPS：每秒的出站报文数
InBPS：每秒的入站字节数
OutBPS：每秒的出站字节数
# ipvsadm -Ln --stats  统计数据
Conns ：总的连接数
InPkts：入站报文书数
OutPkts ：出站的报文数
InBytes：入站的字节数
OutBytes：出站的字节数

管理集群服务：增、改，删，查
   ipvsadm -A|E -t|u|f service-address [-s scheduler]  [-p [timeout]]
-A：增
-E：修改
-t：tcp
-u：udp
-f：firewall mark防火墙标标记
service-address：
-t, tcp, vip:port
-u, udp, vip:port
-f, fwm, mark标记
-s scheduler：调度方法，默认为wlc；

         e.g. 添加一个集群
   # ipvsadm -A -t 192.168.19.129:80 -s rr
                  # ipvsadm -Ln
         e.g. 将算法改为wrr
                  # ipvsadm -E -t 192.168.19.129:80 -s wrr

      ipvsadm -D -t|u|f service-address（指明哪个协议哪个地址）
-D：删除

管理集群上的RS：

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
-a：增
-e：改
-r server-address
RS的地址；
rip[:port]（有些类型不支持端口映射，此处端口可以省略）
集群类型：
      -g, gateway, dr类型，默认
-i, ipip, tun类型
-m, masquerade, nat类型
      -w weight---权重（有的算法不支持权重）

      e.g.添加一个RS
               # ipvsadm -a -t 192.168.19.129:80 -r 192.168.19.128 -m -w 1
      e.g.将 w改为3（注意地址不能改，只能删）
               # ipvsadm -e -t 192.168.19.129:80 -r 192.168.19.128 -m -w 3

e.g.  以上两步骤图示：

查看：
ipvsadm -L|l [options]
-n, --numeric：数字格式显示IP和PORT；
--exact：精确值；不做单位换算
-c, --connection：显示IPVS连接；
--stats：统计数据；
--rate：速率；
清空规则：
-C：
保存和重载：

ipvsadm -S > /PATH/TO/SOME_RULE_FILE
重载：

ipvsadm -R <  /PATH/TO/SOME_RULE_FILE
清空计数器：
            ipvsadm -Z [-t|u|f service-address]

e.g. 保存刚才的规则
         # ipvsadm -S > /tmp/ipvsadm-config.v1
      需要用时只需重载即可
         # ipvsadm -R < /tmp/ipvsadm-config.v1

要想开机自启：(CentOS 7)
  # ipvsadm -S > /etc/sysconfig/ipvsadm

lvs-nat：
设计要点：
(1) DIP与RIP要在同一IP网络，RIP的网关要指向DIP；
(2) 支持端口映射；
(3) 是否用到共享存储取决业务需求；

Lvs（DR）+keepalived（双主）:

版本：
keeplived :1.2.21
ipvsadm :1.26

准备4台服务器：
Directo 1:
DIP 192.168.1.55
主VIP 192.168.1.15
备VIP 192.168.1.16

Directo 2:
DIP 192.168.1.56
主VIP 192.168.1.16
备VIP 192.168.1.15

RS1
eth0 192.168.1.57
VIP 192.168.1.15
VIP 192.168.1.16

RS2
eth0 192.168.1.58
VIP 192.168.1.15
VIP 192.168.1.16

1、确保 iptables  selinux 不会成为阻碍
2、确保两台lvs同步时间
3、在Directo 1、Directo 2，都按装上ipvsadm、keepalived。
4、在RS1、RS2，都安装上http服务。

安装keepalived:

# cd /app/soft
# su - CACC
$ mkdir /app/keepalived
$ wget http://www.keepalived.org/software/keepalived-1.2.21.tar.gz
$ tar -xf keepalived-1.2.21.tar.gz
$ cd  keepalived-1.2.21
$ ./configure --prefix=/app/keepalived
$ make && make install
$ vim /app/keepalived/etc/keepalived/keepalived.conf
  vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
      auth_type PASS
      auth_pass HNx6k728
}
virtual_ipaddress {
      192.168.1.15
}
}
vrrp_instance VI_2 {
state BACKUP
interface eth0
virtual_router_id 511
priority 98
advert_int 1
authentication {
      auth_type PASS
      auth_pass HNx6k728
}
virtual_ipaddress {
   192.168.1.16
}
}

virtual_server 192.168.1.15 80 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP

real_server 192.168.1.57 80{
      weight 1
      HTTP_GET {
         }
         url {
            path /
         }
         connect_timeout 3
         nb_get_retry 3
delay_before_retry 3
      }
}
real_server 192.168.1.58 80 {
      weight 1
      HTTP_GET {
         }
         url {
            path /
         }
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
      }
}
}

virtual_server 192.168.1.16 80 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
real_server 192.168.1.57 80 {
      weight 1
      HTTP_GET {
         url {
            path /

         }
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
      }
}
real_server 192.168.1.58 80 {
      weight 1
      HTTP_GET {
         url {
            path /
            }
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
      }
}
}

# scp /etc/keeplived/keepalived.conf root@192.168.1.56:/etc/keepalived/keepalived.conf

另一个lvs:
keepalived.conf只需修改以下即可
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 98

vrrp_instance VI_2 {
state MASTER
interface eth0
virtual_router_id 511
priority 100

ipvsadm 安装：

检查是否安装依赖包：
rpm -ql Kernel-devel
rpm -ql gcc
rpm -ql openssl
rpm -ql openssl-devel
rpm -ql popt
rpm -ql popt-deve
rpm -ql libnl
rpm -ql libnl-devel
rpm -ql popt-static
# cd /app/soft
# wget http://www.linuxvirtualserver.or ... ipvsadm-1.26.tar.gz
建立编译安装需要的软连接：
# ln -s /usr/src/kernels/2.6.32-642.4.2.el6.x86_64/ /usr/src/linux
# make && make install
验证：
# ipvsadm

另一台ipvsadm同样操作；

关闭RS1、RS2 arp响应：
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

配置RS1与RS2的VIP(分别在RS1、RS2执行)
ifconfig lo:0 192.168.1.15 netmask 255.255.255.255 broadcast 192.168.1.15
ifconfig lo:00 192.168.1.16 netmask 255.255.255.255 broadcast 192.168.1.16

为RS1、RS2添加路由(分别在RS1、RS2执行)
  route add -host 192.168.1.15 dev lo:0
  route add -host 192.168.1.16 dev lo:00
Directo 1:
$ /app/keepalived/sbin/keepalived
# service network restart
查看规则：
# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP  192.168.1.15:80 rr
  -> 192.168.1.57:80             Route 1    0       0
  -> 192.168.1.58:80             Route 1    0       0
TCP  192.168.1.16:80 rr
  -> 192.168.1.57:80             Route 1    0       0
  -> 192.168.1.58:80             Route 1    0       0
Directo 2:
$ /app/keepalived/sbin/keepalived
# service network restart
查看规则：
# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port          Forward Weight ActiveConn InActConn
TCP  192.168.1.15:80 rr
  -> 192.168.1.57:80             Route 1    0       0
  -> 192.168.1.58:80             Route 1    0       0
TCP  192.168.1.16:80 rr
  -> 192.168.1.57:80             Route 1    0       0
  -> 192.168.1.58:80             Route 1    0       0

在RS1与RS2上安装http服务并启动。

测试：
curl 192.168.1.15
curl 192.168.1.16
停掉LVS2的keepalived服务，查看LVS1的ip及测试是否正常
ip addr show eth0

账号		自动登录	找回密码
密码			立即注册

VMware vcenter+vSphere 6.5 U2共享

【跟谁学】韩宇极简英语课-技术人员不得不

用Zabbix通过JMX方式监控weblogic

winhex数据恢复教程（非常巨大，内容丰富）

Symantec Backup Exec 2015 2016/2012 BE20

NetScaler VPX部署之：NetScaler Gateway调

zabbix3.4.1安装部署+微信推送信息+大屏显

[经验分享] LVS+keepalived(双主模型)

扫码加入运维网微信交流群