集群负载均衡之lvs和keepalived

liukun2009

　　

　　本篇主要介绍集群的负载均衡。
　　

　　lvs是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率，将请求均衡地转移到不同的服务器上执行，且调度器自动屏蔽掉服务器的故障，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的，而且无需修改客户端和服务器端的程序。为此，在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性。
　　LVS主要组成部分为：
　　　　负载调度器(load balancer/ Director)，它是整个集群对外面的前端机，负责将客户的请求发送到一组服务器上执行，而客户认为服务是来自一个IP地址(我们可称之为虚拟IP地址)上的。
　　　　服务器池(server pool/ Realserver)，是一组真正执行客户请求的服务器，执行的服务一般有WEB、MAIL、FTP和DNS等。
　　　　共享存储(shared storage)，它为服务器池提供一个共享的存储区，这样很容易使得服务器池拥有相同的内容，提供相同的服务。
　　LVS负载均衡方式:
1.Virtual Server via Network Address Translation NAT(VS/NAT)
VS/NAT是一种最简单的方式，所有的RealServer只需要将自己的网关指向Director即可。客户端可以是任意操作系统，但此方式下，一个Director能够带动的RealServer比较有限。在VS/NAT的方式下，Director也可以兼为一台RealServer。
　　    2.Virtual Server via IP Tunneling(VS/TUN)
IP隧道(IP tunneling)是将一个IP报文封装在 另一个IP报文的技术，这可以使得目标为一个IP地址的数据报文能被封装和转发到另一个IP地址。IP隧道技术亦称为IP封装技术(IP encapsulation)。IP隧道主要用于移动主机和虚拟私有网络(Virtual Private Network)，在其中隧道都是静态建立的，隧道一端有一个IP地址，另一端也有唯一的IP地址。它的连接调度和管理与VS/NAT中的一样，只是它的 报文转发方法不同。调度器根据各个服务器的负载情况，动态地选择一台服务器，将请求报文封装在另一个IP报文中，再将封装后的IP报文转发给选出的服务器;服务器收到报文后，先将报文解封获得原来目标地址为 VIP 的报文，服务器发现VIP地址被配置在本地的IP隧道设备上，所以就处理这个请求，然后根据路由表将响应报文直接返回给客户。
3.VS/DR 直连模式
　　    VS/DR方式是通过改写请求报文中的MAC地址部分来实现的。Director和RealServer必需在物理上有一个网卡通过不间断的局域网相连。 RealServer上绑定的VIP配置在各自Non-ARP的网络设备上(如lo或tunl),Director的VIP地址对外可见，而RealServer的VIP对外是不可见的。RealServer的地址即可以是内部地址，也可以是真实地址。
　　VS/DR的工作流程：它的连接调度和管理与VS/NAT和VS/TUN中的一样，它的报文转发方法又有不同，将报文直接路由给目标服务器。在 VS/DR中，调度器根据各个服务器的负载情况，动态地选择一台服务器，不修改也不封装IP报文，而是将数据帧的MAC地址改为选出服务器的MAC地址， 再将修改后的数据帧在与服务器组的局域网上发送。因为数据帧的MAC地址是选出的服务器，所以服务器肯定可以收到这个数据帧，从中可以获得该IP报文。当 服务器发现报文的目标地址VIP是在本地的网络设备上，服务器处理这个报文，然后根据路由表将响应报文直接返回给客户
　　
　　实验环境：两台虚拟机server1、server2作为realserver(rs).
　　          两台虚拟机server3、server4作为virtualserver(vs).
　　          rhel6.5
　　          iptables, selinux disabled
　　
　　一．安装lvs
　　在server2上
　　# yum install ipvsadm-1.25-10.el6.x86_64.rpm
　　
　　在server3、server4上，安装并启动httpd，并在html目录下新建内容为本机hostname的index.html文件
　　
　　LVS有十种调度算法：
　　
　　

　　
　　下面增加一台新的虚拟服务器实现负载均衡中的DR模式。
　　在server2 中
　　#ip addr add 172.25.0.100/24 dev eth0  //给vs添加vip。
　　#ipvsadm -l                     //   显示vs列表
　　#ipvsadm -C        // 清空vs列表
　　#ipvsadm -A -t 172.25.0.100:80 -s rr  //制定lvs的vip，并使用轮叫调度算法
　　#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.3:80 -g //增加一台新的虚拟服务器
　　#ipvsadm -a -t 172.25.0.100:80 -r 172.25.0.4:80 -g //增加一台新的虚拟服务器
　　#/etc/init.d/ipvsadm save      //保存lvs设置
　　#ipvsadm -l   //查看当前lvs列表。
　　
　　根据DR工作原理，在RS（即server3、server4）上要加vip
　　
　　在web上输入172.25.0.100，不断刷新，页面交替出现server3.example.com和server4.example.com，正是rr算法的体现。
　　在真机上
　　#arp -an     //查看ip对应的mac地址
　　由于没有启用no-arp，因此vip对应的mac为rs中任意一个。
　　  
　　实现ARP欺骗：
　　在两台rs上
　　#yum install arptables_jf -y
　　#arptables -A IN -d 172.25.0.100 -j DROP //RS忽略所有针对虚拟ip的arp请求
　　#arptables -A OUT -s 172.25.0.100 -j manle --mangle-ip-s 172.25.0.3   //改变向外的arp回应，把原先包含vip的arp回应改为包含server3的ip。
　　#/etc/init.d/arptables_jf save  //保存arptables_jf配置
　　
　　在server2上，
　　将/usr/share/dos/ldirectord-3.95/ldirectord.cf 拷贝到/etc/ha.d下。
　　编辑/etc/init.d/ldirectord，改vs与rs相应的ip，注释掉persistent=600（持续时间太长，效果不明显），fallback为127.0.0.1:80 gate表示当rs服务都坏掉后启用调度器的服务。
　　启用ldirectord服务 。
　　注：ldirectord：用这个软件可以自动检测后端服务器是否连接。如果网络down掉，直接在ipvsadm表里边把这个后端的权值变为0，代表不用这个后端。如果网络恢复,ipvsadm表中这个后端的权重又变为设置的值，代表可用。
　　在rs上重启httpd。
　　
　　将lvs整合到heartbeat中
　　
　　将server2上的ldirectord.cf文件复制到server1上。并关掉httpd、ldirectord服务，删除vip。
　　在server1上，编辑/etc/ha.d/haresource，在最后一行添加
　　server1.example.com IPaddr::172.25.0.100/24/eth0 httpd ldirectord   //通过高可用heartbeat调用ldirecord和httpd
　　然后将该文件复制到server2中。并启动两vs的heartbeat。启动server1的httpd。
　　在server1上，查看messages日志可以看到lvs已经加载。vip已自动添加。
　　
　　在真机上，通过arp -an 可以看到vip的mac地址为调度器server1的mac地址。（arp欺骗成功）
　　将server3和server4的httpd都停掉，web内容为server1.example.com.
　　
　　keepalived
　　
keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于heartbeat，用来防止单点故障，实现双机热备。通常说的双机热备是指两台机器都在运行，但并不是两台机器都同时在提供服务。当提供服务的一台出现故障的时候，另外一台会马上自动接管并且提供服务，而且切换的时间非常短。大公司一般用rhcs（Red Hat Cluster Suite），keepalived适用于小型公司。
工作原理
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。
虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
　　配置：
　　停掉调度器heartbeat、ldirectord、删除vip。
　　在server1上，解压keepalived-1.2.20.tar.gz，yum安装libnl,libnl-devel
　　#./configure --prefix=/usr/local/keepalived
　　#make && make install
　　复制/usrlocalkeepalived文件夹到server2中。
　　建立链接
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ln -s /usr/local/keepalived/etc/keepalived /etc/ln -s /usr/local/keepalived/sbin/keepalived /sbin/ln -s /usr/local/keepalived/bin/genhash /bin/
　　在server1上，编辑/etc/keepalived/keeplived.conf
global_defs {notification_email {      12345678@qq.com #指定接受报警的邮箱，可以有多个}notification_email_from keepalived@server2.example.com #发送邮件的地址smtp_server 127.0.0.1          #smtp server 地址smtp_connect_timeout 30        #smtp超时时间router_id LVS_DEVEL            #load balancer 的标识 ID,用于 email 警报} vrrp_instance VI_1 { state MASTER         #设定lvs主备机状态，备机为BACKUP interface eth0       #HA 监测网络接口 virtual_router_id 51 #主备机的id必须相同 priority 100         #设定优先级，数字越高优先级有高，主机优先级要高于备机 advert_int 1         #主备机通信间隔时间 authentication {    auth_type PASS   #设置验证类型,主要有 PASS 和 AH 两种    auth_pass 1111   #主备机必须一致 }virtual_ipaddress {    172.25.0.100   #设定虚拟ip，可多个} } virtual_server 172.25.0.3 80 {  #通过端口定义虚拟服务器，80为apache端口delay_loop 6                 #每隔 6 秒查询 realserver 状态lb_algo rr                   #lvs调度算法为论询lb_kind DR                   #lvs为直连模式
# persistence_timeout 50 #设定连接保持时间 protocol TCP #指定转发协议
real_server 172.25.0.3 80 {  #定义真实服务器    weight 1                  #配置权重    TCP_CHECK {               #设置真实服务器检查为tcp查询        connect_timeout 3     #设定超时时间        nb_get_retry 3        #重试次数         delay_before_retry 3  #重试间阁    }}real_server 172.25.0.4 80 { #另一台真实服务器用以实习负载均衡    weight 1    TCP_CHECK {        connect_timeout 3        nb_get_retry 3        delay_before_retry 3    }}}
　　并复制该文件到server2（备机）上，并修改state为BACKUP，priority为50.
　　在server1上，启动keepalived服务，在messages日志上可以看到VRRP是MASTER模式，vip已添加。
　　停掉server1的keepalived，启动server2的keepalived。在日志可看到vrrp为master模式且添加了vip
　　
　　以rs的vsftp服务配置keepalive服务。
　　在两rs上安装启动vsftpd。在/var/ftp/pub下各新建名为server3、server4的文件。
　　#vim /etc/sysconfig/arptables
　　添加
　　[0:0] -A IN -d 172.25.0.101 -j DROP
　　[0:0] -A OUT -s 172.25.0.101 -j mangle --mangle-ip-s 172.25.0.4(server3为3） //通过文件方式实现arp欺骗
　　新添加vip172.25.0.101/32并重启arptables_jf服务。
　　在vs上，修改keepalived.conf文件。将原vip改为172.25.0.101，并取消persistence_timeout 60的注释，将rs的端口改为21端口（vsftp的端口），调度模式为wlc（加权最小连接）。
　　在server1上，
　　#/etc/init.d/keepalived reload
　　#ipvsadm -l
　　
　　
　　在真机上
　　#lftp 172.25.0.101
~>ls
显示server4
　　在server2上，
　　#lftp 172.25.0.101
~>ls
显示server3（server4已被使用，根据wlc自动切到server3）。