lvs负载均衡搭建笔记

lfjigu

　　三种LVS负载均衡模式
调度器的实现技术中,IP负载均衡技术是效率最高的,IP虚拟服务器软件(IPVS)是在linux内核中实现的｡
LVS负载均衡模式---1.NAT模式
NAT用法本来是因为网络IP地址不足而把内部保留IP地址通过映射转换成公网地址的一种上网方式(原地址NAT)｡如果把NAT的过程稍微变化,就可以成为负载均衡的一种方式｡原理其实就是把从客户端发来的IP包的IP头目的地址在DR上换成其中一台REALSERVER的IP地址并发至此 REALSERVER,而REALSERVER则在处理完成后把数据经过DR主机发回给客户端,DR在这个时候再把数据包的原IP地址改为DR接口上的 IP地址即可｡期间,无论是进来的流量,还是出去的流量,都必须经过DR｡
LVS负载均衡模式---2.IP隧道模式
隧道模式则类似于***的方式,使用网络分层的原理,在从客户端发来的数据包的基础上,封装一个新的IP头标记(不完整的IP头,只有目的IP部)发给 REALSERVER,REALSERVER收到后,先把DR发过来的数据包的头给解开,还原其数据包原样,处理后,直接返回给客户端,而不需要再经过 DR｡需要注意的是,由于REALSERVER需要对DR发过来的数据包进行还原,也就是说必须支持IPTUNNEL协议｡所以,在REALSERVER 的内核中,必须编译支持IPTUNNEL这个选项｡IPTUNNEL也在Net working options里面｡
LVS负载均衡模式---3.直接路由模式
直接路由模式比较特别,很难说和什么方面相似,前2种模式基本上都是工作在网络层上(三层),而直接路由模式则应该是工作在数据链路层上(二层)｡其原理为,DR和REALSERVER都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有REALSERVER对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的REALSERVER,把目的MAC地址改为 REALSERVER的MAC并发给这台REALSERVER｡这时REALSERVER收到这个数据包,则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端｡由于DR要对二层包头进行改换,所以DR和REALSERVER之间必须在一个广播域,也可以简单的理解为在同一台交换机上｡
LVS十种调度算法介绍
1.轮叫调度（Round Robin）(简称rr)
调度器通过“轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

2.加权轮叫（Weighted Round Robin）（简称wrr)
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器能处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

3.最少链接（Least Connections）(LC)
调度器通过“最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用“最小连接”调度算法可以较好地均衡负载。

4.加权最少链接（Weighted Least Connections）(WLC)
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。

5.基于局部性的最少链接（Locality-Based Least Connections）(LBLC)
“基于局部性的最少链接”调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用“最少链接” 的原则选出一个可用的服务器，将请求发送到该服务器。

6.带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）(LBLCR)
“带复制的基于局部性最少链接”调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标 IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按“最小连接”原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。

7.目标地址散列（Destination Hashing）(DH)
“目标地址散列”调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

8.源地址散列（Source Hashing）(SH)
“源地址散列”调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
9. 最短的期望的延迟（Shortest Expected Delay Scheduling SED）(SED)
基于wlc算法。这个必须举例来说了
ABC三台机器分别权重123 ，连接数也分别是123。那么如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个。使用sed算法后会进行这样一个运算
A(1+1)/1
B(1+2)/2
C(1+3)/3
根据运算结果，把连接交给C 。

10.最少队列调度（Never Queue Scheduling NQ）(NQ)
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要在进行sed运算

=====================================================================

根据业务目标分成三类：
1、High Availability高可用
2、Load Balancing负载均衡
3、High Performance高性能　　实现集群产品：
HA类：
rhcs、heartbeat、keepalived
LB类：
haproxy、lvs、nginx、f5、piranha
HPC类：
http://www.zghpc.com/index/downfile/infor_id/42
　　
======================
LVS   linux virtual server
　　LVS 负载均衡有三种模式：
1、LVS-DR模式（direct router）直接路由模式
进必须经过分发器，出就直接出，性能比较好，服务器只能放在公司内部
2、LVS-NAT模式（network address translation）
进出必须都经过分发器
3、LVS-TUN模式（ip tunneling）IP隧道模式
服务器可以放到全国各地
　　
NAT模式的特性：
1、realserver必须与Director在同一网络，仅用于与Director服务器通讯
2、Director接收所有的数据包通讯（包括客户端与Director、Director与Realserver直接通讯）。
4、Realserver的默认网关必须指向到DIP
5、Realserver支持端口映射，可以将客户端的请求映射到realserver的另一个端口（DR模式不可以映射）。
　　
====================net模式安装笔记=======================
　　1、Director机器配置
添加一张网卡
　　设置DIP、VIP IP地址
DIP和RIP相连同一个交换机
CIP和VIP相连同一个交换机
　　开启IP数据包转发
net.ipv4.ip_forward = 0    ##0改成1
查看是否开启：sysctl -p
　　创建yum安装ipvsadm
mount /dev/xvdd /media/  挂在光盘
cd /etc/yum.repos.d/
cp rhel-debuginfo.repo server.repo
vi server.repo
修改为：
[base]
name=Red Hat Enterprise Linux
baseurl=file:///media/Server
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
　　
[Cluster]
name=Red Hat Enterprise Linux Cluster
baseurl=file:///media/Cluster
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-beta,file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
　　拷贝到另外两台RealServer
scp server.repo root@192.168.24.17:/etc/yum.repos.d/
scp server.repo root@192.168.24.24:/etc/yum.repos.d/
　　安装ipvsadm
yum -y install ipvsadm
　　2、RealServer1配置：
　　mount /dev/xvdd /media/
vi /var/www/html/index.html
写入：this is realserver1
启动httpd
vi /etc/sysconfig/network-scripts/ifcfg-eth0
设置RIP,子网掩码必须设置成DIP
IPADDR=192.168.24.17
NETMASK=255.255.255.0
GATEWAY=192.168.24.31
　　
3、RealServer2 配置：
vi /var/www/html/index.html
写入：this is realserver2
启动httpd
vi /etc/sysconfig/network-scripts/ifcfg-eth0
设置RIP，子网掩码必须设置成DIP
IPADDR=192.168.24.24
NETMASK=255.255.255.0
GATEWAY=192.168.24.31
　　
4、配置DR服务器
ipvsadm -A -t 192.168.24.111:80 -s rr  添加集群服务，rr为调度算法
ipvsadm -L -n查询信息
ipvsadm -a -t 192.168.24.111:80 -r 192.168.24.17 -m -w 1
ipvsadm -a -t 192.168.24.111:80 -r 192.168.24.24 -m -w 2
ipvsadm -L -n再次查看是就有了realserver
service ipvsadm save保存配置
iptables -L关闭或者清空防火墙
watch -n 1 'ipvsadm -L -n'查看访问记录的数
　　============DR 模式===================
lo:0 回应客户端，lo:0上的IP跟机器有关，跟网卡没有关系
arp_announce对网络接口上本地IP地址发出的ARP回应作出相应级别的限制
arp_ignore定义对目标地址为本地IP的ARP询问不同的请求
　　NAT模式的特性：
Realserver必须与Director在同一网络
Realserver不需要是一个私有IP
Realserver的默认网关不需指向到DIP
　　DR上的配置：
在eth0上添加一个子接口：
ifconfig eth0:1 192.168.24.111 broadcast 192.168.24.111 netmask 255.255.255.255 up
　　添加路由
route add -host 192.168.24.111 dev eth0:1
route -n
　　安装ipvsadm
yum -y install ipvsadm
ipvsadm -A -t 192.168.24.111:80 -s wlc添加集群
ipvsadm -a -t 192.168.24.111:80 -g -r 192.168.24.24 -w 1
ipvsadm -a -t 192.168.24.111:80 -g -r 192.168.24.17 -w 2
service ipvsadm save
　　2台realserver都加上配置：
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
ifconfig lo:0 192.168.24.111 netmask 255.255.255.255 broadcast 192.168.24.111 up
route add -host 192.168.24.111 dev lo:0
　　
==========keepalived + LVS==========
　　tar xzvf keepalived-1.2.1.tar.gz
./configure --sysconf=/etc/ --with-kernel-dir=/usr/src/kernels/2.6.18-128.el5-i686/
　　make
make install
　　ln -s /usr/local/sbin/keepalived /sbin/
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
　　修改master的配置文件
vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
　　global_defs {
notification_email {
liumeng@ipanel.cn
}
notification_email_from liumeng@ipanel.cn
smtp_server 192.168.10.248
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.24.111
}
}
　　virtual_server 192.168.24.111 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
　　real_server 192.168.24.24 80 {
weight 1
TCP_CHECK {
connect_timneout 3
nb_get_retry 3
dalay_before_retry 3
connect_port 80
}
}
　　real_server 192.168.24.17 80 {
weight 2
TCP_CHECK {
connect_timneout 3
nb_get_retry 3
dalay_before_retry 3
connect_port 80
}
}
}
　　/etc/init.d/keepalived start
chkconfig keepalived on
　　把配置文件拷贝到备DR上
修改state为backup
修改priority为200
启动
　　DIP安装ipvsadm
RIP安装httpd
　　
拷贝lvs-realserver.sh脚本到2台realserver
运行脚本
lvs-realserver.sh start
　　ln -s /etc/init.d/realserver.sh /etc/rc.d/rc3.d/s99realserver.sh
ln -s /etc/init.d/realserver.sh /etc/rc.d/rc5.d/s99realserver.sh
　　ip addr list