LVS 安装配置与错误分析

50010623

http://pablopan.blog.iyunv.com/755221/341623


标签：LVS
一．背景描述 
某大型商业网站由于业务量的发展非常迅速，目前的网站架构根本无法缓解用户访问压力及单点故障。急需一套高可用的负载均衡集群解决方案www.linux .com(IT运维专家网)根据这家商业网站在的状况，部署了一套负载均衡及高可用的集群方案及相关优化，项目实施以后该商业网站得WEB压力得到了很好的解决，访问速度大幅度提升
二、需求分析及参考网页
1>用户可以访问HTTP://VIP 去访问WEB1 网站，或访问WEB2 的网站。WEB1与WEB2 构成负载均衡
即，当WEB1 宕机仍然可以访问 WEB2网站。
2>要求更高的可用性，即当MASTER宕机时 BACKUP也可作为取代MASTER的位置位置主服务器
3>图形日志网页分析监控
http://ssmax.net/archives/515.html
http://www.6curl.com/ipvsadm-heartbeat-ldirecrtord/
http://www.docin.com/p-48664611.html
http://bbs.linuxtone.org/thread-1535-1-1.html
http://www.howtoforge.com/high_availability_loadbalanced_apache_cluster_p4
http://net.chinaunix.net/8/2008/10/04/1280982.shtml
http://www.dirtysea.com/viewthread.php?tid=1164
http://blog.sina.com.cn/s/blog_65d209980100hlnu.html
http://salogs.com/author/admin/page/12/
三．拓扑结构：
本实验是建立 一个4层服务器。一个2台WEB 服务器。2台 集群服务器，再加一台客户端
MASTER 与BACKUP 的ETH1作为心跳网卡。

四、安装配置
Ipvsadm 安装
tar zxf ipvsadm-1.24.tar.gz 
cd ipvsadm-1.24/ 
make 
make install
编译安装libnet
tar zxf libnet-1.1.2.1.tar.gz 
cd libnet 
./configure 
make 
make install
编译安装mailtools
tar zxf MailTools-2.04.tar.gz 
cd MailTools-2.04 
perl Makefile.PL 
make 
make test 
make install
编译安装heartbeat和ldirecrtord，他两在一起
tar jxf Heartbeat-Stats*.1.2.4.tar.gz
./ConfigureMe configure 
make 
make install
在MASTER与BACKUP 、REALSERVER 修改Vim /etc/sysctl.con

在MASTER 和 BACKUP修改vim /etc/hosts

vi ha.cf
debugfile /var/log/ha-debug 
logfile /var/log/ha-log                             日志文件的路径 
logfacility local0 
keepalive 2                                         心跳检测的平率为2秒一次 
deadtime 30                                         如果30秒内没有相应心跳就做切换 
warntime 10                                         指明心跳的延时为10秒做警告记录一条日志，没有其他动作 
initdead 120                                        这个值设置成deadtime的两倍就可以了 
udpport 694                                         数据通信的端口 
bcast eth1                              eth1为心跳工作接口 
ucast eth1 192.168.1.3                              检测对端心跳接口的地址 
auto_failback on                                    当主节点回复后，自动切换 
node    MASTER                                主控机计算机名 //主控机的在前面 
node BACKUP                                  备用机计算机名 //备用机的在后面 
ping 192.168.72.1                                  检测网络是否正常，可以设置成网关地址 
respawn root /usr/lib/heartbeat/ipfail              ipfail文件的路径 
apiauth ipfail gid=root uid=root                    启用ipfail进程的用户是root
vi haresources

vi ipvs
引用
ipvs 
#!/bin/sh 
VIP=192.168.72.8 
RIP1=192.168.72.9 
RIP2=192.168.72.10 
. /etc/rc.d/init.d/functions 
case "$1" in 
    start) 
        echo " start LVS  " 
#      # set the Virtual  IP Address 
       /sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up 
#       /sbin/route add -host $VIP dev eth0:1 
       /sbin/ipvsadm -C 
      /sbin/ipvsadm -A -t $VIP:80 -s rr 
      /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g 
      /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g 
        ;; 
    stop) 
        echo "close LVS Director" 
        /sbin/ipvsadm -C 
        ;; 
    *) 
        echo "Usage: $0 {start|stop}" 
        exit 1 
esac
vi authkeys

配置ldirecrtord.cf
checktimeout=3                        检测超时 
checkinterval=1                       检测间隔 
autoreload=yes                        从新载入客户机 
logfile="/var/log/ldirectord.log"     日志路径 
logfile="local0" 
quiescent=no 
virtual=192.168.72.8:80               VIP地址监听80端口 
real=192.168.72.9:80 gate     真机IP地址和端口 路由模式 
real=192.168.72.10:80 gate 
  fallback=127.0.0.1:80 gate 
service=http                  服务是http 
request="test.html"           这个文件一定要在real的web目录中存在，并且能够正常访问的，ipvs通过它来判断客户端是否存活 
receive="test"                文件内容一定要有出现，否则无法检测到 REAL SERVER 
scheduler=rr                   
protocol=tcp                   
   checktype=negotiate 
   checkport=80
real不需要安装任何软件，我这里从网上找了一个脚本效果还不错 
vi /etc/rc.d/init.d/real.sh
#!/bin/bash 
#description : start realserver 
VIP=192.168.72.8 
/etc/rc.d/init.d/functions 
case "$1" in 
start) 
echo " start LVS of REALServer" 
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up 
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce 
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce 
;; 
stop) 
/sbin/ifconfig lo:0 down 
echo "close LVS Directorserver" 
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce 
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore 
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce 
;; 
*) 
echo "Usage: $0 {start|stop}" 
exit 1 
esac

安装RRDTOOL 和LVS-RRD 源码包：
配置如下：
(1).开启LVS director 的apache，配置相关参数，注意端口一定不能为80，我这里修改为9160。指定DocumentRoot 为 "/data/web" 
(2).下载lvs_rrd软件。下载地址：lvs-rrd-v0.7.tar.gz 
(3).将lvs-rrd-v0.7.tar.gz解压后将文件夹复制到/data/web/目录下并更名为lvs 
(4).配置lvs.rrd.update文件 
RRDTOOL="/usr/bin/rrdtool" 
IPVSADM="/sbin/ipvsadm" 
WORKDIR="/data/web/lvs"
配置graph-lvs.sh 
WORKDIR="/data/web/lvs" 
RRDTOOL="/usr/bin/rrdtool" 
GRAPHS="$WORKDIR/graphs" 
WEBPATH="/lvs/graphs"
这两个文件根据自己的情况设置一下就可以了。
(5). 将/data/web/lvs/graphs目录修改为apache可读可写。 
# chown apache.apache /data/web/lvs/graphs -R 
(6).将收集信息的脚本添加到计划任务中 
# crontab -e 
* * * * * /data/web/lvs/lvs.rrd.update 2> /dev/null > /dev/null
(7).等1分钟后，看lvs目录中是否生成了以rrd为扩展名的文件。如果有的话就可以启动apache通过http://ipaddress:9160/lvs/查看lvs的状态了。如下图：

五．错误的分析
libipvs.c: In function ‘ipvs_strerror’: 
libipvs.c:357: error: ‘ipvs_get_service’ undeclared (first use in this function) 
make[1]: *** [libipvs.o] Error 1 
make[1]: Leaving directory `/usr/local/src/software/ipvsadm-1.24/libipvs' 
make: *** [libs] Error 2
在编译之前漏了做一个符号链接:
因为编译时要用kernel-source,而Makefile文件设置到kernel-source路径是/usr/src/linux
ln -s /usr/src/kernels/2.6.18-92.el5-i686/ /usr/src/linux
resolving-way:
ln -s /usr/src/kernels/2.6.18-92.el5-i686/ /usr/src/linux
make&&make install
onfigure: error: Core development headers were not found
See `config.log' for more details.
./bootstrap exiting due to error (sorry!).
安装 Cluster Glue 1.0.5: glue-1.0.5.tar.bz2
eartbeat: udpport setting must precede media statementsheartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid user id name [hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Bad uid list [hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid apiauth directive [ipfail uid=hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 info: Syntax: apiauth client [uid=uidlist] [gid=gidlist] 
heartbeat[25960]: 2008/02/29_18:20:31 info: Where uidlist is a comma-separated list of uids, 
heartbeat[25960]: 2008/02/29_18:20:31 info: and gidlist is a comma-separated list of gids 
heartbeat[25960]: 2008/02/29_18:20:31 info: One or the other must be specified. 
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid user id name [hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Bad uid list [hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid apiauth directive [ccm uid=hacluster] 
heartbeat[25960]: 2008/02/29_18:20:31 info: Syntax: apiauth client [uid=uidlist] [gid=gidlist] 
heartbeat[25960]: 2008/02/29_18:20:31 info: Where uidlist is a comma-separated list of uids, 
heartbeat[25960]: 2008/02/29_18:20:31 info: and gidlist is a comma-separated list of gids 
heartbeat[25960]: 2008/02/29_18:20:31 info: One or the other must be specified.
另外启动heartbeat需要hacluster用户，并且属组是haclient，这个用户和组楼主都没有建立。
[iyunv@web1 ~]# service heartbeat start    启动heartbeat服务 
Starting High-Availability services: 
2009/04/24_07:35:15 INFO: Resource is stopped 
                                                           [FAILED] 
heartbeat: udpport setting must precede media statementsheartbeat[3908]: 2009/04/24_07:35:16 ERROR: Bad permissions on
keyfile [/etc/ha.d/authkeys], 600 recommended. 
heartbeat[3908]: 2009/04/24_07:35:16 ERROR: Authentication configuration error. 
heartbeat[3908]: 2009/04/24_07:35:16 ERROR: Configuration error, heartbeat not started.
[iyunv@web1 ~]# chmod 600 /etc/ha.d/authkeys    此处需要修改下authkeys文件的权限为600
chmod 600 /etc/ha.d/authkeys    此处需要修改下authkeys文件的权限为600
有可能不会出错在libltdl.so.3
Cp /usr/local/lib/libltdl.so.3 /usr/lib/
> We upgraded ldirectord last week to heartbeat-ldirectord.x86_64 
> > 2.1.4-11.el5 from the Fedora EPEL repository. After the upgrade we 
> started 
> > seeing error messages like, 
> > 
> > [Tue May 4 11:09:36 2010|www.228|3608] system(/sbin/ipvsadm -e -t 
> > 216.246.59.228:80 -r 172.20.1.121:80 -m -w 20) failed: No child 
> processes 
> > [Tue May 4 11:09:36 2010|www.228|3608] Restored real server: 
> > 172.20.1.121:80 (216.246.59.228:80) (Weight set to 20)
WARN: nodename ha uuid changed to ha2 
ERROR: should_drop_message: attempted replay attack
可能原因：ha和ha2的uuid改变引起，可能ha2是通过VMware克隆复制方式产生的或hostname设置在安装heartbeat之后
解决方案：让uuid重新生成，可以先卸载heartbeat，删除/var/lib/heartbeat目录（uuid文件就在这个目录下，该目录在卸载时不被删除，需手动删除，如果不手动删除，重新安装还会使用原来uuid）
如果weight查看E已经是0了，客户机访问会提示错误页面。
解决办法：修改ldirectord.cf中quiescen ，值肯定是YES，再设置一条：
echo 1 > /proc/sys/net/ipv4/vs/expire_nodest_conn关闭RS失效后的连接
或者vi /etc/sysctl.conf
expire_nodest_conn = 1
保存后sysctl –p刷新生效。
或者直接让uiescen值为no
1、 当uiescen值为no：
重启ldirectord进程，LVS的活动主机使用ipvsadm –Ln查看策略表，已经没有E主机。只有F主机。客户机资源呈F主机的网页。
EBUG2: Disabled server=192.168.1.176 
DEBUG2: Running system(/sbin/ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.175:80 -g -w 0) 
Running system(/sbin/ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.175:80 -g -w 0) 
DEBUG2: Quiescent real server: 192.168.1.175:80 ( x 192.168.1.200:80) (Weight set to 0) 
Quiescent real server: 192.168.1.175:80 ( x 192.168.1.200:80) (Weight set to 0)
在面的实例中ipvsadm用到的几个参数含义如下： 
-A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如： 
-A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。 
-s 指定服务采用的算法，常用的算法参数如下：

• 
  rr          轮叫（Round Robin） 
  调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
  
• 
  wrr   加权轮叫（Weighted Round Robin） 
  调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  
• 
  lc   最少链接（Least Connections） 
  调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
  
• 
  wlc   加权最少链接（Weighted Least Connections） 
  在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  
• 
  lblc    基于局部性的最少链接（Locality-Based Least Connections） 
  " 
  基于局部性的最少链接" 
  调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器 
  是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务 
  器，将请求发送到该服务器。
  
• 
  lblcr    带复制的基于局部性最少链接（Locality-Based Least Connections with Replication） 
  " 
  带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目 
  标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器 
  组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台 
  服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程 
  度。
  
• 
  dh    目标地址散列（Destination Hashing） 
  "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  
• 
  sh    源地址散列（Source Hashing） 
  "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  

/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1 
-a 表示往一个服务内增加一个real server 
-r 指定real server的IP地址 
-w 表示权重 
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。
server: 192.168.50.12:443 (2 x 192.168.50.10:443) 
Feb  7 00:03:18 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:443 (1 x 192.168.50.10:443) (Weight set to 1) 
Feb  7 00:03:22 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80) 
Feb  7 00:03:23 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1) 
Feb  7 00:03:28 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80) 
Feb  7 00:03:29 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1) 
Feb  7 00:03:34 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80) 
Feb  7 00:03:35 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1)