LVS 安装配置与错误分析

网络浪子

　　一．背景描述   
某大型商业网站由于业务量的发展非常迅速，目前的网站架构根本无法缓解用户访问压力及单点故障。急需一套高可用的负载均衡集群解决方案www.linux .com(IT运维专家网)根据这家商业网站在的状况，部署了一套负载均衡及高可用的集群方案及相关优化，项目实施以后该商业网站得WEB压力得到了很好的解决，访问速度大幅度提升
　　二、需求分析及参考网页
　　1>用户可以访问HTTP://VIP 去访问WEB1 网站，或访问WEB2 的网站。WEB1与WEB2 构成负载均衡
　　即，当WEB1 宕机仍然可以访问 WEB2网站。
　　2>要求更高的可用性，即当MASTER宕机时 BACKUP也可作为取代MASTER的位置位置主服务器
　　3>图形日志网页分析监控
　　http://ssmax.net/archives/515.html
　　http://www.6curl.com/ipvsadm-heartbeat-ldirecrtord/
　　http://www.docin.com/p-48664611.html
　　http://bbs.linuxtone.org/thread-1535-1-1.html
　　http://www.howtoforge.com/high_availability_loadbalanced_apache_cluster_p4
　　http://net.chinaunix.net/8/2008/10/04/1280982.shtml
　　http://www.dirtysea.com/viewthread.php?tid=1164
　　http://blog.sina.com.cn/s/blog_65d209980100hlnu.html
　　http://salogs.com/author/admin/page/12/
　　三．拓扑结构：
　　本实验是建立 一个4层服务器。一个2台WEB 服务器。2台 集群服务器，再加一台客户端
　　MASTER 与BACKUP 的ETH1作为心跳网卡。

　　四、安装配置
　　Ipvsadm 安装
　　tar zxf ipvsadm-1.24.tar.gz   
cd ipvsadm-1.24/   
make   
make install
　　编译安装libnet
　　tar zxf libnet-1.1.2.1.tar.gz   
cd libnet   
./configure     
make   
make install
　　编译安装mailtools
　　tar zxf MailTools-2.04.tar.gz   
cd MailTools-2.04   
perl Makefile.PL     
make   
make test   
make install
　　编译安装heartbeat和ldirecrtord，他两在一起
　　tar jxf Heartbeat-Stats*.1.2.4.tar.gz
　　./ConfigureMe configure   
make     
make install
　　在MASTER与BACKUP 、REALSERVER 修改Vim /etc/sysctl.con

　　在MASTER 和 BACKUP修改vim /etc/hosts

　　vi ha.cf
　　debugfile /var/log/ha-debug   
logfile /var/log/ha-log                             日志文件的路径   
logfacility local0   
keepalive 2                                         心跳检测的平率为2秒一次   
deadtime 30                                         如果30秒内没有相应心跳就做切换   
warntime 10                                         指明心跳的延时为10秒做警告记录一条日志，没有其他动作   
initdead 120                                        这个值设置成deadtime的两倍就可以了   
udpport 694                                         数据通信的端口   
bcast eth1                              eth1为心跳工作接口   
ucast eth1 192.168.1.3                              检测对端心跳接口的地址   
auto_failback on                                    当主节点回复后，自动切换   
node    MASTER                                主控机计算机名 //主控机的在前面   
node BACKUP                                  备用机计算机名 //备用机的在后面   
ping 192.168.72.1                                  检测网络是否正常，可以设置成网关地址   
respawn root /usr/lib/heartbeat/ipfail              ipfail文件的路径   
apiauth ipfail gid=root uid=root                    启用ipfail进程的用户是root
　　vi haresources

　　vi ipvs
　　引用
　　ipvs   
#!/bin/sh   
VIP=192.168.72.8   
RIP1=192.168.72.9   
RIP2=192.168.72.10   
. /etc/rc.d/init.d/functions   
case "$1" in   
    start)   
        echo " start LVS  "   
#      # set the Virtual  IP Address   
       /sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up   
#       /sbin/route add -host $VIP dev eth0:1   
       /sbin/ipvsadm -C   
      /sbin/ipvsadm -A -t $VIP:80 -s rr   
      /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g   
      /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g   
        ;;   
    stop)   
        echo "close LVS Director"   
        /sbin/ipvsadm -C   
        ;;   
    *)   
        echo "Usage: $0 {start|stop}"   
        exit 1   
esac
　　vi authkeys
　　
　　配置ldirecrtord.cf
　　checktimeout=3                        检测超时   
checkinterval=1                       检测间隔   
autoreload=yes                        从新载入客户机   
logfile="/var/log/ldirectord.log"     日志路径   
logfile="local0"   
quiescent=no   
virtual=192.168.72.8:80               VIP地址监听80端口   
real=192.168.72.9:80 gate     真机IP地址和端口 路由模式   
real=192.168.72.10:80 gate   
  fallback=127.0.0.1:80 gate   
service=http                  服务是http   
request="test.html"           这个文件一定要在real的web目录中存在，并且能够正常访问的，ipvs通过它来判断客户端是否存活   
receive="test"                文件内容一定要有出现，否则无法检测到 REAL SERVER   
scheduler=rr                  
protocol=tcp                  
   checktype=negotiate   
   checkport=80
　　real不需要安装任何软件，我这里从网上找了一个脚本效果还不错   
vi /etc/rc.d/init.d/real.sh
　　#!/bin/bash   
#description : start realserver   
VIP=192.168.72.8   
/etc/rc.d/init.d/functions   
case "$1" in   
start)   
echo " start LVS of REALServer"   
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up   
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore   
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce   
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore   
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce   
;;   
stop)   
/sbin/ifconfig lo:0 down   
echo "close LVS Directorserver"   
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore   
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce   
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore   
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce   
;;   
*)   
echo "Usage: $0 {start|stop}"   
exit 1   
esac

　　安装RRDTOOL 和LVS-RRD 源码包：
　　配置如下：
　　(1).开启LVS director 的apache，配置相关参数，注意端口一定不能为80，我这里修改为9160。指定DocumentRoot 为 "/data/web"   
(2).下载lvs_rrd软件。下载地址：lvs-rrd-v0.7.tar.gz   
(3).将lvs-rrd-v0.7.tar.gz解压后将文件夹复制到/data/web/目录下并更名为lvs   
(4).配置lvs.rrd.update文件   
RRDTOOL="/usr/bin/rrdtool"   
IPVSADM="/sbin/ipvsadm"   
WORKDIR="/data/web/lvs"
　　配置graph-lvs.sh   
WORKDIR="/data/web/lvs"   
RRDTOOL="/usr/bin/rrdtool"   
GRAPHS="$WORKDIR/graphs"   
WEBPATH="/lvs/graphs"
　　这两个文件根据自己的情况设置一下就可以了。
　　(5). 将/data/web/lvs/graphs目录修改为apache可读可写。   
# chown apache.apache /data/web/lvs/graphs -R   
(6).将收集信息的脚本添加到计划任务中   
# crontab -e   
* * * * * /data/web/lvs/lvs.rrd.update 2> /dev/null > /dev/null
　　(7).等1分钟后，看lvs目录中是否生成了以rrd为扩展名的文件。如果有的话就可以启动apache通过http://ipaddress:9160/lvs/查看lvs的状态了。如下图：

　　五．错误的分析
　　libipvs.c: In function ‘ipvs_strerror’:   
libipvs.c:357: error: ‘ipvs_get_service’ undeclared (first use in this function)   
make[1]: *** [libipvs.o] Error 1   
make[1]: Leaving directory `/usr/local/src/software/ipvsadm-1.24/libipvs'   
make: *** [libs] Error 2
　　在编译之前漏了做一个符号链接:
　　因为编译时要用kernel-source,而Makefile文件设置到kernel-source路径是/usr/src/linux
　　ln -s /usr/src/kernels/2.6.18-92.el5-i686/ /usr/src/linux
　　resolving-way:
　　ln -s /usr/src/kernels/2.6.18-92.el5-i686/ /usr/src/linux
　　make&&make install
　　onfigure: error: Core development headers were not found
　　See `config.log' for more details.
　　./bootstrap exiting due to error (sorry!).
　　安装 Cluster Glue 1.0.5: glue-1.0.5.tar.bz2
　　eartbeat: udpport setting must precede media statementsheartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid user id name [hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Bad uid list [hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid apiauth directive [ipfail uid=hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 info: Syntax: apiauth client [uid=uidlist] [gid=gidlist]   
heartbeat[25960]: 2008/02/29_18:20:31 info: Where uidlist is a comma-separated list of uids,   
heartbeat[25960]: 2008/02/29_18:20:31 info: and gidlist is a comma-separated list of gids   
heartbeat[25960]: 2008/02/29_18:20:31 info: One or the other must be specified.   
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid user id name [hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Bad uid list [hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 ERROR: Invalid apiauth directive [ccm uid=hacluster]   
heartbeat[25960]: 2008/02/29_18:20:31 info: Syntax: apiauth client [uid=uidlist] [gid=gidlist]   
heartbeat[25960]: 2008/02/29_18:20:31 info: Where uidlist is a comma-separated list of uids,   
heartbeat[25960]: 2008/02/29_18:20:31 info: and gidlist is a comma-separated list of gids   
heartbeat[25960]: 2008/02/29_18:20:31 info: One or the other must be specified.
　　另外启动heartbeat需要hacluster用户，并且属组是haclient，这个用户和组楼主都没有建立。
　　[root@web1 ~]# service heartbeat start    启动heartbeat服务   
Starting High-Availability services:   
2009/04/24_07:35:15 INFO: Resource is stopped   
                                                           [FAILED]   
heartbeat: udpport setting must precede media statementsheartbeat[3908]: 2009/04/24_07:35:16 ERROR: Bad permissions on
　　keyfile [/etc/ha.d/authkeys], 600 recommended.   
heartbeat[3908]: 2009/04/24_07:35:16 ERROR: Authentication configuration error.   
heartbeat[3908]: 2009/04/24_07:35:16 ERROR: Configuration error, heartbeat not started.
　　[root@web1 ~]# chmod 600 /etc/ha.d/authkeys    此处需要修改下authkeys文件的权限为600
　　chmod 600 /etc/ha.d/authkeys    此处需要修改下authkeys文件的权限为600
　　有可能不会出错在libltdl.so.3
　　Cp /usr/local/lib/libltdl.so.3 /usr/lib/
　　> We upgraded ldirectord last week to heartbeat-ldirectord.x86_64     
> > 2.1.4-11.el5 from the Fedora EPEL repository. After the upgrade we     
> started     
> > seeing error messages like,     
> >     
> > [Tue May 4 11:09:36 2010|www.228|3608] system(/sbin/ipvsadm -e -t     
> > 216.246.59.228:80 -r 172.20.1.121:80 -m -w 20) failed: No child     
> processes     
> > [Tue May 4 11:09:36 2010|www.228|3608] Restored real server:     
> > 172.20.1.121:80 (216.246.59.228:80) (Weight set to 20)
　　WARN: nodename ha uuid changed to ha2   
ERROR: should_drop_message: attempted replay attack
　　可能原因：ha和ha2的uuid改变引起，可能ha2是通过VMware克隆复制方式产生的或hostname设置在安装heartbeat之后
　　解决方案：让uuid重新生成，可以先卸载heartbeat，删除/var/lib/heartbeat目录（uuid文件就在这个目录下，该目录在卸载时不被删除，需手动删除，如果不手动删除，重新安装还会使用原来uuid）
　　如果weight查看E已经是0了，客户机访问会提示错误页面。
　　解决办法：修改ldirectord.cf中quiescen ，值肯定是YES，再设置一条：
　　echo 1 > /proc/sys/net/ipv4/vs/expire_nodest_conn关闭RS失效后的连接
　　或者vi /etc/sysctl.conf
　　expire_nodest_conn = 1
　　保存后sysctl –p刷新生效。
　　或者直接让uiescen值为no
　　1、 当uiescen值为no：
　　重启ldirectord进程，LVS的活动主机使用ipvsadm –Ln查看策略表，已经没有E主机。只有F主机。客户机资源呈F主机的网页。
　　EBUG2: Disabled server=192.168.1.176   
DEBUG2: Running system(/sbin/ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.175:80 -g -w 0)   
Running system(/sbin/ipvsadm -a -t 192.168.1.200:80 -r 192.168.1.175:80 -g -w 0)   
DEBUG2: Quiescent real server: 192.168.1.175:80 ( x 192.168.1.200:80) (Weight set to 0)   
Quiescent real server: 192.168.1.175:80 ( x 192.168.1.200:80) (Weight set to 0)
　　在面的实例中ipvsadm用到的几个参数含义如下：   
-A 增加一个虚拟服务，该服务由协议、IP地址和端口号组成，例如：   
-A -t 202.99.59.110:80 (增加一格虚拟服务，其协议(-t表示tcp，-u表示udp)为TCP、IP为202.99.59.110、端口号为80。   
-s 指定服务采用的算法，常用的算法参数如下：

• 
  rr          轮叫（Round Robin）      
  调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
  
• 
  wrr   加权轮叫（Weighted Round Robin）      
  调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  
• 
  lc   最少链接（Least Connections）      
  调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
  
• 
  wlc   加权最少链接（Weighted Least Connections）      
  在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
  
• 
  lblc    基于局部性的最少链接（Locality-Based Least Connections）      
  "      
  基于局部性的最少链接"      
  调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器      
  是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务      
  器，将请求发送到该服务器。
  
• 
  lblcr    带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）      
  "      
  带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目      
  标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器      
  组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台      
  服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程      
  度。
  
• 
  dh    目标地址散列（Destination Hashing）      
  "目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  
• 
  sh    源地址散列（Source Hashing）      
  "源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
  

　　/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1   
-a 表示往一个服务内增加一个real server   
-r 指定real server的IP地址   
-w 表示权重   
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。
　　server: 192.168.50.12:443 (2 x 192.168.50.10:443)   
Feb  7 00:03:18 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:443 (1 x 192.168.50.10:443) (Weight set to 1)     
Feb  7 00:03:22 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80)     
Feb  7 00:03:23 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1)     
Feb  7 00:03:28 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80)     
Feb  7 00:03:29 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1)     
Feb  7 00:03:34 weblive1 ldirectord[1811]: Deleted real server: 192.168.50.12:80 (2 x 192.168.50.10:80)     
Feb  7 00:03:35 weblive1 ldirectord[1811]: Added real server: 192.168.50.12:80 (1 x 192.168.50.10:80) (Weight set to 1)