基于mod_proxy+Apache 2.2.16+Tomcat 7的负载均衡与集群配置

61581229

　　第一章. 背景简介 
　　对于大多数企业应用，都希望能做到7*24小时不间断运行。要保持如此高的可用性并非易事，比较常见的做法是将系统部署到多台机器上，每台机器都对外提供同样的功能，这就是集群。系统变为集群时，除了要求系统能够支持水平伸缩外，还要解决两个问题： 
1， 如何均衡地访问到提供业务功能的机器。 
2， 如何保证当机器出现问题时，用户能自动跳转到另外的机器，不影响使用。 
常用的负载均衡技术有硬件和软件两种，本示例常用软件的技术实现。软件也有很多实现技术，如基于apache的mod_jk以及mod_proxy等。基于mod_jk的文章有不少，本文演示一下用mod_proxy的方式。 
实现集群的应用最重要的是处理用户Session的问题，一般有三种策略： 
1， Session复制 
2， Session Sticky 
3， 基于Cache的集中式Session 
本文使用的是Tomcat 7.0.2应用服务器，用的方法是Session复制。 

第二章. 配置环境 
1， JDK1.7,请自行下载安装。 
2， Apache 2.4 下载地址: http://httpd.apache.org/ 
3， Tomcat 7.0.2,目前也是最新的版本。Minimum Java Version1.6.下载地址：http://tomcat.apache.org/ 
<!--[if !supportLineBreakNewLine]-->
<!--[endif]-->
　　第三章 安装
　　1， JDK 安装请参照博客的其他部分  
　　2， Apache 2.4 安装请参照博客的其他部分  
3， Tomcat 7.0 解压就行了
　　第四章：配置
　　Apache 2.4 配置
　　conf/httpd.conf 的配置

# 监听端口和监听地址
Listen 80
#加载代理
LoadModule proxy_module modules/mod_proxy.so   
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so   
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so   
LoadModule proxy_connect_module modules/mod_proxy_connect.so   
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so   
LoadModule proxy_http_module modules/mod_proxy_http.so  
#这个不加会报错，下面详解
LoadModule slotmem_shm_module modules/mod_slotmem_shm.so
#这个额是负责均衡的分配策略
LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so
LoadModule lbmethod_bytraffic_module modules/mod_lbmethod_bytraffic.so
LoadModule lbmethod_bybusyness_module modules/mod_lbmethod_bybusyness.so
LoadModule lbmethod_heartbeat_module modules/mod_lbmethod_heartbeat.so

#打开 Virtual hosts
Include conf/extra/httpd-vhosts.conf
　　httpd-vhosts.conf的配置：（这里有很多东西可以看的，这些都是我们实际的项目）

# 将www.shanghaiports.org --->>(转发)-->>  http://192.168.1.162:8080/SHPF
<VirtualHost *:80>
ServerName www.shanghaiports.org
ServerAlias shanghaiports.org *.shanghaiports.org
ProxyPreserveHost On
ProxyRequests Off
## 下面的两行请注意，如果位置弄反了，静态资源出不来
ProxyPass /SHPF http://192.168.1.162:8080/SHPF
ProxyPass / http://192.168.1.162:8080/SHPF/
ErrorLog "logs/shanghaiports-error_log"
#CustomLog "logs/shanghaiports-access_log" common
</VirtualHost>
# 将www.nbchuanbo.org --->>(转发)-->>  http://192.168.1.162:8080/XML
# 其实这个逻辑和上面的一样
<VirtualHost *:80>
ServerName www.nbchuanbo.com
ServerAlias nbchuanbo.com *.nbchuanbo.com
ProxyPreserveHost On
ProxyRequests Off
ProxyPass /XML http://192.168.1.162:8080/XML
ProxyPass / http://192.168.1.162:8080/XML/
ErrorLog "logs/nbchuanbo-error_log"
#CustomLog "logs/nbchuanbo-access_log" common
</VirtualHost>
# 这里配置的不是负载均衡，是rewrite的配置。 这个就是普通的url跳转，你的url地址会变化的
<VirtualHost *:80>
DocumentRoot "/"
ServerName image.i-css.com
ServerAlias image.i-css.com
ErrorLog "logs/img-error_log"
#CustomLog "logs/img-access_log" common
<Directory "/">
Options FollowSymLinks
AllowOverride None
Order Deny,Allow
Allow from all
</Directory>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^image.i-css.com [NC]
RewriteRule ^/(.*) http://www.img-css.com/$1 [L]
</VirtualHost>

#这里是做负载均衡的；
ProxyRequests Off
<VirtualHost *:80>  
ServerName www.i-css.cn
ServerAlias i-css.cn *i-css.cn
ProxyRequests Off
ProxyPass / balancer://cn/ stickysession=JSESSIONID|jsessionid nofailover=On  
#ProxyPassReverse / balancer://cn/  
ErrorLog "logs/cn_error.log"  
CustomLog "logs/cn_access.log" common  
</VirtualHost>
<proxy balancer://cn>  
BalancerMember ajp://192.168.1.163:8009/Test loadfactor=1 route=s4 smax=5 max=20 ttl=120 retry=300 timeout=15  
BalancerMember ajp://192.168.1.164:8009/Test loadfactor=1 route=s3 smax=5 max=20 ttl=120 retry=300 timeout=15
ProxySet lbmethod=bytraffic
</proxy>
<VirtualHost *:80>  
ServerName www.i-css.com
ServerAlias www.i-css.com
ProxyRequests Off
ProxyPass / balancer://en/ stickysession=JSESSIONID|jsessionid nofailover=On  
#ProxyPassReverse / balancer://en/  
ErrorLog "logs/cn_error.log"  
CustomLog "logs/cn_access.log" common  
</VirtualHost>
<proxy balancer://en>  
BalancerMember ajp://192.168.1.163:8009/EN loadfactor=1 route=s4 smax=5 max=20 ttl=120 retry=300 timeout=15  
BalancerMember ajp://192.168.1.164:8009/EN loadfactor=1 route=s3 smax=5 max=20 ttl=120 retry=300 timeout=15
ProxySet lbmethod=bytraffic
</proxy>
　　
　　Tomcat7配置(server.xml): 

# 这里我也不说废话。直接找到<Engine />这个节点， 需要注意的是这个：jvmRoute="s3" 字面意思就是路由到其他的server上去
<Engine name="Catalina" defaultHost="localhost" jvmRoute="s3">
<Realm className="org.apache.catalina.realm.LockOutRealm">
<Realm className="org.apache.catalina.realm.UserDatabaseRealm" resourceName="UserDatabase"/>
</Realm>
<Host name="localhost"  appBase="webapps"
unpackWARs="true" autoDeploy="true">
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">  
<Manager className="org.apache.catalina.ha.session.DeltaManager"  
expireSessionsOnShutdown="false" notifyListenersOnReplication="true" />  
<Channel className="org.apache.catalina.tribes.group.GroupChannel">  
<Membership className="org.apache.catalina.tribes.membership.McastService"  
address="228.0.0.4" port="45564" frequency="500" dropTime="3000" />  
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"  
address="auto" port="4001" autoBind="100" selectorTimeout="5000"  
maxThreads="6" />  
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">  
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />  
</Sender>  
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector" />  
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor" />  
</Channel>  
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter="" />  
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve" />  
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"  
tempDir="/tmp/war-temp/" deployDir="/tmp/war-deploy/" watchDir="/tmp/war-listen/"  
watchEnabled="false" />  
<ClusterListener  
className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener" />  
<ClusterListener  
className="org.apache.catalina.ha.session.ClusterSessionListener" />  
</Cluster>  

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="localhost_access_log." suffix=".txt"
pattern="%h %l %u %t &quot;%r&quot; %s %b" />
</Host>
</Engine>


<!--[endif]-->　　第五章 测试：
　　写个简单的demo， 打成war包。通过tomcat manager上传到服务器上。
　　这里只测试负载均衡
　　1：test.jsp

<%@ page contentType="text/html; charset=GBK" %>  
<%@ page import="java.util.*" %>  
<html><head><title>Cluster Test</title></head>  
<body>  
<%  
//HttpSession session = request.getSession(true);  
System.out.println(session.getId());  
out.println("<br> SESSION ID:" + session.getId()+"<br>");   
// 如果有新的请求，则添加session属性  
String name = request.getParameter("name");  
if (name != null && name.length() > 0) {  
String value = request.getParameter("value");  
session.setAttribute(name, value);  
}   
out.print("<b>Session List:</b>");   
Enumeration<String> names = session.getAttributeNames();  
while (names.hasMoreElements()) {  
String sname = names.nextElement();   
String value = session.getAttribute(sname).toString();  
out.println( sname + " = " + value+"<br>");  
System.out.println( sname + " = " + value);  
}  
%>  
<form action="testCluster.jsp" method="post">  
名称:<input type=text size=20 name="name">  
<br>  
值:<input type=text size=20 name="value">  
<br>  
<input type=submit value="提交">  
</form>  
</body>  
</html>  

　　2：web,xml

<distributable/>
　　
　　3:  注意
　　需要存入session的对象必须要虚拟化。
　　4：测试
　　http://www.i-css.cn 你去刷新这个网页，你会看到sessionID没变，route会一直改变的。 
　　第六章. Mod_proxy负载均衡算法 
　　目前mod_proxy有3种负载均衡算法： 
　　1. Request Counting(我猜是Round-robin), lbmethod=byrequests 
　　2. Weighted Traffic Counting(这个是按权重，此例也是用此算法), lbmethod=bytraffic 
　　3. Pending Request Counting(从apche文档来看，应该是按负载量，也就是往负载少的派发新请求). lbmethod=bybusyness 
　　它们通过lbmethod值设置。
　　第七章. 参考文档： 
　　Tomcat 7 doc文档 
　　http://httpd.apache.org/docs/2.2/mod/mod_proxy_balancer.html 
　　http://httpd.apache.org/docs/2.2/mod/mod_proxy.html