Apache与jboss集群配置【转载】

dryu999

文章与特定版本软件对应，所以正确的配置会随着时间变化。本文仅供参考。

Apache与jboss集群配置，实现负载均衡与容错的功能。Apache做为软件负载均衡器，负责请求的分发。Jboss做为应用服务器，利用jgroup协议，处理容错及状态复制与转移。
一 apache的配置

a. 将下载的apache mod_jk重命名为mod_jk.so，复制到APACHE_HOME/modules/中，修改 APACHE_HOME/conf/httpd.conf  ，在文件末添加：Include conf/mod-jk.conf

b. 在APACHE_HOME/conf/目录创建新文件mod-jk.conf，内容如下：

                            # Load mod_jk module  

                            # Specify the filename of the mod_jk lib  

                            LoadModule jk_module modules/mod_jk.so  

                            # Where to find workers.properties  

                            JkWorkersFile conf/workers.properties  

                            # Where to put jk logs  

                            JkLogFile logs/mod_jk.log  

                            # Set the jk log level [debug/error/info]  

                            JkLogLevel info  

                            # Select the log format  

                            JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"

                            # JkOptions indicates to send SSK KEY SIZE  

                            JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories  

                            # JkRequestLogFormat  

                            JkRequestLogFormat "%w %V %T"

                            # Mount your applications  

                            JkMount /application/* loadbalancer  

                            # You can use external file for mount points.  

                            # It will be checked for updates each 60 seconds.  

                            # The format of the file is: /url=worker  

                            # /examples/*=loadbalancer  

                            JkMountFile conf/uriworkermap.properties  

                            # Add shared memory.  

                            # This directive is present with 1.2.10 and  

                            # later versions of mod_jk, and is needed for  

                            # for load balancing to work properly  

                            JkShmFile logs/jk.shm  

                            # Add jkstatus for managing runtime data  

                            <Location /jkstatus/>  

                                     JkMount status  

                                     Order deny,allow  

                                     Deny from all  

                                     Allow from 127.0.0.1

                            </Location>  

         JkMount: 连接你的Web应用上下文， 比如：JkMount /cluster-test/* loadbalancer

        

c. 在 在APACHE_HOME/conf/目录创建新文件uriworkermap.properties，置为空，这个文件主要是做url 路由的，来配置哪些请求由JK处理哪些请求让APACHE处理. 基本格式为/url=worker_name;

                            /jmx-console=loadbalancer  

                            /jmx-console/*=loadbalancer  

                            /web-console=loadbalancer  

                            /web-console/*=loadbalancer

d. 在 APACHE_HOME/conf/目录创建新文件workers.properties,内容如下：

                            # Define list of workers that will be used  

                            # for mapping requests  

                            worker.list=loadbalancer,status  

                            # Define Node1  

                            # modify the host as your host IP or DNS name.  

                            worker.node1.port=8009

                            worker.node1.host=node1.mydomain.com  

                            worker.node1.type=ajp13  

                            worker.node1.lbfactor=1

                            worker.node1.cachesize=10

                            # Define Node2  

                            # modify the host as your host IP or DNS name  

                            worker.node2.port=8009

                            worker.node2.host= node2.mydomain.com  

                            worker.node2.type=ajp13  

                            worker.node2.lbfactor=1

                            worker.node2.cachesize=10

                            # Load-balancing behaviour  

                            worker.loadbalancer.type=lb  

                            worker.loadbalancer.balance_workers=node1,node2  

                            worker.loadbalancer.sticky_session=1

                            #worker.list=loadbalancer  

                            # Status worker for managing load balancer  

                            worker.status.type=status  

        

上面的文件中配置了两个节点，name分别为node1，node2，指定两个节点的IP，并在 worker.loadbalancer.balance_workers中指定所有的node列表，worker.loadbalancer.sticky_session设置是否启用“粘着的”Session，sticky session是指来自同一IP的请求将被发送到同一个Jboss节点，sticky session设为0的话同一session的不同请求会被负载均衡分发到不同的jboss节点上。
二JBoss节点配置

a. 修改JBOSS_HOME/server/all/deploy/jboss-web.deployer/server.xml文件

         注释掉http connector(8080)

        

b. 修改JBOSS_HOME/server/all/deploy/jboss-web.deployer/server.xml文件，AJP13 connector:

         将Engine 修改如下：

                            <Engine defaultHost="localhost" jvmRoute="node1">  

                            ...  

                            </Engine>

         node1和node2分别对应相应ip的jboss；

c. 修改 JBOSS_HOME/server/all/deploy/ jboss-web.deployer /META-INF/jboss-service.xml，找到<attribute>该为：<attribute>true</attribute>

/********************** 说明 begin *****************************/

snapshotMode: 复制脏会话的时机

“instant”: 在每个请求处理之后(缺省值)

“interval”: 间隔复制。异步会话复制消息每隔X毫秒发送；在该模式下，强制保持会话粘性保持

snapshotInterval: 当snapshotMode为”interval”时，使用该设置的值，单位为毫秒。缺省值为1000ms

cacheName: JBossCache服务的JMX名字，缺省为"jboss.cache:service=TomcatClusteringCache“

useJK: 如果使用mod_jk作为负载均衡器则设为true

/********************** 说明 end ******************************/
三 设置Session同步

a. 编辑JBOSS_HOME/server/all/deploy/jbossweb-cluster.sar/META-INF/jboss- service.xml，找到<attribute>，有udp和tcp两种方式，UDP采用多播方式,但问题比较多,所以采用TCP方式。

找到<config> <tcp,将><config>到</config>生效.并对该部分进行以下修改：

将全部down_thread和up_thread的false都改为true. windows平台lookloop = true

将bind_addr改为本机ip，<tcpping initial_hosts 值设为:node1 IP[7810],node2 IP[7810] ；

/********************** 说明 begin *****************************/

用于JBossWeb集群的TreeCache服务在deploy/jboss-web-cluster.sar下的META-INF/jboss-service.xml文件中配置

CacheMode属性

REPL_ASYNC(缺省)

复制消息被异步发送()发完即丢失

提高应用的响应性

REPL_SYNC

复制消息被同步发送

如果不保持会话粘性可使用此模式

JGroups协议栈配置

/********************** 说明 end ******************************/

b. 修改应用程序的web.xml文件，如下所示：

                   <?xml version="1.0" encoding="UTF-8"?>

                   <web-app version="2.4" xmlns="http://java.sun.com/xml/ns/j2ee"

                            xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

                            xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee     http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd ">

                            <distributable />

                    ...   

                   </web-app>

/********************** 说明 begin *****************************/

会话复制在每个Web应用的WEB-INF/web.xml中使能

加入空的<distributable/>元素

/********************** 说明 end ******************************/

                  

c. 在web-inf中添加jboss-web.xml文件，内容如下：

                   <?xml version="1.0" encoding="UTF-8"?>

                   <!DOCTYPE jboss-web PUBLIC  

                            "-//JBoss//DTD Web Application 4.2//EN"  

                            "http://www.jboss.org/j2ee/dtd/jboss-web_4_2.dtd">

                   <jboss-web>

                            <replication-config>

                                     <replication-trigger>SET_AND_NON_PRIMITIVE_GET</replication-trigger>

                                               <replication-granularity>SESSION</replication-granularity>

                                               <replication-field-batch-mode>true</replication-field-batch-mode>

                            </replication-config>

                            <context-root>/</context-root>

                   </jboss-web>

                  

/********************** 说明 begin *****************************/

针对每一个Web应用配置会话复制WEB-INF/jboss-web.xml

“replication-config”元素：复制粒度

Session， Attibute，Field

“replication-trigger”元素：决定一个脏会话的条件

“SET_AND_GET”：任何属性被访问时标记为脏会话

“SET_AND_NON_PRIMITIVE_GET“：任何返回非原始值的属性被访问时标记为脏会话。为缺省值

“SET”: 任何属性被修改时标记为脏会话

“replicationFieldBatchMode”

如果为True, 对每个请求的所有Fied修改以批处理方式复制

仅在复制粒度为Fied时有效

/********************** 说明 end ******************************/
四 启动负载均衡器apache

         在/usr/local/apache2/bin目录下执行./httpd –k start

         在/usr/local/apache2/logs/mod_jk.log中，看到apache初始化mod_jk的日志:

         [Wed Aug 01 10:36:11 2007][6636:63168] [info] init_jk::mod_jk.c (2743): mod_jk/1.2.23 initialized

         [Wed Aug 01 10:36:11 2007][6637:63168] [info] init_jk::mod_jk.c (2743): mod_jk/1.2.23 initialized

         后面如有错误信息，是因为集群中的节点尚未启动，暂时忽略。

         启动Jboss节点

         在集群各机器的/usr/local/jboss/bin,分别执行/run.sh –c all -b ip