JK负载均衡器+Tomcat集群

说明：
tomcat解析jsp网页，处理效率低。如果用Apache+Mod_JK+tomcat集群的话，可以解决大量并发的问题，用户访问apache，但有jsp页面的时候就抛给tomcat。
Apache+Mod_JK做负载均衡器。可以把不同的jsp请求转发到不同的tomcat服务器，还可以侦测服务器存活。如果压力过大，可以考虑给JK做一个HA。
一、环境部署
OS：CentOS 5.4
IP：192.168.1.102和192.168.1.104
为实验方便，将Apache和tomcat1部署在一台主机上。
网络拓扑图：
http://blog.运维网.com/attachment/201004/201004061270533242015.jpg


1)         先检查需要的程序库是否安装。
rpm -q gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel
2)         准备下载需要的工具包
从www.apache.ora和www.oracle.com就可以下载，然后保存到新创建的/var/tomcat目录。
apache-tomcat-6.0.26.tar.gz
httpd-2.2.15.tar.gz
jdk-6u19-linux-i586.bin
tomcat-connectors-1.2.30-src.tar.gz
3)         部署httpd-2.2.15.tar.gz
[root@ninglj tomcat]# tar -zxvf httpd-2.2.15.tar.gz
[root@ninglj tomcat]# cd httpd-2.2.15
[root@ninglj httpd-2.2.15]# ./configure
[root@ninglj httpd-2.2.15]# make && makeinstall
测试是否安装成功
[root@ninglj httpd-2.2.15]# /usr/local/apache2/bin/apachectl start
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
注意根据实际情况修改httpd.conf的ServerName行
httpd (pid 29237) already running
4)         部署jdk-6u19-linux-i586.bin
确保具有执行的权限
[root@ninglj tomcat]# chmod 755 jdk-6u19-linux-i586.bin
[root@ninglj tomcat]# ./jdk-6u19-linux-i586.bin
执行后，现有一段说明，之后输入yes，开始解压
[root@ninglj tomcat]# mv jdk1.6.0_19 /usr/local/
删除原来的jdk软连接，位于/usr/bin目录下
[root@ninglj bin]# rm java javac
创建新的软连接
[root@ninglj bin]# ln -s /usr/local/jdk1.6.0_19/bin/java /usr/bin/java
[root@ninglj bin]# ln -s /usr/local/jdk1.6.0_19/bin/javac /usr/bin/javac
测试是否安装成功
[root@ninglj bin]# javac -version
javac 1.6.0_19
[root@ninglj bin]# java -version
java version "1.6.0_19"
Java(TM) SE Runtime Environment (build 1.6.0_19-b04)
Java HotSpot(TM) Client VM (build 16.2-b04, mixed mode, sharing)
为方便环境变量的配置工作，（切换到/usr/locale目录）再建立两个软连接
[root@ninglj local]# ln -s jdk1.6.0_19 /usr/local/jdk
[root@ninglj local]# ln -s jdk1.6.0_19/jre /usr/local/jre
5)         部署apache-tomcat-6.0.26.tar.gz
[root@ninglj tomcat]# tar zxvf apache-tomcat-6.0.26.tar.gz
[root@ninglj tomcat]# mv apache-tomcat-6.0.26 /usr/local/
修改环境变量配置文件/etc/profile，追加下列内容

#Set Environment by NetSeek
JAVA_HOME=/usr/local/jdk
JRE_HOME=/usr/local/jre
CLASSPATH=/usr/local/apache-tomcat/lib:/usr/local/jdk/lib:/usr/local/jre/lib
PATH=$PATH:/usr/local/apache-tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin
TOMCAT_HOME=/usr/local/apache-tomcat
export JAVA_HOME JRE_HOME CLASSPATH PATH TOMCAT_HOME

使环境变量生效
[root@ninglj tomcat]# source /etc/profile
启动tomcat，测试是否安装成功。我重新登录的，避免因环境变量而导致的错误。
[root@ninglj ~]# cd /usr/local/tomcat/
[root@ninglj tomcat]# chmod -R 755 bin/
[root@ninglj tomcat]# cd bin
[root@ninglj bin]# ./startup.sh
打开浏览器，输入http://192.168.1.102:8080；出现tomcat界面，说明测试成功。
6)         其他承担压力的服务器，只安装tomcat
7)         部署tomcat-connectors-1.2.30-src.tar.gz
用于整合apache和tomcat
[root@ninglj tomcat]# tar zxvf tomcat-connectors-1.2.30-src.tar.gz
[root@ninglj tomcat]# cd tomcat-connectors-1.2.30-src/native
[root@ninglj native]# ./configure --with-apxs=/usr/local/apache2/bin/apxs --with-java-home=/usr/local/jdk
[root@ninglj native]# make && make install
在/usr/local/apache2/modules/目录下，产生了mod_jk.so
[root@ninglj native]# cd /usr/local/apache2/modules/
[root@ninglj modules]# ls
httpd.exp  mod_jk.so
修改apache的配置文件
[root@ninglj apache2]# vim conf/httpd.conf
修改如下：

LoadModule jk_module modules/mod_jk.so
JkWorkersFile /usr/local/apache-tomcat/conf/jk/workers.properties
JkShmFile logs/mod_jk.shm
JkLogFile /usr/local/apache-tomcat/logs/mod_jk.log
JkLogLevel info
JkMount /*.jsp controller
DocumentRoot "/usr/local/apache-tomcat/webapps"

注释：
JkWorkersFile /usr/local/apache-tomcat/conf/jk/workers.properties#JK的负载配置文件，稍后会创建
JkLogFile /usr/local/apache-tomcat/logs/mod_jk.log#日志文件配置
JkMount /*.jsp controller#将JSP页面的请求发给负载均衡控制器（controller）
DocumentRoot "/usr/local/apache-tomcat/webapps"#修改DoucmentRoot 与tomcat的目录一致。
二、  配置JK 负载均衡器
8)         创建JK负载配置文件
[root@ninglj apache2]# cd /usr/local/apache-tomcat/conf
[root@ninglj conf]# mkdir jk
[root@ninglj conf]# vim jk/workers.properties
内容如下：

workers.tomcat_home=/usr/local/apache-tomcat
workers.java_home=/usr/local/jdk1.6.0_19
ps=/
worker.list=controller

#========tomcat1========
worker.tomcat1.port=8009
worker.tomcat1.host=192.168.1.102
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1
#========tomcat2===========
worker.tomcat2.port=8009
worker.tomcat2.host=192.168.1.104
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1
#========controller=======
worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2
worker.controller.sticky_session=1

注释：
workers.tomcat_home=/usr/local/apache-tomcat#指定tomcat的目录，如果2个tomcat在同一台机器该选项去掉
workers.java_home=/usr/local/jdk1.6.0_19#指定jdk的目录
worker.list=controller#指定负载名，名字可变，但是要与下面的worker.controller.type=lb对应
#========tomcat1========第一台tomcat的配置
worker.tomcat1.lbfactor=1#权量，数值越大，分配的机率就最小
#========controller =======负载均衡器的配置
worker.controller.balance_workers=tomcat1,tomcat2#server.xml配置文件里的jvmRoute="…"指定的名字，后面的步骤会涉及。

#AJP13是定向包协议。因为性能原因，使用二进制格式来传输可读性文本。WEB服务器通过TCP连接和SERVLET容器连接。为了减少进程生成socket的花费，WEB服务器和SERVLET容器之间尝试保持持久性的TCP连接，对多个请求/回复循环重用一个连接。一旦连接分配给一个特定的请求，在请求处理循环结束之前不会在分配。换句话说，在连接上，请求不是多元的。这个是连接两端的编码变得容易，虽然这导致在一时刻会有很多连接。
三、tomcat集群、session同步的配置
9)         tomcat1（IP: 192.168.1.102）的配置
编辑tomcat的server.xml文件
[root@ninglj conf]# vim server.xml
修改Engine节点信息

去掉  的注释符，将内容修改如下：


        
        

注释：
每个用于群集服务器都需要有相同的Membership配置
mcastBindAddress="192.168.1.102"组播IP，一般为本机
mcastAddr="224.0.0.1"#约定的广播地址，所有服务器相同
tcpListenPort="4001"#集群通讯端口
10)     添加标签
[root@ninglj conf]# vim web.xml

……
加在与之间
11)     tomcat2（IP: 192.168.1.104）的配置
编辑server.xml文件
# vim server.xml
修改Engine节点信息

去掉  的注释符，将内容修改如下：




tcpSelectorTimeout="100"
tcpThreadCount="6"/>

12)     添加标签
[root@ninglj conf]# vim web.xml

……
加在与之间
做tomcat集群必须需要这一步，否则用户的session就无法正常使用。（如果tomcat1和tomcat2在同一台主机的情况下，注意修改tcpListenPort和8080 8009 8082等节点的端口号，避免冲突。）

13)     把网卡开启组播功能
mcastAddr="224.0.0.1"地址，需要开启网卡组播功能，分别在各服务器上运行
[root@ninglj ~]# route add -net 224.0.0.0 netmask 240.0.0.0 dev eth0
14)     查看端口情况
[root@ninglj ~]# netstat -antl |grep 4001
15)     测试广播
tomcat-replication.jar 下载地址:http://cvs.apache.org/~fhanik/tomcat-replication.jar
[root@ninglj ~]# java -cp tomcat-replication.jar MCaster 224.0.0.1 45564 Terminal1
Usage MCaster [address port message]
BEGIN TO RECEIVE
SENT:Terminal11
RECEIVED:Terminal11 FROM /192.168.1.102:45564
SENT:Terminal12
BEGIN TO RECEIVE
RECEIVED:Terminal12 FROM /192.168.1.102:45564
广播正常……
四、 测试
16)     测试集群
在webapps 下新建test 目录
[root@ninglj webapps]# mkdir mytest
[root@ninglj webapps]# cd mytest/
[root@ninglj mytest]# vim web.xml




再在mytest下建立print.jsp和test.jsp
[root@ninglj mytest]# vim print.jsp

[root@ninglj mytest]# vim test.jsp


Cluster App Test

Server Info:

0) {
     String dataValue = request.getParameter("dataValue");
     session.setAttribute(dataName, dataValue);
  }
  out.print("Session P±?b>");
  Enumeration e = session.getAttributeNames();
  while (e.hasMoreElements()) {
     String name = (String)e.nextElement();
     String value = session.getAttribute(name).toString();
     out.println( name + " = " + value+"");
         System.out.println( name + " = " + value);
   }
17)     重启httpd的服务
[root@ninglj mytest]# /usr/local/apache2/bin/apachectl restart
18)     用浏览器测试
我测试的结果汉字显示成了乱码，郁闷中…估计是GBK，或者UTF-8。。
19)     Session同步问题，可以查看日志文件
tail –f /usr/local/apache-tomcat/logs/mod_jk.log