Tomcat Cluser 集群服务

Tomcat Cluser

　　===============================================================================
　　概述：
　　

　　===============================================================================
　　
Tomcat Cluster
1.会话保持

★方法：
☉session sticky（粘性）

• source ip    //原地址哈希
  
• cookie
  
• hash HEADER
  

注意：

• 后面两种方式要确保前端调度器为7层负载均衡，如nginx，haproxy
  
  

☉session cluser（集群）
◆缺陷：

• 每一个节点都将会持有整个集群中的所有会话信息，因为会话会保存在内存中，所以将会非常占用内存资源；
  
• 此种方式不适合集群规模节点较大的场景使用；
  
  

☉session server（粘性）

• 会话保存在一个第三方的独立外部存储设备上，使得会话在集群中的各节点得到共享；
  

◆缺陷：

• 每一次session信息的获取都要通过第三方服务器来加载，会产生网络IO；
  
• 同时还要保证 session server  服务器足够强大，即事务能力要无与伦比，一般不使用关系型数据库，而是采用 kv 存储并基于内存来提供服务。
  

◆常用于session server的服务器：

• memcached，redis（推荐使用）
  
  

2.Tomcat Cluser

★三种方式
(1) session stickey 会话粘性的方式：
前端调度器可以为

• nginx
  
• haproxy
  
• lvs
  
• httpd
  

(2) session cluster 会话集群的方式：

• tomcat delta manager
  
• tomcat session cluster
  

注意：

• 此种方式前端仍然需要一个调度器，但是不需要做会话绑定，会话由 tomcat 自己实现；
  

(3) session server 会话服务器的方式

• memcached；
  
• redis；
  

注意：
生产环境中，一般采用的架构模型为第三种，通过session server 来维持会话；具体实现如下：

• 前端调度器可以为nginx，haproxy等实现负载均衡，中间web server为 amt 即通过httpd和tomcat结合的方式实现（多个），后端为 session server；前端调度器实现动静分离，将动态内容（.jsp|do)调度到中间的 httpd，然后再通过httpd 反代至 tomcat 实例，多个httpd+tomcat 通过后端的 session server 实现会话共享；
  

附图：
https://s5.运维网.com/wyfs02/M02/8F/0B/wKioL1jSNOLTE75NAAME81J7eOU680.jpg

3.apache + tomcatS：

★结合方式：
☉ http协议
◆apache：

• mod_proxy
  
• mod_proxy_http
  
• mod_proxy_balancer
  

◆tomcat

• http connector
  

☉ajp协议
◆apache：

• mod_proxy
  
• mod_proxy_ajp
  
• mod_proxy_balancer
  

◆tomcat

• ajp connector
  

☉mod_jk
◆apache：

• mod_jk
  

◆tomcat

• ajp connector
  

实验：第一种方法 http 的实现：

　　
　　环境描述：

• 　　准备3台虚拟主机（我这里为 centos7），一台作为httpd调度器，两台作为后端的tomcat服务器；实现httpd反代用户请求至后端的两台tomcat服务器；
  
• 　　两台tomcat主机的ip为 node1:192.168.1.112；node2:192.168.1.113；httpd 调度器的ip：192.168.1.114
  

　　实验环境准备：
　　1.首先准备两台后端的 tomcat 主机（部署好JDK环境，过程详见前面内容），并提供测试页面，这里以node2（openjdk）为例：
[root@node2 webapps]# pwd
/var/lib/tomcat/webapps
[root@centos7 webapps]# mkdir -pv ./testapp/{classes,lib,WEB-INF,META-INF}
mkdir: created directory ‘./testapp’
mkdir: created directory ‘./testapp/classes’
mkdir: created directory ‘./testapp/lib’
mkdir: created directory ‘./testapp/WEB-INF’
mkdir: created directory ‘./testapp/META-INF’
[root@centos7 webapps]# ls
docs  examples  host-manager  manager  ROOT  sample  testapp
[root@centos7 webapps]# ls testapp/
classes  lib  META-INF  WEB-INF
# 提供测试页面
[root@node2 testapp]# cat index.jsp




Test Page




　　 为了能够保证能够访问到testapp，在/etc/tomcat/server.xml中的 Host 中定义Context 如下：

https://s2.运维网.com/wyfs02/M01/8F/0B/wKioL1jSNMWhDv72AABQ5EfqYTM987.png

　　 启动tomcat服务，在浏览器中访问如下：

https://s3.运维网.com/wyfs02/M01/8F/0B/wKioL1jSNsiDuPd9AAA4JsEED-k282.png

　　创建向后端反代的虚拟主机
　　1.在http调度器上创建一个向后端反代虚拟主机，如下：
[root@centos7 conf.d]# pwd
/etc/httpd/conf.d
[root@centos7 conf.d]# cat mod_proxy_http.conf

BalancerMember  loadfactor=1  # 设定权重
BalancerMember  loadfactor=2
ProxySet lbmethod=byrequests


ServerName lb.taotao.com
ProxyVia On
ProxyRequests Off
ProxyPreserveHost On

Require all granted

ProxyPass / balancer://tcsrvs/
ProxyPa***everse / balancer://tcsrvs/

Require all granted


# 检查语法，启动httpd服务
[root@centos7 conf.d]# httpd -t
Syntax OK
[root@centos7 conf.d]# systemctl start httpd　　测试如下：
[root@centos7 conf.d]# curl http://192.168.1.114/test/



Test Page


Tomcat A


[root@centos7 conf.d]# curl http://192.168.1.114/test/



Test Page


Tomcat B


[root@centos7 conf.d]# curl http://192.168.1.114/test/



Test Page


Tomcat B


[root@centos7 conf.d]# curl http://192.168.1.114/test/



Test Page


Tomcat A

　　2.会话粘性的实现方法：（不常用）
[root@centos7 conf.d]# cat mod_proxy_http.conf
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED

BalancerMember http://192.168.1.112:8080 route=TomcatA loadfactor=1
BalancerMember http://192.168.1.113:8080 route=TomcatB loadfactor=2
ProxySet lbmethod=byrequests
ProxySet stickysession=ROUTEID


ServerName lb.taotao.com
ProxyVia On
ProxyRequests Off
ProxyPreserveHost On

Require all granted

ProxyPass / balancer://tcsrvs/
ProxyPa***everse / balancer://tcsrvs/

Require all granted

　　3.启用管理接口
[root@centos7 conf.d]# cat mod_proxy_http.conf
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED

BalancerMember http://192.168.1.112:8080 route=TomcatA loadfactor=1
BalancerMember http://192.168.1.113:8080 route=TomcatB loadfactor=2
ProxySet lbmethod=byrequests
ProxySet stickysession=ROUTEID


ServerName lb.taotao.com
ProxyVia On
ProxyRequests Off
ProxyPreserveHost On

Require all granted

ProxyPass / balancer://tcsrvs/
ProxyPa***everse / balancer://tcsrvs/

Require all granted

    # 启用管理接口
SetHandler balancer-manager
ProxyPass !
Require all granted

　　在浏览器中访问如下：

https://s1.运维网.com/wyfs02/M01/8F/0C/wKioL1jSQvyB7hwRAAGSSWciJVM543.png

实验：第二种方法 ajp 协议的实现：

　　
　　ajp协议的实现和http协议在实现方式上基本相同，不同的就是所用的协议不同，监听的端口不同，配置方式如下：

[root@centos7 conf.d]# cat mod_proxy_http.conf

BalancerMember ajp://192.168.1.112:8009 loadfactor=1
BalancerMember ajp://192.168.1.113:8009 loadfactor=2
ProxySet lbmethod=byrequests


ServerName lb.taotao.com
ProxyVia On
ProxyRequests Off
ProxyPreserveHost On

Require all granted

ProxyPass / balancer://tcsrvs/
ProxyPa***everse / balancer://tcsrvs/

Require all granted


SetHandler balancer-manager
ProxyPass !
Require all granted

　　管理接口如下：

https://s5.运维网.com/wyfs02/M01/8F/0E/wKiom1jSRlihbGrDAAFjtROmm6k018.png实验：第三种方法 mod_jk 模块的实现：

　　步骤如下：

https://s3.运维网.com/wyfs02/M01/8F/0E/wKiom1jSR6PzhslrAAB4FQH7U9I745.png

https://s4.运维网.com/wyfs02/M01/8F/0C/wKioL1jSR6WA_OJGAACoWFQ2YDI595.png

Tomcat Session Replication Cluster：
session会话保持之session服务器
　　1.环境：

• 　　两个tomcat节点：172.16.100.7(tomcatA.magedu.com) 172.16.100.8(tomcatB.magedu.com)
  
• 　　两个memcached节点：172.16.100.9, 172.16.100.10
  
• 　　一个负载均衡节点：172.16.100.6
  
  

　　2.memcached-session-manager项目地址：

• 　　http://code.google.com/p/memcached-session-manager/
  

　　   下载如下jar文件至各tomcat节点的tomcat安装目录下的lib目录中，其中的${version}要换成你所需要的版本号，tc${6,7,8}要换成与tomcat版本相同的版本号。

• 　　memcached-session-manager-${version}.jar
  
• 　　memcached-session-manager-tc${6,7,8}-${version}.jar
  
• 　　spymemcached-${version}.jar
  
• 　　msm-javolution-serializer-${version}.jar
  
• 　　javolution-${version}.jar
  
  

　　3.步骤如下：
　　1）分别在两个tomcat上的某host上定义一个用于测试的context容器，并在其中创建一个会话管理器，如下所示：

   
　　2）分别为两个context提供测试页面：
　　  tomcatA
# mkdir -pv /usr/local/tomcat/webapps/test/WEB-INF/{classes,lib}
# vim /usr/local/tomcat/webapps/test/index.jsp
添加如下内容：


  TomcatA
  
    TomcatA.magedu.com
   
      
        Session ID
   
        
      
      
        Created on
        
     
   
  
　　  tomcat B
# mkdir -pv /usr/local/tomcat/webapps/test/WEB-INF/{classes,lib}
# vim /usr/local/tomcat/webapps/test/index.jsp
添加如下内容：


  TomcatB
  
    TomcatB.magedu.com
   
      
        Session ID
   
        
      
      
        Created on
        
     
   
  
　　3）在172.16.100.6上配置反向代理的负载均衡内容，类似如下所示：

    BalancerMember  http://172.16.100.7:8080 loadfactor=1
    BalancerMember  http://172.16.100.8:8080 loadfactor=1
    ProxySet  lbmethod=byrequests

ProxyVia Off
ProxyRequests Off
ProxyPass / balancer://tomcat/
ProxyPa***everse / balancer://tomcat/

    Order Allow,Deny
    Allow From all


    Order Allow,Deny
    Allow From all
　　4）测试结果，在浏览器中访问http://172.16.100.6/test，结果如下所示，其session ID在负载均衡环境中保持不变。
TomcatA.magedu.com
Session ID4DD0340CE6294FF2BBE802CD4CD039EC-n2
Created on1399890838103

TomcatB.magedu.com
Session ID4DD0340CE6294FF2BBE802CD4CD039EC-n2
Created on1399890838103