Nginx+Tomcat+Memcached集群

搜鞥都哦

　　Tomcat集群session同步方案有以下几种方式：

• 　　使用tomcat自带的cluster方式，多个tomcat间自动实时复制session信息，配置起来很简单。但这个方案的效率比较低，在大并发下表现并不好。原理：http://zyycaesar.iteye.com/blog/296606
  

• 　　利用nginx的基于访问ip的hash路由策略，保证访问的ip始终被路由到同一个tomcat上，这个配置更简单。但如果应用是某一个局域网大量用户同时登录，这样负载均衡就没什么作用了。
  
• 　　利用nginx插件实现tomcat集群和session同步，nginx-upstream-jvm-route-0.1.tar.gz，是一个 Nginx 的扩展模块，用来实现基于 Cookie 的 Session Sticky 的功能，可通过http://code.google.com/p/nginx-upstream-jvm-route/downloads/list获取。
  

• 　　利用memcached把多个tomcat的session集中管理，前端在利用nginx负载均衡和动静态资源分离，在兼顾系统水平扩展的同时又能保证较高的性能。
  

　　以下使用第四种方案，集群环境：
　　1. nginx最新版本：1.5.7
　　2. tomcat版本：6.0.37
　　3. memcached最新版本：1.4.15
　　4. session复制同步使用memcache-session-manager最新版本：1.6.5
　　5. 系统：CentOS6.3
　　一、Nginx安装
　　- centos6.3默认未安装gcc-c++，先装gcc：
yum -y install gcc-c++　　装完后记得reboot系统。
　　- cd到安装目录
cd /usr/lcoal/src　　- 安装pcre库

http://common.cnblogs.com/images/copycode.gif

cd /usr/local/srcwget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.21.tar.gztar -zxvf pcre-8.21.tar.gz　　
cd pcre-8.21./configuremakemake install

http://common.cnblogs.com/images/copycode.gif

　　如果wget下载不到的话，去官网下载pcre-8.12.tar.gz包拷贝到src下。
　　- 安装zlib库

http://common.cnblogs.com/images/copycode.gif

cd /usr/local/src　　
wget http://zlib.net/zlib-1.2.8.tar.gztar -zxvf zlib-1.2.8.tar.gz
　　
cd zlib-1.2.8./configuremakemake install

http://common.cnblogs.com/images/copycode.gif

　　- 安装ssl
cd /usr/local/srcwget http://www.openssl.org/source/openssl-1.0.1c.tar.gztar -zxvf openssl-1.0.1c.tar.gz　　- 安装nginx

http://common.cnblogs.com/images/copycode.gif

cd nginx-1.5.7　　
./configure --prefix=/usr/local/nginx/nginx \--with-http_ssl_module \--with-pcre=/usr/local/src/pcre-8.12 \--with-zlib=/usr/local/src/zlib-1.2.8 \--with-openssl=/usr/local/src/openssl-1.0.1c
　　
makemake install

http://common.cnblogs.com/images/copycode.gif

　　安装成功，cd /usr/local/nginx/conf/nginx.conf，修改配置文件：

http://common.cnblogs.com/images/copycode.gif

http {　　
...
　　
    upstream localhost {
　　
        server    localhost:8081;
　　
        server    localhost:8082;
　　
        server    localhost:8083;
　　
    }
　　
...
　　
}
　　

　　

　　
location / {
　　
      root   html;
　　
      index  index.html index.htm;
　　
      proxy_pass   http://localhost;
　　
      proxy_redirect    off;
　　
      proxy_set_header   Host $host;
　　
      proxy_set_header   X-Real-IP $remote_addr;
　　
      proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
　　
      client_max_body_size   10m;
　　
      client_body_buffer_size   128k;
　　
      proxy_connect_timeout   90;
　　
      proxy_send_timeout   90;
　　
      proxy_read_timeout   90;
　　
      proxy_buffer_size   4k;
　　
      proxy_buffers   4 32k;
　　
      proxy_busy_buffers_size   64k;
　　
      proxy_temp_file_write_size  64k;
　　
}

http://common.cnblogs.com/images/copycode.gif

　　二、memcached安装
　　- memcached安装较简单，需要先libevent库：

http://common.cnblogs.com/images/copycode.gif

sudo yum install libevent libevent-develwget http://www.danga.com/memcached/dist/memcached-1.4.15.tar.gztar zxf memcached-1.4.15.tar.gz　　
cd memcached-1.4.15./configuremakesudo make install

http://common.cnblogs.com/images/copycode.gif

　　安装成功（默认安装在bin下），启动：
#-vv 控制台输出　　
#-d 后台运行/usr/local/bin/memcached -vv
　　启动后，可以telnet上去看下状态：
telnet 127.0.0.1 11211stats　　三、tomcat配置
　　1. 修改server.xml

http://common.cnblogs.com/images/copycode.gif

    　　

http://common.cnblogs.com/images/copycode.gif

　　2. 添加mem和msm的依赖jar包
　　couchbase-client-1.2.2.jar
　　javolution-5.4.3.1.jar
　　kryo-1.03.jar
　　kryo-serializers-0.10.jar
　　memcached-session-manager-1.6.5.jar
　　memcached-session-manager-tc6-1.6.5.jar
　　minlog-1.2.jar
　　msm-kryo-serializer-1.6.5.jar
　　reflectasm-0.9.jar
　　spymemcached-2.10.2.jar
　　注意点：
　　-msm1.6.5依赖了Couchbase，需要添加couchbase-client的jar包，否则启动会报：java.lang.NoClassDefFoundError: com/couchbase/client/CouchbaseClient。
　　-tomcat6和7使用不同msm支持包：memcached-session-manager-tc6-1.6.5.jar和memcached-session-manager-tc7-1.6.5.jar，只可选一，否则启动报错。
　　-msm源码中的lib包版本太低：spymemcached-2.7.jar需要使用2.10.2，否则启动tomcat报错：
　　java.lang.NoSuchMethodError: net.spy.memcached.MemcachedClient.set(Ljava/lang/String;ILjava/lang/Object;)Lnet/spy/memcached/internal/OperationFuture;
　　at de.javakaffee.web.msm.BackupSessionTask.storeSessionInMemcached(BackupSessionTask.java:227)
　　kryo-serializers-0.8.jar需要使用0.10版本，否则报错：
　　Caused by: java.lang.ClassNotFoundException: de.javakaffee.kryoserializers.DateSerializer
　　tomcat启动成功后可以去刷新页面，ip端口会变化，session是不会变化的：

http://images.cnitblog.com/blog/40077/201312/05162859-463451ee1fcc468a84b23e609d889bb9.png

　　memcached的状态可以看到同步session的操作日志：

http://images.cnitblog.com/blog/40077/201312/05162951-1725ed7191b74ae98cd640c3e8bc9c4a.png