Nginx+Tomcat+memcached高可用会话保持

qqruser

一、概述
　　之前文章已经描述了企业高可用负载相关的架构及实现,其中常用的nginx或haproxy,LVS结合keepalived做前端高可用调度器;但之前没有提到会话高可用保持;
本文通过 Tomcat Session Replication Cluster(tomcat自带)和tomcat结合memcat及第三方组件实现Tomcat Memcache Session Server高可用会话缓存服务;
实现的效果:
同一客户端访问业务网站,经过调度器负载调度到达后端,不管选择的是那个后端,session ID都不变,都保存在两台或多台的memcached缓存中(负载冗余);以保持持会话;
　　架构图:
http://i2.运维网.com/images/blog/201803/23/9c5f97eb5aeff57b09dfae2053c331f9.png
说明:客户端请求时nginx通过负载调度算法将请求调度至某一后端服务器;tomcat 把会话通过组播的方式复制到集群各节点;所有节点共享会话;

http://i2.运维网.com/images/blog/201803/23/4658e3d0263f63bd3a265cf9f1fd42ce.png
说明:客户端请求时nginx通过负载调度算法将请求调度至某一后端服务器;并把session存储到两台memcached中;客户端刷新(不换浏览器)时,请求换成另一个后端服务器响应时session ID保持不变;

　　测试环境:
nginx: CentOS7  epel 安装nginx   WAN:172.16.3.152   LAN:192.168.10.254
tomcat A:  CentOS7   node1.san.com      epel 安装 tomcat 7  openjdk-1.8.0  memcached(现实环境中单独服务器)
tomcat B:  CentOS7   nodde2.san.com   epel 安装 tomcat 7  openjdk-1.8.0  memcached  现实环境中单独服务器)
测试客户端ubuntu 16.04

cat /etc/hosts
172.16.3.152       www.san.com
二、安装配置集群
　　nginx安装

[root@nginx ~]# yum install epel-release -y
[root@nginx ~]# yum install nginx -y
　　nginx配置
在/etc/nginx/nginx.conf  http段添加如下行

    upstream tcsrvs {
server 192.168.10.11:8080;
server 192.168.10.12:8080;
}

　　cat /etc/nginx/conf.d/san.com.conf

[root@nginx ~]# cat /etc/nginx/conf.d/san.com.conf
server {
listen 80;
server_name www.san.com;
location / {
proxy_pass http://tcsrvs;
}
}

　　Tomcat配置:
两台均需要安装

#yum install epel-release -y
#yum install java-1.8.0 java-1.8.0-openjdk-devel tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp  -y
　　说明:也可以通过oracle官方下载jdk 下载tomcat 解压到指定目录并添加环境变量;一般企业推荐此种方式;为了快捷,我们用epel仓库中的稳定版本;
　　添加测试页
yum 安装的tomcat工作目录在/var/lib/tomcat/webapps 分别在node1与node2上,此目录下创建测试项目,title 分别叫Tomcat A与Tomcat B 颜色分别为green与red;以示区别;生产环境node1 与node2内容一致;这里为了测试区别node1与node2内容;

#mkdir -pv /var/lib/tomcat/webapps/test/{WEB-INF,META-INF,classes,lib}
#cat /var/lib/tomcat/webapps/test/index.jsp


Tomcat A

TomcatA.san.com


Session ID




Created on





　　配置管理页密码
tomcat与管理程序安装好后配置访问密码
修改注释/etc/tomcat/tomcat-users.xml文件




　　备份默认/etc/tomcat/server.xml文件

cd /etc/tomcat
cp server.xml server.xml_def
　　测试页访问
http://www.san.com/test 如图:出现Tomcat A
http://i2.运维网.com/images/blog/201803/23/dba1dfa5cc409e9a7533765640b020b0.png
Ctrl+F5强制刷新 又出现Tomcat B
http://i2.运维网.com/images/blog/201803/23/447fd0c2b649abceb657619e059bb851.png
　　引发问题:如果是两台内容一样的配置,客户端访问刷新一下就换到另一个后端处理;类似通过session保留信息的服务(购买物车)如何保留?换句话说,如何保持会话不中断,无论请求被分配到那一个后端?
　　解决方案
1)会话sticky(粘性):分为source_ip 基于源ip和cookie
source_ip在不同的调度器上有不同的实现方式:
lvs:sh算法;
nginx:ip_hash或hash $request_uri consistent(一致性哈希算法)
haproxy: source
　　cookie:
nginx:hash 或 hash $cookie_name consistent;
haproxy:cookie
　　2)会话集群(session cluster):delta session manager
3)session server: redis(store),memcached(cache)
　　以下基于tomcat自带会话集群与memcached实现会话保持 功能;

三、Tomcat Session Replication Cluster配置
　　Tomcat Session Replication Cluster中文又叫 tomcat 会话复制集群,即会话通过组播方式复制到每一个后端tomcat节点;
可参考自带帮助文档:http://www.san.com/docs/cluster-howto.html
两台node1 node2节点/etc/hosts中添加如下:

#cat /etc/hosts
192.168.10.11 node1.san.com node1
192.168.10.12 node2.san.com node2
　　两台tomcat 节点sever.xml的Host字段中添加如下内容: