Nginx+Tomcat+Memcached部署应用

ggttt · 发表于 2015-10-10 08:36:02

通常我们企业也会使用JSP来发布动态网页，那么我们怎样将他们很好的整合,使用一台http服务器对外发布呢？这个时候我们就可以使用Nginx作为前端服务器来对Tomcat进行调度和负载，同时基于jsp的动态特征，我们将引入memcached来保持网页在链接过程中的session同步问题。

主机角色:node1：192.168.20.101 tomcat memcached
   node2: 192.168.20.102 tomcat memcached nginx

注意:两台node上的tomcat应用完全一致

jdk-7u79-linux-x64.tar.gz apache-tomcat-7.0.64.tar.gz

在node2上安装nginx:
1.安装Nginx
Nginx官网：http://nginx.org/
下载最新稳定版本。在安装Nginx之前，需要先安装gcc、 openssl、 pcre和zlib软件库。

1.1 安装gcc、gcc-c++
#yum install gcc gcc-c++

1.2安装openssl
openssl官网：http://www.openssl.org/
安装版本：openssl-1.0.0s.tar.gz
# tar -zxvf openssl-1.0.0s.tar.gz
# cd openssl-1.0.0s
# ./config --prefix=/usr/local/openssl
# make
# make install

1.3安装pcre
pcre官网：http://www.pcre.org/
安装版本：pcre-8.37.tar.gz
# tar -zxvf pcre-8.37.tar.gz
# cd pcre-8.37
# ./configure --prefix=/usr/local/pcre
# make
# make install

1.4安装zlib
zlib官网：http://www.zlib.net/
安装版本：zlib-1.2.8.tar.gz
# tar -zxvf zlib-1.2.8.tar.gz
# cd zlib-1.2.8
# ./configure --prefix=/usr/local/zlib
# make
# make install

1.5安装Nginx
安装版本：nginx-1.6.2.tar.gz
# tar -zxvf nginx-1.6.2.tar.gz
# cd nginx-1.6.2
# ./configure --prefix=/home/www/nginx
--with-openssl=/home/soft/openssl-1.0.0s #指的是openssl源码路径
--with-pcre=/home/soft/pcre-8.37 #指的是pcre源码路径
--with-zlib=/home/soft/zlib-1.2.8 #指的是zlib源码路径
--with-http_ssl_module

# make
# make install

在node1和node2上分别安装JDK，然后配置环境变量
#vi /etc/profile

# jdk7 settings
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

#source /etc/profile

# ln -s /usr/java/jdk1.7.0_79/bin/java /sbin/java

# which java

#vi test.java
public class test{
public static void main(String[] args)
{System.out.println("Hello!");  }
}

#javac test.java       编译
#java test                执行后出现Hello!说名java环境配置好

分别在node1和node2安装tomcat服务器
这里只列出node1上的操作：
# tar -zxvf apache-tomcat-7.0.64.tar.gz -C /home/www/
# mv /home/www/apache-tomcat-7.0.64 /home/www/tomcat

为普通用户设置tomcat的java环境：
$ vi /home/www/tomcat/bin/setclasspath.bat
export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=/usr/java/jdk1.7.0_79/jre

创建网站目录
# mkdir -pv /home/www/ROOT

修改配置文件
# vi /home/www/tomcat/conf/server.xml

在下面的内容（大概在126行）后面添加<Context path="" docBase="/home/www/ROOT" debug="0" reloadable="false" />

修改后的内容如下：
   <Host name="localhost"  appBase="webapps"
         unpackWARs="true" autoDeploy="true">
            <Context path="" docBase="/home/www/ROOT" debug="0" reloadable="false" />

修改tomcat端口：
<Server port="8005" shutdown="SHUTDOWN">

<Connector port="8080" protocol="HTTP/1.1"
            connectionTimeout="20000"
            redirectPort="8443" />


<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

使用同样的方法在node2上安装tomcat服务器，端口不要与node1上的tomcat端口相同即可。

#cd /home/www/ROOT/          自写测试页
#vi index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%
String path = request.getContextPath();
String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";%>

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<base href="<%=basePath%>">

<title>My JSP 'index.jsp' starting page</title>
<meta. http-equiv="pragma" content="no-cache">
<meta. http-equiv="cache-control" content="no-cache">
<meta. http-equiv="expires" content="0">
<meta. http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta. http-equiv="description" content="This is my page">

</head>

<body>
This is my JSP page.<br>
</body>
</html>

要想用普通用户运行tomcat,并能成功访问，还需修改tomcat的work目录权限，否则会报HTTP 500错误。
# chown -R btcweb:www /home/www/tomcat/work/Catalina/

测试访问;http://192.168.20.101:8080

tomcat访问每次得8080端口,使用nginx反向代理一下。

使用nginx发布jsp动态网页:
修改nginx配置文件:vim /usr/local/lnmp/nginx/conf/nginx.conf

location ~ \.jsp$ {
proxy_pass http://127.0.0.1:8080;
}

$ ./nginx/sbin/nginx -t
$ ./nginx/sbin/nginx -s reload

访问:http://192.168.20.102

在node2上的nginx环境中发布网页

使用nginx的负载均衡功能,在http块中加

upstream linux {
server 192.168.20.101:8080;
server 192.168.20.102:8080;
}
location ~ \.jsp$ {
proxy_pass http://linux;
}

$ ./nginx/sbin/nginx -t
$ ./nginx/sbin/nginx -s reload

测试:http://linux 实现两台主机的负载均衡

linux对应的是nginx的主机，客户端测试用域名访问时，做下linux到192.168.20.102的hosts绑定即可。

问题:在后台实现了nginx的负载均衡,但是当一个用户刷新数据时,数据总是变化的,试想,在动态页面,如果用户提交数据刷新后会换成另外一个空面,这样会造成一定的损失

解决:给nginx增加一个sticky模块.(需要重新编译nginx)

重新在nginx在进行模块化编译：
download:nginx-sticky-modules.tar.gz(解压就行)
下载地址：http://code.google.com/p/nginx-sticky-module/downloads/list
# cd /home/soft/
# tar -zxvf nginx-sticky-module-1.1.tar.gz

# cd nginx-1.6.2
# ./configure --prefix=/home/www/nginx --with-openssl=/home/soft/openssl-1.0.0s --with-pcre=/home/soft/pcre-8.37 --with-zlib=/home/soft/zlib-1.2.8 --with-http_ssl_module --add-module=/home/soft/nginx-sticky-module-1.1

# yum -y install openssl-devel
# make && make install

在执行make && make install时报如下错误
/tmp/soft/nginx-sticky-module-1.1/ngx_http_sticky_misc.c:281: error: too few arg
uments to function ‘ngx_sock_ntop’
make[1]: *** [objs/addon/nginx-sticky-module-1.1/ngx_http_sticky_misc.o] Error 1
make[1]: Leaving directory `/tmp/soft/nginx-1.6.2'
make: *** [build] Error 2

根据资料把ngx_http_sticky_misc.c 的281行修改如下即可解决问题
原digest->len = ngx_sock_ntop(in,digest
      ->data, len, 1);
改后digest->len = ngx_sock_ntop(in,sizeof(struct sockaddr_in),digest
      ->data, len, 1);

# vi /home/www/nginx/conf/nginx.conf

upstream linux {

sticky; #装了nginx-sticky后的功能

server 192.168.20.101:8080 ;
server 192.168.20.102:8080 ;
}

测试：http://linux    后发现刷新不会来回负载(每个用户看到的其实不是一个tomcat上的数据,但是对用户是透明的)

4.nginx负载tomcat的jsp时,需要解决session共享:
使用memcache进行缓存(用户)后端数据,但是又要想到解决单点故障问题,因而可以采用两台memcache作为后端负载.

memcached 11211 后端使用交叉式存储(tomcat会将session同步,session自动寻找存储的memcached,但是默认是交叉存储,当m坏掉,tomcat都会存到存活的m上)
只要tomcat不会宕掉,一切数据都还ok
但是当memcached宕掉,tomcat会向存活的mem上存取。

session 的序列化方案官方推荐的有 4 种:
1. java serialization
2. msm-kryo-serializer
3. msm-javolution-serializer
4. msm-xstream-serializer
其中性能最好的数Kryo,我们使用kryo来做session

mecached服务器node1 和 node2

Memcached安装
Memcached官网：http://memcached.org/
安装memcached需要先安装libevent，libevent官网：http://libevent.org/
本次安装版本：
memcached-1.4.24.tar.gz
libevent-2.0.22-stable.tar.gz

4.1 安装livevent
查看是否已安装：# rpm qa | grep libevent
如果已安装且版本低于1.3，则先通过：
#rpm -e libevent --nodeps 进行卸载。

# tar -zxvf libevent-2.0.22-stable.tar.gz
# cd libevent-2.0.22-stable
# ./configure --prefix=/usr/local/libevent
# make
# make install

4.2 安装Memcached
# tar -zxvf memcached-1.4.24.tar.gz
# cd memcached-1.4.24
# ./configure --prefix=/home/www/memcached --with-libevent=/usr/local/libevent
# make
# make install

编写启动脚本：
# cd /home/www/memcached
# vi start.sh
start.sh内容如下：

bin/memcached -d -m 10240 -p 11211 -l 192.168.20.102  -c 1024 -u root -P /home/www/memcached/memcached.pid

#chmod 755 start.sh

启动memcached
# cd /home/www/memcached
# ./start.sh

查看进程：ps -ef |grep memcached

参数选项说明：
-p <num> 监听的TCP端口 (缺省: 11211)
-d 以守护进程方式运行memcached
-u <username> 运行memcached的账户，非root用户
-m <num> 最大的内存使用，单位是MB，缺省是 64 MB
-c <num> 软连接数量，缺省是1024（最大并发连接数）
-v 输出警告和错误信息
-vv 打印客户端的请求和返回信息
-h 打印帮助信息
-i 打印memcached和libevent的版权信息

测试访问:telnet localhost 11211
stats                查看状态

将以下jar包复制到tomcat的lib目录（如/home/www/tomcat/lib）
javolution-5.5.1.jar
kryo-1.03.jar
kryo-serializers-0.10.jar
memcached-2.5.jar
memcached-session-manager-1.5.1.jar
memcached-session-manager-tc7-1.5.1.jar
minlog-1.2.jar
msm-javolution-serializer-1.5.1.jar
msm-kryo-serializer-1.6.4.jar
reflectasm-0.9.jar
spymemcached-2.7.3.jar

#vi /home/www/tomcat/conf/context.xml

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.20.101:11211,n2:192.168.20.102:11211"
failoverNodes="n2"
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>

重启tomcat,以识别memcached-session-manager

#tail -f tomcat/logs/catalina.out #默认日志
INFO: MemcachedSessionService finished initialization, sticky true, with node ids [n1] and failover node ids [n2]

正常启动

编辑测试文件:
(动态效果的jsp网页)
#vi /home/www/ROOT/index.jsp

<%@ page contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
out.println("<br> ID " + session.getId()+"<br>");
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.print("<b>Session list</b>");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name + " = " + value+"<br>");
System.out.println( name + " = " + value);
}
%>
<form action="index.jsp" method="POST">
name:<input type=text size=20 name="dataName">
<br>
key:<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>

session共享完成:两台tomcat和memcached机子做相同的配置(jdk,memcache,tomcat)

测试:
http://linux    使用一台tomcat和另外一台的memcached进行session共享

当任何一台tomcat或者memcached挂了都无所谓

session会记录并且保持用户的数据信息

账号		自动登录	找回密码
密码			立即注册

大疆运维招人啦，

C++ :try 语句块和异常处理

C++的多态

Red Hat RHCE 8 (EX294) Cert Guide

Java/C++ 区别：看完这一篇，就够用！

别再用过时库了！这 13 个顶级 C++ 库才是

c++ size_t 和 int 的区别

[经验分享] Nginx+Tomcat+Memcached部署应用

浏览过的版块

扫码加入运维网微信交流群