设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 684|回复: 0

[经验分享] haproxy+nginx+tomcat+memcache实现动静分离、会话同步集群

[复制链接]
look321

尚未签到
发表于 2018-12-5 11:00:11 | 显示全部楼层 |阅读模式
　　一、实验说明


  • 　　haproxy在前端做负载均衡调度，后端实现动静分离
  • 　　静态资源server为nginx
  • 　　动态内容使用nginx&tomcat做app server，集成于单机，两台
  • 　　使用两台memcache服务器做高可用session缓存，实现app server宕机时会话不中断
　　以上组合使用实现业务、session、session缓存均为高可用的集群。
　　

　　二、实验准备

  • 　　haproxy server：192.168.0.168
  • 　　nginx server（静态）：192.168.0.68
  • 　　nginx+tomcat-1：192.168.0.69
  • 　　nginx+tomcat-2：192.168.0.70
  • 　　memcache-1 192.168.0.71
  • 　　memcache-2:192.168.0.101

　　

　　IP\hosts\clock zone配置统一
　　简要拓扑：

　　

　　三、nginx静态：
　　1、解决依赖关系
　　编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Development Libraries"。同时，还需要专门安装pcre-devel包：
　　# yum -y install pcre-devel
　　

　　2、安装
　　首先添加用户nginx，实现以之运行nginx服务进程：
　　# groupadd -r nginx
　　# useradd -g nginx -s /sbin/nologin nginx
　　

　　接着开始编译和安装：
　　# ./configure \
　　--prefix=/usr/local/nginx \
　　--sbin-path=/usr/local/nginx/sbin/nginx \
　　--conf-path=/etc/nginx/nginx.conf \
　　--error-log-path=/var/log/nginx/error.log \
　　--http-log-path=/var/log/nginx/access.log \
　　--pid-path=/var/run/nginx/nginx.pid  \
　　--lock-path=/var/lock/nginx.lock \
　　--user=nginx \
　　--group=nginx \
　　--with-http_ssl_module \
　　--with-http_flv_module \
　　--with-http_stub_status_module \
　　--with-http_gzip_static_module \
　　--http-client-body-temp-path=/var/tmp/nginx/client/ \
　　--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
　　--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
　　--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
　　--http-scgi-temp-path=/var/tmp/nginx/scgi \
　　--with-pcre
　　# make && make install
　　

　　3、为nginx提供SysV init脚本:
　　

　　新建文件/etc/rc.d/init.d/nginx，内容如下：
　　#!/bin/sh
　　#
　　# nginx - this script starts and stops the nginx daemon
　　#
　　# chkconfig:   - 85 15
　　# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
　　#               proxy and IMAP/POP3 proxy server
　　# processname: nginx
　　# config:      /etc/nginx/nginx.conf
　　# config:      /etc/sysconfig/nginx
　　# pidfile:     /var/run/nginx.pid
　　# Source function library.
　　. /etc/rc.d/init.d/functions
　　# Source networking configuration.
　　. /etc/sysconfig/network
　　# Check that networking is up.
　　[ "$NETWORKING" = "no" ] && exit 0
　　nginx="/usr/local/nginx/sbin/nginx"
　　prog=$(basename $nginx)
　　NGINX_CONF_FILE="/etc/nginx/nginx.conf"
　　[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
　　lockfile=/var/lock/subsys/nginx
　　make_dirs() {
　　# make required directories
　　user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
　　options=`$nginx -V 2>&1 | grep 'configure arguments:'`
　　for opt in $options; do
　　if [ `echo $opt | grep '.*-temp-path'` ]; then
　　value=`echo $opt | cut -d "=" -f 2`
　　if [ ! -d "$value" ]; then
　　# echo "creating" $value
　　mkdir -p $value && chown -R $user $value
　　fi
　　fi
　　done
　　}
　　start() {
　　[ -x $nginx ] || exit 5
　　[ -f $NGINX_CONF_FILE ] || exit 6
　　make_dirs
　　echo -n $"Starting $prog: "
　　daemon $nginx -c $NGINX_CONF_FILE
　　retval=$?
　　echo
　　[ $retval -eq 0 ] && touch $lockfile
　　return $retval
　　}
　　stop() {
　　echo -n $"Stopping $prog: "
　　killproc $prog -QUIT
　　retval=$?
　　echo
　　[ $retval -eq 0 ] && rm -f $lockfile
　　return $retval
　　}
　　restart() {
　　configtest || return $?
　　stop
　　sleep 1
　　start
　　}
　　reload() {
　　configtest || return $?
　　echo -n $"Reloading $prog: "
　　killproc $nginx -HUP
　　RETVAL=$?
　　echo
　　}
　　force_reload() {
　　restart
　　}
　　configtest() {
　　$nginx -t -c $NGINX_CONF_FILE
　　}
　　rh_status() {
　　status $prog
　　}
　　rh_status_q() {
　　rh_status >/dev/null 2>&1
　　}
　　case "$1" in
　　start)
　　rh_status_q && exit 0
　　$1
　　;;
　　stop)
　　rh_status_q || exit 0
　　$1
　　;;
　　restart|configtest)
　　$1
　　;;
　　reload)
　　rh_status_q || exit 7
　　$1
　　;;
　　force-reload)
　　force_reload
　　;;
　　status)
　　rh_status
　　;;
　　condrestart|try-restart)
　　rh_status_q || exit 0
　　;;
　　*)
　　echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
　　exit 2
　　esac
　　

　　而后为此脚本赋予执行权限：
　　# chmod +x /etc/rc.d/init.d/nginx
　　

　　添加至服务管理列表，并让其开机自动启动：
　　# chkconfig --add nginx
　　# chkconfig nginx on
　　

　　4.配置文件基础配置及参数优化：
　　vim /etc/nginx/nginx.conf
　　做一下修改：
　　

　　user nginx nginx;
　　error_log  /var/log/nginx/error.log info;
　　access_log /var/log/nginx/access.log info;
　　pid  /var/run/nginx/nginx.pid;
　　

　　worker_rlimit_nofile  20480;
　　

　　events {
　　use epoll;
　　worker_connections  10240;
　　}
　　

　　http {
　　include       mime.types;
　　default_type  application/octet-stream;
　　sendfile        on;
　　

　　server {
　　listen 80;
　　 servername www.a.com;
　　root /www/nginx/a.com/;
　　 index index.html;
　　
　　 allow 192.168.0.0/16;
　　 deny all;
　　   }
　　}
　　

　　*注释：
　　worker_rlimit_nofile  20480;单个worker最大可以打开的句柄数，至少要>=worker—connection的数目，  当nginx做反向代理时，要>=worker——connection的数目的两倍
　　保存退出而后，创建相应目录文件就可以启动服务并测试了：
　　# service nginx start
　　echo "test.a.com_192.168.0.68" > /www/nginx/a.com/index.html
　　浏览器测试打开http://192.168.0.68正常访问

　　

　　

　　

　　四、haproxy配置
　　yum -y install haproxy

　　vim /etc/haproxy/haproxy.cfg
　　frontend  main *:80
　　acl url_static       path_beg       -i /static /images /javascript /stylesheets
　　acl url_static       path_end       -i .jpg .gif .png .css .js .html .htm
　　acl url_jsp          path_end       -i .jsp .do
　　

　　use_backend static          if url_static
　　use_backend app             if url_jsp
　　default_backend             static
　　

　　#---------------------------------------------------------------------
　　# static backend for serving up images, stylesheets and such
　　#---------------------------------------------------------------------
　　backend static
　　balance     roundrobin
　　server      static 192.168.0.68:80 check
　　

　　#---------------------------------------------------------------------
　　# round robin balancing between the various backends
　　#---------------------------------------------------------------------
　　backend app
　　balance     roundrobin
　　server  app1 192.168.0.69:80 check
　　server  app2 192.168.0.70:80 check
　　保存退出
　　service haproxy start
　　测试：http://192.168.0.168，打开静态nginx页面成功：

　　

　　

　　

　　

　　五、tomcat部署安装
　　1.官方版JDK下载：
　　http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
　　tomcat是基于java语音开发的程序，需要运行在jvm中。java是跨平台语言，java的运行基于各种类库，java早先用于B/S架构上的是applet，在客户端运行，后期发展为servlet，在server端运行，但是servlet是硬编码进html中的，因此程序员在开发servlet程序时，又必须将其与html语言结合开发，在php类的嵌入式编程语言出现了之后，servlet也研发了一种全新的嵌入式语言jsp，而tomcat即是jsp的一个web容器，与之类似的开源方案还有Jboss等。
　　这里使用官方的jdk套件：
　　rpm -ivh jdk-8u131-linux-x64.rpm
　　cat > /etc/profile.d/java.sh  /etc/profile.d/tomcat.sh  export CATALINA_HOME=/usr/local/tomcat
　　> export PATH=$CATALINA_HOME/bin:$PATH
　　> EOF
　　

　　. /etc/profile.d/tomcat.sh
　　cd /usr/local/tomcat/bin/
　　chmod +x *
　　

　　#catalina.sh -version  #测试
　　Using CATALINA_BASE:   /usr/local/tomcat
　　Using CATALINA_HOME:   /usr/local/tomcat
　　Using CATALINA_TMPDIR: /usr/local/tomcat/temp
　　Using JRE_HOME:        /usr/java/default
　　Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
　　Server version: Apache Tomcat/7.0.78
　　Server built:   May 10 2017 15:02:19 UTC
　　Server number:  7.0.78.0
　　OS Name:        Linux
　　OS Version:     2.6.32-642.el6.x86_64
　　Architecture:   amd64
　　JVM Version:    1.8.0_131-b11
　　JVM Vendor:     Oracle Corporation
　　tomcat部署成功
　　浏览器测试：http://192.168.0.69:8080，tomcat测试页显示成功
　　

　　

　　3.安装nginx
　　tomcat的http并发能力比较弱，因此在生产环境中，一般在在单机中集成tomcat和一个httpd服务，常见的是nginx
　　nginx编译安装过程同上，只是配置文件需修改，nginx将所有请求反代至tomcat，需添加一个location：
　　location / {
　　proxy_pass http://127.0.0.1:8080;
　　index  index.jsp index.htm;
　　}
　　

　　http://192.168.0.69，Tomcat测试页显示成功，代理部署完成

　　

　　

　　这里再简单描述一下tomcat上web应用部署的方法：

  • 　　最简单的方法，将程序员写好的app放入tomcat_home下的webapps目录中
  • 　　修改tomcat_home/conf/server.xml配置文件，在host容器中添加组件
  • 　　在tomcat_home/conf/Catalina/localhost目录下创建.xml结尾的单独配置文件，配置文件中添加组件，此方法无需重启tomcat服务，推荐使用
　　部署演示：
　　添加test.xml配置文件
　　cd /usr/local/tomcat/conf/Catalina/localhost
　　vim test.xml
　　
　　
　　

　　注释：
path：是访问时的根地址，表示访问的路径；如上述例子中，访问该应用程序地址如下：http://192.168.0.69/test
reloadable：表示可以在运行时在classes与lib文件夹下自动加载类包。其中reloadable="false"表示当应用程序 中的内容发生更改之后服务器不会自动加载，这个属性在开发阶段通常都设为true，方便开发，在发布阶段应该设置为false，提高应用程序的访问速度。
docbase：表示应用程序的路径， 可以使用绝对路径，也可以使用相对路径，相对路径相对于webapps。
创建访问路径、类库、及一个简单的jsp文件：
mkdir -pv /usr/local/tomcat/webapps/test/WEB-INF/{class,lib}
vim /usr/local/tomcat/webapps/test/index.jsp

　　
　　
　　TomcatA
　　
　　Tomcatapp.test.com
　　
　　
　　Session ID
　　
　　
　　
　　
　　Created on
　　
　　
　　
　　
　　
　　浏览器测试：http://192.168.0.69/test部署成功

　　另一台tomcat节点部署过程一致，过程不再赘述，测试页面标题做修改以示区别：

　　

　　两台tomcat部署完毕后，从前端访问haproxy地址测试代理是否生效：http://192.168.0.168/index.jsp

　　

　　页面显示异常，捕获响应报文如下：

　　status code为404，动静分离导致haproxy将css样式表、图片文件路由至静态主机获取，但静态主机没有相应的页面资源
　　scp /usr/local/tomcat/webapps/ROOT  192.168.0.68:/www/nginx/a.com/
　　chown -R nginx:nginx /www/nginx/a.com/ROOT
　　再次刷新页面，解决：

　　

　　测试haproxy roundrobin效果：
　　http://192.168.0.168/test/index.jsp,反复刷新，页面在tomcat1和tomcat2之间切换


　　负载均衡成功，但是可以发现session ID一直是在变化的，为了实现app server之一宕机，其上的连接再转移至其他app server后仍然保持会话不中断，需要引入session共享机制。
　　

　　默认情况下，tomcat将session保存在本地，tomcat自带有DeltaManager会话管理器，可以实现在一个集群中的tomcat主机，按指定的频率，使用组播地址，与各节点相互分享session数据，这种方式实现起来比较简单，但是对资源的消耗较大，当cluster内的成员数量在3 4台以上时，一般使用另一种方案，即所有成员将session保存在同一台缓存服务器中，缓存服务器可以是memcache、redis等，这里用的是memcache session manager，这个项目最早是在谷歌的开源网站上出现的，现在项目地址已经转移到了GitHub上。
　　参考地址：https://code.google.com/archive/p/memcached-session-manager/
　　https://github.com/magro/memcached-session-manager
　　

　　

　　

　　六、memcache安装部署
　　1.安装libevent
　　

　　memcached依赖于libevent API，因此要事先安装之，项目主页：http://libevent.org/，读者可自行选择需要的版本下载。本文采用的是目前最新版本的源码包libevent-2.0.21-stable.tar.gz。安装过程：
　　

　　# tar xf libevent-2.0.21-stable.tar.gz
　　# cd libevent-2.0.21-stable
　　# ./configure --prefix=/usr/local/libevent
　　# make && make install
　　

　　将库文件导入系统库中
　　# echo "/usr/local/libevent/lib" > /etc/ld.so.conf.d/libevent.conf
　　# ldconfig
　　

　　2.安装配置memcached
　　

　　1、安装memcached
　　# tar xf memcached-1.4.18.tar.gz
　　# cd memcached-1.4.18
　　# ./configure --prefix=/usr/local/memcached --with-libevent=/usr/local/libevent
　　# make && make install
　　安装完成后启用memcache：
　　/usr/local/memcached/bin/memcached -d 11211 -u nobody -c 1024 -m 128
　　

　　3、memcached SysV的startup脚本代码如下所示，将其建立为/etc/init.d/memcached文件：
　　

　　#!/bin/bash
　　#
　　# Init file for memcached
　　#
　　# chkconfig: - 86 14
　　# description: Distributed memory caching daemon
　　#
　　# processname: memcached
　　# config: /etc/sysconfig/memcached
　　

　　. /etc/rc.d/init.d/functions
　　

　　## Default variables
　　PORT="11211"
　　USER="nobody"
　　MAXCONN="1024"
　　CACHESIZE="64"
　　OPTIONS=""
　　

　　RETVAL=0
　　prog="/usr/local/memcached/bin/memcached"
　　desc="Distributed memory caching"
　　lockfile="/var/lock/subsys/memcached"
　　

　　start() {
　　echo -n $"Starting $desc (memcached): "
　　daemon $prog -d -p $PORT -u $USER -c $MAXCONN -m $CACHESIZE -o "$OPTIONS"
　　RETVAL=$?
　　[ $RETVAL -eq 0 ] && success && touch $lockfile || failure
　　echo
　　return $RETVAL
　　}
　　

　　stop() {
　　echo -n $"Shutting down $desc (memcached): "
　　killproc $prog
　　RETVAL=$?
　　[ $RETVAL -eq 0 ] && success && rm -f $lockfile || failure
　　echo
　　return $RETVAL
　　}
　　

　　restart() {
　　stop
　　start
　　}
　　

　　reload() {
　　echo -n $"Reloading $desc ($prog): "
　　killproc $prog -HUP
　　RETVAL=$?
　　[ $RETVAL -eq 0 ] && success || failure
　　echo
　　return $RETVAL
　　}
　　

　　case "$1" in
　　start)
　　start
　　;;
　　stop)
　　stop
　　;;
　　restart)
　　restart
　　;;
　　condrestart)
　　[ -e $lockfile ] && restart
　　RETVAL=$?
　　;;
　　reload)
　　reload
　　;;
　　status)
　　status $prog
　　RETVAL=$?
　　;;
　　*)
　　echo $"Usage: $0 {start|stop|restart|condrestart|status}"
　　RETVAL=1
　　esac
　　

　　exit $RETVAL
　　

　　

　　使用如下命令配置memcached成为系统服务：
　　# chmod +x /etc/init.d/memcached
　　# chkconfig --add memcached
　　# service memcached start
　　

　　4、使用telnet命令测试memcached的使用
　　# telnet 127.0.0.1 11211
　　

　　

　　七、msm部署
　　原理参考步骤五底部的链接
　　这里使用javolution的序列化工具，准备以下java类库：

　　编辑$CATALINA_HOME/conf/context.xml,添加以下内容：
　　

　　
　　
　　
　　另一台tomcat上配置相同，修改failoverNodes="n2"
　　

　　再次在前端访问haproxy代理地址：http://192.168.0.168/test，重复刷新页面，可以发现页面在tomcat-A和Tomcat-B之间轮换，但session ID与session创建时间不会改变：


　　至此，实验成功。
　　

　　总结：
　　实验过程前段进行顺利，最后的msm部署非常头疼，花了两个晚上才搞定，碰到的有缺少jar类库、context字段不生效导致页面404、两台tomcat相同配置文件和环境却一台正常一台跑不起来等奇葩问题，以上问题全部搞定后还是发现session不能同步。无奈了，甚至怀疑到是不是haproxy代理的问题，马上开干停用haproxy编译安装nginx做代理，问题依旧。。。。。今天回来试着把jdk从1.8回滚到1.7后，问题居然解决了。事实证明，谷歌是个好东西，要去***，推荐一个我用了一年活好免费的***：green


欢迎讨论纠错，
　　Over!




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-643551-1-1.html 上篇帖子： Nginx+Tomcat负载均衡之session问题 下篇帖子： tomcat 并发连接数+增大线程池
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表