centos 6.5 配置nginx+Tomcat负载均衡群集

jlthlx

一 、实验环境描述：

    三台机器均为centos 6.5-x86_64

    负载均衡nginx：nginx-1.6.2.tar.gz                          下载地址：

    web服务器Tomcat：apache-tomcat-6.0.32.tar.gz  下载地址：

                     jdk-8u73-linux-x64.tar.gz                      下载地址：

　　

    实验拓扑图：

　　

主机	IP地址	安装软件
Nginx 代理	192.168.11.160	pcre-devel和zlib-devel工具包 nginx-1.6.2.tar.gz
Tomcat web1	192.168.11.161	jdk-8u73-linux-x64.tar.gz apache-tomcat-6.0.32.tar.gz
Tomcat web2	192.168.11.162	jdk-8u73-linux-x64.tar.gz apache-tomcat-6.0.32.tar.gz

二、后端服务器安装jdk+tomcat

(1)、安装JDK，配置Java环境
1.将解压好的jdk文件移到到/usr/local/下并重命名为java
http://s4.运维网.com/wyfs02/M01/7B/6E/wKioL1bNcZ7RPNvZAABSa7Jclqs423.jpg
2.在/etc/profile.d/下建立java.sh脚本文件，内容如下：写好以后保存退出
http://s5.运维网.com/wyfs02/M00/7B/70/wKiom1bNcgvS_gigAAAUS3wqcIY400.jpg
http://s3.运维网.com/wyfs02/M00/7B/70/wKioL1bNc5ahdEy9AAAx_liC-5E778.jpg
3.将java.sh脚本导入到环境变量，使其生效
http://s1.运维网.com/wyfs02/M01/7C/47/wKioL1bO_0myqe8DAAAUDVPKdac665.jpg
(2)、Tomcat的安装配置
1.对tomcat软件解包，然后将tomcat目录移动到/usr/local/下  

http://s1.运维网.com/wyfs02/M01/7C/48/wKioL1bPAVyiB_dZAAApz-_Sjvk089.jpg


2.启动和关闭tomcat
启动和关闭tomcat的脚本是tomcat目录中bin下的startup.sh和shutdown.sh
http://s5.运维网.com/wyfs02/M00/7C/4A/wKiom1bPAgajkB2SAADnSTuXORM214.jpg
注意：tomcat默认端口号是tcp的8080端口，如果防火墙没有关闭的朋友需要在防火墙上创建对应的规则
3.打开浏览器访问测试页

http://s3.运维网.com/wyfs02/M00/8B/1A/wKiom1hEuVegXghvAADZmPf6roM876.png-wh_500x0-wm_3-wmp_4-s_1436141632.png

4.网页可以正常访问，我们接下来了解下tomcat目录中主要都有哪些相关目录
http://s5.运维网.com/wyfs02/M00/7C/49/wKioL1bPCPOhz_7iAACwSg1WDF8081.jpg
目录说明：
--bin/  ：存放Windows或Linux平台上启动和关闭Tomcat的脚本文件
--conf/ ：存放Tomcat服务器的各种配置文件
--lib/  ：存放Tomcat运行需要的库文件
--logs/ ：存放Tomcat执行时的LOG文件
--webapps/ ：Tomcat的主要Web发布目录

--work/ ：存放jsp编译后产生的class文件
这样如果我们需要找某些文件就去对应的目录找就可以了


5.tomcat的主配置文件server.xml
server.xml由以下结构构成：内的内容为注释

  
   
      
        
         
         
        
      
  

大致的含义呢，我是这样理解的：Server代表整个的一个容器；Service是整个容器中由一个或多个Connector、以及一个Engine组成，负责处理所有客户请求的一个集合；而Connector负责监听指定端口的客户请求的，并将请求交给Engine来处理；Engine可以形容为一个匹配引擎，当它从Connector那里接收到客户请求后，它会将相应的请求匹配给Host；Host就是虚拟主机，也可以说就是一个站点，而站点的里面就是网页啦，也就是Contest，最终由Contest来相应客户的请求，不知道我这样理解是否正确，如果不对的地方请多多指教


6.创建java的Web站点
首先创建一个保存网页的目录，并在其中编写一个以“.jsp”为后缀的测试页面
http://s2.运维网.com/wyfs02/M02/7C/49/wKioL1bPEzCxuzTDAAAfwR3lRbE028.jpg
以192.168.11.161为网页内容
然后修改tomcat主配置文件server.xml
http://s3.运维网.com/wyfs02/M02/7C/4A/wKiom1bPFteCMJNjAAAXH6nnGlw111.jpg
http://s2.运维网.com/wyfs02/M00/7C/4A/wKiom1bPF-PR7h9ZAABpIjQo6S0531.jpg


最后重启Tomcat服务
http://s5.运维网.com/wyfs02/M02/7C/49/wKioL1bPGMGh8R5MAAAWWCkGOhU526.jpg
http://s5.运维网.com/wyfs02/M00/7C/49/wKioL1bPGRGBOjVMAAAVY_ydlWY151.jpg
访问刚刚创建好的测试页
http://s3.运维网.com/wyfs02/M01/8B/1A/wKiom1hEug6ApqOjAAA44j3OpVY344.png-wh_500x0-wm_3-wmp_4-s_1997379315.png
　　

三、nginx的安装

(1)、准备工作：
1.安装Nginx所需的工具包pcre-devel和zlib-devel
yum -y install pcre-devel zlib-devel
http://s4.运维网.com/wyfs02/M00/7B/31/wKioL1bId57yj-eoAAAUfYPqgso976.jpg
2.创建Nginx程序用户
useradd -M -s /sbin/nologin nginx
http://s4.运维网.com/wyfs02/M02/7B/32/wKiom1bId0HQq8NQAAATuC91QjA631.jpg


(2)、编译安装Nginx（解包、配置、编译、安装）
http://s1.运维网.com/wyfs02/M02/7B/30/wKioL1bIdK_THI8CAAB4agg4yTM337.jpg
--prefix=/usr/local/nginx       ##指定安装路径
--user=nginx                    ##指定程序用户
--group=nginx                   ##指定组用户


(3)、安装后调整
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/    ##创建符号链接

http://s4.运维网.com/wyfs02/M00/7B/30/wKioL1bIdneBCRLTAAAY9FaJMwk804.jpg


(4)、启动和停止Nginx服务
http://s4.运维网.com/wyfs02/M01/7B/32/wKiom1bIePORUXDdAAA_SjWPuYM885.jpg
nginx                     ##启动服务
killall -s HUP nginx      ##重启服务
killall -s QUIT nginx     ##停止服务


注意：如果防火墙没有关闭的朋友，在安装完成之后，分别在对应的服务器上创建防火墙规则
Nginx服务器上防火墙规则
http://s2.运维网.com/wyfs02/M02/7C/5E/wKiom1bPv6rgwMocAAA-aI6-kSc243.jpg


四、配置Nginx服务器反向代理两个Tomcat站点并实现负载均衡
1.修改Nginx的配置文件nginx.conf
http://s1.运维网.com/wyfs02/M02/7C/61/wKiom1bPwTnhy7ATAAAXtQ6pYzM719.jpg
第一是在“http {}”界定中添加配置项upstream
http://s1.运维网.com/wyfs02/M01/7C/60/wKioL1bPxFvArBwcAABkc2us-BM370.jpg
这里说一下“weight”，其含义就是权重的意思，如果tomcat服务器权重数值越大，则“.jsp”的请求分配到该服务器的概率越大，生产环境中要看哪台tomcat服务器的性能好，性能好的可以权重大一些，也就是让性能好的服务器处理的请求多一些，这里为了比较测试效果就设置为一样了。


第二是在“http {}”界定的子界定“server {}”中添加新的“location / {}”
http://s3.运维网.com/wyfs02/M00/7C/61/wKioL1bPyFfBhVeJAABuuN2ehzA775.jpg


2.修改好配置文件后重启nginx服务
http://s5.运维网.com/wyfs02/M01/7C/63/wKiom1bPyg-B0k1OAAAQF0oJIRk584.jpg


3.分别在两台tomcat服务器上创建测试页，为了更加直观的显示负载均衡效果，第一台tomcat服务器测试页内容为“tomcat-1”，第二台tomcat服务器测试页内容为“tomcat-2”
第一台Tomcat服务器测试页
http://s1.运维网.com/wyfs02/M00/7C/63/wKiom1bPzDHgz7OcAABF1qW0fvc321.jpg
第二台Tomcat服务器测试页
http://s3.运维网.com/wyfs02/M01/7C/62/wKioL1bPzOXh2iPYAABE8ow6g4w741.jpg




4.访问测试页，查看反向代理和负载均衡效果
首先访问Nginx测试页：192.168.11.160，我们看到可以正常浏览Nginx的测试页
http://s4.运维网.com/wyfs02/M01/8B/16/wKioL1hEuruSLTS-AABmzXrCr-Q414.png-wh_500x0-wm_3-wmp_4-s_3044351853.png


然后访问以“.jsp”结尾的测试页：192.168.11.160/1.jsp，我们可以看到Nginx服务器反向代理了Tomcat站点，这里显示的是第一台Tomcat服务器测试页
http://s4.运维网.com/wyfs02/M00/8B/16/wKioL1hEuxXwt9orAABAMB9jXzM860.png-wh_500x0-wm_3-wmp_4-s_3533286393.png


最后在当前页面做刷新操作：“F5”，可以看到页面自动变成了第二台Tomcat的测试页
http://s5.运维网.com/wyfs02/M01/8B/1A/wKiom1hEu1bB-rQcAABLbDWFGwk284.png-wh_500x0-wm_3-wmp_4-s_3218237299.png
这样就实现了Nginx + Tomcat的负载均衡集群
　　

　　五、web服务器log如何显示客户端的真实地址
　　在我们配置完nginx+Tomcat或Apache后，在后端web服务器查看日志发现访问IP是Nginx的IP地址(192.168.11.160)，这就是代理的特点（nginx代表客户端请求web服务器），那么我们如何查看看到真实客户端的地址呢？

http://s3.运维网.com/wyfs02/M01/8B/1D/wKiom1hE8GDwRjqtAAAXkJtIzic679.png-wh_500x0-wm_3-wmp_4-s_368193974.png

1、首先需要在nginx代理服务器上的配置文件nginx.conf上的 location 中添加一行参数：

proxy_set_header  X-Real-IP  $remote_addr;

　　重启nginx服务

　　[root@wenjia conf]#  /usr/local/nginx/sbin/nginx -t
　　nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
　　nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
　　[root@wenjia conf]#  /usr/local/nginx/sbin/nginx -s reload
　　 2、配置apache

     vim /usr/local/apache2/conf/httpd.conf  找到如下
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
将此行中的 ‘%h‘修改成 ‘%{X-Real-IP}i‘
   重启Apache服务即可；
　　[root@wenjia conf]#service httpd restart
　　[root@wenjia conf]#cat /etc/httpd/logs/access.log

http://s5.运维网.com/wyfs02/M01/8B/19/wKioL1hE8JfgT-hSAAAZvvcPiso669.png-wh_500x0-wm_3-wmp_4-s_2747841284.png

　　再查看访问日志，IP地址已变成客户端地址！