Linux下nginx+tomcat+memcached集群(转)

泰山神

　　集群分为横向集群和纵向集群（纵向意思就是在一台服务器上 横向就是多台服务器 就这么个意思）
　　一、软件版本
nginx-0.7.65
apache-tomcat-6.0.26
jdk-6u20-linux-i586-rpm.bin
　　memcached-1.4.0.tar.gz
　　
　　二、结构图

　　三、内容服务器所有的代码都存放在内容服务器上，内容服务器提供文件共享，集群机通过cifs方式映射为web目录，这样便于统一管理和即时同步。
集群机对内容的共享详见三.3。
　　四、集群机的配置
　　1、Java环境安装（3台集群机都安装）
从java网站上下载jdk-6u20-linux-i586-rpm.bin，然后安装（默认安装在/usr/java/jdk1.6.0_20）：
./jdk-6u20-linux-i586-rpm.bin
　　然后编辑profile文件：
vi /etc/profile
　　加入以下内容：
export JAVA_HOME=/usr/java/jdk1.6.0_20
export JAVA_BIN=/usr/java/jdk1.6.0_20/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_OPTS="-server -Xms1024m -Xmx1024m -Xmn256m -XX:PermSize=256m-XX:MaxPermSize=256m"
保存后reboot
　　2、tomcat的配置
在其中一台集群机上配置。
1）下载
wget -c http://apache.etoak.com/tomcat/tomcat-6/v6.0.26/bin/apache-tomcat-6.0.26.tar.gz
2）解压
tar xvzf apache-tomcat-6.0.26.tar.gz
mv apache-tomcat-6.0.26 /usr/local/tomcat6
3）配置
打开tomcat6/conf/server.xml
　　找到Service段中的：
    <!--
    <Executor name="tomcatThreadPool"namePrefix="catalina-exec-"
        maxThreads="150"minSpareThreads="4"/>
    -->
去掉注释并修改为：
    <Executor name="tomcatThreadPool"namePrefix="catalina-exec-"
        maxThreads="500"minSpareThreads="50"/>
找到：
    <Connector port="8080"protocol="HTTP/1.1"
              connectionTimeout="20000"
              redirectPort="8443" />
修改为：
    <Connector executor="tomcatThreadPool"
              port="8080" protocol="HTTP/1.1"
              connectionTimeout="60000"
              redirectPort="8443" />
　　找到：
    <Connector port="8009"protocol="AJP/1.3" redirectPort="8443" />
修改为：
    <Connector port="8009"executor="tomcatThreadPool" protocol="AJP/1.3"enableLookups="false" connectionTimeout="60000"redirectPort="8443" />
　　找到：
<Engine name="Catalina" defaultHost="localhost">
修改为：
<Engine name="Catalina" defaultHost="localhost"jvmRoute="">
（另外两台集群机分别改为tomcat2、tomcat3）
　　在Engine段中加入以下部分：
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"channelSendOptions="6">
<ManagerclassName="org.apache.catalina.ha.session.BackupManager"expireSessionsOnShutdown="false"notifyListenersOnReplication="true" mapSendOptions="6"/>
    <Channel className="org.apache.catalina.tribes.group.GroupChannel">
       <MembershipclassName="org.apache.catalina.tribes.membership.McastService"mcastBindAddress="127.0.0.1" address="228.0.0.4"port="45564" frequency="500" dropTime="3000"/>
       <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"address="auto" port="5000" selectorTimeout="100"maxThreads="6"/>
       <SenderclassName="org.apache.catalina.tribes.transport.ReplicationTransmitter">
           <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
       </Sender>
       <InterceptorclassName="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
       <InterceptorclassName="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
       <InterceptorclassName="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
    </Channel>
    <ValveclassName="org.apache.catalina.ha.tcp.ReplicationValve"filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;.*\.xml;"/>
    <DeployerclassName="org.apache.catalina.ha.deploy.FarmWarDeployer"tempDir="/tmp/war-temp/" deployDir="/tmp/war-deploy/"watchDir="/tmp/war-listen/" watchEnabled="false"/>
    <ClusterListenerclassName="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
　　保存退出，至此，tomcat配置完毕，将此tomcat目录拷到另外两台集群机上，为了方便，我还是都放在/usr/local下的，保存配置一致。
　　3、web内容的共享
集群机需要将内容服务器提供的代码映射过来。
1）获得共享
vi /etc/fstab
加入下列内容
//192.168.0.14/web/mnt/web            cifs    username=web,password=123456 0 0
保存退出后执行：
mount /mnt/web
　　2）建立文件链接
首先要删除tomcat下默认的web目录
cd /usr/local/tomcat6/webapps
rm -rf ROOT
然后建立链接
ln -s /mnt/web ROOT
恩，代码已经从内容服务器上链接过来了。
　　3台集群机上均做上述相同操作，然后可以分别启动运行3台机子的tomcat了：
/usr/local/tomcat6/bin/startup.sh
　　五、负载均衡机的配置1、nginx的配置
在做负载均衡那台机子上操作。
1）下载
wget -c http://nginx.org/download/nginx-0.7.65.tar.gz
tar xvzf nginx-0.7.65.tar.gz
cd nginx-0.7.65
　　2）安装
最简安装模式，提示缺什么就先去安装什么，比如可能会提示你安装pcre、openssl之类的，这里不再详述。
./configure --prefix=/usr/local/nginx
make
make install
　　3）修改Nginx的配置文件：
　　vi /usr/local/nginx/conf/nginx.conf
　　将http段中的server段修改为如下：
　　upstream test.gnaiqeh.cn {
      server 192.168.0.11:8080 weight=1;
      server 192.168.0.12:8080 weight=1;
      server 192.168.0.13:8080 weight=1;
    }
　　server {
       listen       80;
        server_name test.gnaiqeh.cn;
　　#charset koi8-r;
　　#access_loglogs/host.access.log main;
　　location / {
           root   html;
            indexindex.jsp index.html index.htm;
           proxy_pass http://test.gnaiqeh.cn;
        }
保存后退出。
　　现在可以启动Ngnix了：
/etc/init.d/nginx start
　　六、测试运行
在web代码根目录放置测试文件test.jsp，代码部分内容为：
<%
Cookie[] cookies = request.getCookies();
if (cookies != null) {
for (int i = 0; i < cookies.length; i++){
    out.println(cookies.getName() + ":" +cookies.getValue());
}
}
%>
　　访问http://test.gnaiqeh.cn/test.jsp（你自己的域名），可以看到三台集群机在轮询相应。
　　黄色部分大体意思知道但具体的小弟就不怎么清楚了（这是摘自别处+自己的一些理解
　　原地址  http://hi.baidu.com/encodery/item/23fcc65edca7cc19da1635c0）
　　
　　下面是memcached
　　1、安装memcached服务端

#tar zxvf memcached-1.4.0.tar.gz
#cd memcached-1.4.0
#./configure
#make
#make install

测试memcached服务端是否安装成功：
ls -al/usr/local/bin/memcached
　　显示如下：
-rwxr-xr-x 1 root root 222925Dec 12 20:39 /usr/local/bin/memcached
这样就OK了，memcached服务端就安装成功了

2、启动memcached的服务端
#/usr/local/bin/memcached -d-m 128 -l 192.168.1.123 -p 11211 -u root -c 256(也可以启动多个memcached服务端，但端口不能相同)

-d选项是启动一个守护进程，

-m是分配给Memcache使用的内存数量，单位是MB，我这里是10MB，

-u是运行Memcache的用户，我这里是root，

-l是监听的服务器IP地址，如果有多个地址的话，我这里指定了服务器的IP地址192.168.1.123，

-p是设置Memcache监听的端口，我这里设置了11211，最好是1024以上的端口，

-c选项是最大运行的并发连接数，默认是1024，我这里设置了256，按照你服务器的负载量来设定，


3、如果要结束Memcache进程，执行：

#ps -ef|grep memcached

root     17911     1  0 20:54 ?       00:00:00 /usr/local/bin/memcached -d -m 128 -l 192.168.1.110 -p 11211 -uroot
root     17973    1  0 21:20 ?        00:00:00/usr/local/bin/memcached -d -m 128 -l 192.168.1.110 -p 8888 -u root
root     18006 5064  0 21:23 pts/0    00:00:00 grep memcached

#kill -9 17911 17973
　　这个就是安装没有什么  要注意的是你在用memcached服务时（声明memcached是linux下的一个分布式软件 要达到分布功能这要在客户端来实现了 具体什么原理可google下吧因为具体我也不太清楚^--^ ） 要有相对应的客服端支持    java就要导入相应的memecache的jar像c++、c#等等就不知道用什么了 说的有不对之处望各位大牛指教、批评   怕砖就不要了（共同学习O(&cap;_&cap;)O谢谢）