【原创】并发数优化--java+ssh+c3p0+tomcat+mysql+windows2008-64位
新项目开发完毕,到了项目部署,没得选也是我来弄了!最主要的问题:并发数!
这个所有客户数量较大的服务器都会遇到的问题。
虽然现在还没有解决,哈哈哈哈哈哈哈哈哈哈哈哈哈,但是记录下我现在所做的工作吧!
一、数据库
1,数据库:
数据库选择的是MySql 5.1,正常安装,未做优化,只是调整了最大连接数“max_connections=1000;”#此参数决定了Mysql对外提供的最大连接数;后来发现连接池控制的数据库连接,好多都是出于sleep状态,可能是回收不及时,所以又修改了 “wait_timeout=1” “interactive_timeout=1” 让数据库回收1S内无动作的所以连接。
相关设置:
show variables like '%%'; #查找MySql内部变量
show global variables like '%%'; #查看全局变量
show processlist; #查看当前连接数,具体信息状态
set global wait_timeout=12; #设置全局变量参数 此种设置方法,重启数据库后失效;
若想永久有效,需在my.ini内 添加:
interactive_timeout=1
wait_timeout=1
附带binlog开启方式:在my.ini下 配置binlog路径即可
log_bin="F:\Mysql-binlog\filename" #如有父文件夹,一定要确保父级目录存在,否则数据库无法启动!binlog基础
http://wenku.baidu.com/link?url=DxTYS6DNun3ipodN6rUhkIXwOXQfu3v7SDuBR0ZOa-dChSIK7qXj3TbNGoya6llZTh43YhHDX3RCmEBQ-tbljNnYZ3XaEu7X-UbTP7RKn3O
2,连接池:
现在使用的数据库连接池为c3p0(较为古老了,当时还有一个备选方案BoneCP,但是未能下载到组件),spring框架自带这个jar包(版本号为0.9.1)此版本有性能劣势建议更换为0.9.5版本(http://sourceforge.net/projects/c3p0/),配置时,替换applicationContext.xml 内的datesource(我的配置) 如下:
将下载的组件jar包复制到WEB-INF/lib文件夹下,并删除原c3p0 jar包"com.springsource.com.mchange.v2.c3p0-0.9.1.2.jar"否则启动tomcat时会报错!
具体配置参数详情:
3
30
1000
false
Test
false
100
null
false
60
3
60
15
100
3
root
password
select id from test where id=1
300
false
true
root
在Hibernate(spring管理)中的配置:
oracle.jdbc.driver.OracleDriver
jdbc:oracle:thin:@localhost:1521:Test
Kay
root
--取自百度百科
按照以上配置,有所缓解,并发数上升时还是会出现异常
java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.
**后:
查明,为我将连接池设置过高,外部tomcat线程数设置也很高,导致连接池爆掉,后续请求超时!此处设定应一点点尝试,不能操之过急,要看服务器性能!设置过低,瞬时值高的时候,也很容易让连接池爆掉。代码的健壮性也很有要求。
压测:登录接口(只查询一次数据库); 结果:30S 11746susceed, 0 failed;#本地测试
首页的展示接口:(有一条四表联合,及根据每一条结果再进行2~3次数据库查询;如获取15条数据,大概要进行30~45次的数据库查询);
此种情况,会让连接池瞬间爆掉,此时调低了mysql连接回收时间为1s,调高连接池最大容量;调高上限,是为了让新请求到达时,连接池能够继续获取连接并提供给该请求,调低回收时间,是为了能够及时回收sleep连接,让数据库的当前连接数不打破连接池(以及数据库)的最大连接数。但此种解决方案无疑是治标不治本,随着请求数量的上升,连接池终究不能提供足够的连接。
此时:1、从表设计入手,增加冗余字段来减少过多的查询。
2、此SQL语句里没有变量,把这个结果放到缓存中;或单独搞张表,写个crontab去更新。
3.hibernate框架
本次项目,采用hibernate作为持久层框架。使用hibernate是想利用它全自动的特性,加快开发速度,但也正是其自动拼接sql这一点导致执行效率上没有ibatis这种半自动的框架来的高效,尤其是并发数较高的情况下。下次会在此处着重考虑,不过hibernate还有着自身强大的优势的。
二、服务器
1、使用tomcat线程池
服务器为阿里云2核,2.5G win2008-64位。web服务器为tomcat7.0-64位(jdk1.7 也是64位版本)。tomcat有自己线程池,开启即可(默认注释,关闭状态)。
maxThreads="20"#最大线程数默认为 150;调整至20即可,过高会消耗较多内存。
**红色为添加部分,调用连接池来接受请求。
2、调整jvm内存
访问时常会报"Exception in thread "Tribes-MembershipReceiver" java.lang.OutOfMemoryError: Java heap space" 异常,为java 内存溢出,查阅资料为jvm内存不足。windows下,使用tomcat启动jvm,只需在~/tomcat/bin/catalina.bat中,echo Using CATALINA_BASE: "%CATALINA_BASE%" 上面添加set JAVA_OPTS=%JAVA_OPTS% -server -Xms512m -Xmx512m -XX:MaxNewSize=256m
注:此种修改方式,在7.0中生效,在6.0中不起作用;jvm内存可在http://localhost:2103/manager/status 下查看。此页面也可查看访问量,相应时间,失败数等信息。
还有一个值得注意的地方,如果内存调整过高,会无法启动并报 “Error occurred during initialization of VMCould not reserve enough space for object heap” 我机器的瓶颈是1600M (机器内存为16G)过高则无法启动;
调整机器的虚拟内存后,可以提升分配给jvm的内存。(若配置合理,内存并不是tomcat的瓶颈)有些东西,并不是越多越好的!
Thread stack size:128k #线程堆栈大小 每启动一条线程,分配给他的内存大小。看计算的深度,一般128k足以。
******************************************************************************************************************
1.问题的真正原因是,使用hibernate框架,但是运用其获得链接(connection中的session)执行自然sql语句查询,未关流(2B吧,当时有想到这个问题,但是调用session.close未果!后来找到原因为,取得session部分try/catch,由于域影响范围只在try/catch内,所以下文不能调用)!至于hibernate的hql查询,这个持久层框架已经帮我们做的很好了,不用我们来考虑。但如果你用到了原生sql请务必session.close!!!
2.解决后,链接池稳定运行,不会出现连接池崩溃的问题。但并发数不高,此时考虑代码因素。经查找为N*N查询(嵌套查询)问题,优化sql语句后得到大幅提升。
3.在大神的指点下,将服务器变更为linux系统,相关配置部署见:
页:
[1]