【原创】并发数优化--java+ssh+c3p0+tomcat+mysql+windows2008-64位

新项目开发完毕,到了项目部署,没得选也是我来弄了!

最主要的问题:并发数!

这个所有客户数量较大的服务器都会遇到的问题。

虽然现在还没有解决,哈哈哈哈哈哈哈哈哈哈哈哈哈,但是记录下我现在所做的工作吧!

一、数据库

1,数据库:

数据库选择的是MySql 5.1,正常安装,未做优化,只是调整了最大连接数“max_connections=1000;”#此参数决定了Mysql对外提供的最大连接数;后来发现连接池控制的数据库连接,好多都是出于sleep状态,可能是回收不及时,所以又修改了 “wait_timeout=1” “interactive_timeout=1” 让数据库回收1S内无动作的所以连接。

相关设置:

show variables like '%%'; #查找MySql内部变量

show global variables like '%%'; #查看全局变量

show processlist; #查看当前连接数,具体信息状态

set global wait_timeout=12; #设置全局变量参数 此种设置方法,重启数据库后失效;

若想永久有效,需在my.ini内 添加:      

[mysqld]

interactive_timeout=1

wait_timeout=1

附带binlog开启方式:在my.ini下 配置binlog路径即可

log_bin="F:\Mysql-binlog\filename" #如有父文件夹,一定要确保父级目录存在,否则数据库无法启动!binlog基础

http://wenku.baidu.com/link?url=DxTYS6DNun3ipodN6rUhkIXwOXQfu3v7SDuBR0ZOa-dChSIK7qXj3TbNGoya6llZTh43YhHDX3RCmEBQ-tbljNnYZ3XaEu7X-UbTP7RKn3O

2,连接池:

现在使用的数据库连接池为c3p0(较为古老了,当时还有一个备选方案BoneCP,但是未能下载到组件),spring框架自带这个jar包(版本号为0.9.1)此版本有性能劣势建议更换为0.9.5版本(http://sourceforge.net/projects/c3p0/),配置时,替换applicationContext.xml 内的 datesource(我的配置) 如下:

<bean >
   <property name="driverClass" value="com.mysql.jdbc.Driver" />
   <property name="jdbcUrl"  alue="jdbc:mysql://localhost:3306/*%¥#¥@"/>
   <property name="user" value="&%#¥" />
   <property name="password" value="@&¥……" />
   <property name="minPoolSize" value="3" />
   <property name="maxPoolSize" value="50"/>  
   <property name="initialPoolSize" value="3"/>
   <property name="maxIdleTime" value="2"/>
   <property name="acquireIncrement" value="5"/>
  
   <property name="acquireRetryAttempts" value="3"/>
   <property name="acquireRetryDelay" value="60"/>
   <property name="checkoutTimeout" value="300"/>
   <!-- spring -->
</bean>

将下载的组件jar包复制到WEB-INF/lib文件夹下,并删除原c3p0 jar包"com.springsource.com.mchange.v2.c3p0-0.9.1.2.jar"否则启动tomcat时会报错!

具体配置参数详情:

<c3p0-config>
<default-config>
<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 -->
<property name="acquireIncrement">3</property>
<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 -->
<property name="acquireRetryAttempts">30</property>
<!--两次连接中间隔时间,单位毫秒。Default: 1000 -->
<property name="acquireRetryDelay">1000</property>
<!--连接关闭时默认将所有未提交的操作回滚。Default: false -->
<property name="autoCommitOnClose">false</property>
<!--c3p0将建一张名为Test的空表,并使用其自带的查询语句进行测试。如果定义了这个参数那么
属性preferredTestQuery将被忽略。你不能在这张Test表上进行任何操作,它将只供c3p0测试
使用。Default: null-->
<property name="automaticTestTable">Test</property>
<!--获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效
保留,并在下次调用getConnection()的时候继续尝试获取连接。如果设为true,那么在尝试
获取连接失败后该数据源将申明已断开并永久关闭。Default: false-->
<property name="breakAfterAcquireFailure">false</property>
<!--当连接池用完时客户端调用getConnection()后等待获取新连接的时间,超时后将抛出
SQLException,如设为0则无限期等待。单位毫秒。Default: 0 -->
<property name="checkoutTimeout">100</property>
<!--通过实现ConnectionTester或QueryConnectionTester的类来测试连接。类名需制定全路径。
Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester-->
<property name="connectionTesterClassName"></property>
<!--指定c3p0 libraries的路径,如果(通常都是这样)在本地即可获得那么无需设置,默认null即可
Default: null-->
<property name="factoryClassLocation">null</property>
<!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs.
(文档原文)作者强烈建议不使用的一个属性-->
<property name="forceIgnoreUnresolvedTransactions">false</property>
<!--每60秒检查所有连接池中的空闲连接。Default: 0 -->
<property name="idleConnectionTestPeriod">60</property>
<!--初始化时获取三个连接,取值应在minPoolSize与maxPoolSize之间。Default: 3 -->
<property name="initialPoolSize">3</property>
<!--最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 -->
<property name="maxIdleTime">60</property>
<!--连接池中保留的最大连接数。Default: 15 -->
<property name="maxPoolSize">15</property>
<!--JDBC的标准参数,用以控制数据源内加载的PreparedStatements数量。但由于预缓存的statements
属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。
如果maxStatements与maxStatementsPerConnection均为0,则缓存被关闭。Default: 0-->
<property name="maxStatements">100</property>
<!--maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 -->
<property name="maxStatementsPerConnection"></property>
<!--c3p0是异步操作的,缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能
通过多线程实现多个操作同时被执行。Default: 3-->
<property name="numHelperThreads">3</property>
<!--当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0
的数据源时。Default: null-->
<property name="overrideDefaultUser">root</property>
<!--与overrideDefaultUser参数对应使用的一个参数。Default: null-->
<property name="overrideDefaultPassword">password</property>
<!--密码。Default: null-->
<property name="password"></property>
<!--定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意:
测试的表必须在初始数据源的时候就存在。Default: null-->
<property name="preferredTestQuery">select id from test where id=1</property>
<!--用户修改系统配置参数执行前最多等待300秒。Default: 300 -->
<property name="propertyCycle">300</property>
<!--因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的
时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable
等方法来提升连接测试的性能。Default: false -->
<property name="testConnectionOnCheckout">false</property>
<!--如果设为true那么在取得连接的同时将校验连接的有效性。Default: false -->
<property name="testConnectionOnCheckin">true</property>
<!--用户名。Default: null-->
<property name="user">root</property>
在Hibernate(spring管理)中的配置:
<bean >
<property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property>
<property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property>
<property name="user"><value>Kay</value></property>
<property name="password"><value>root</value></property>
<!--连接池中保留的最小连接数。-->
<property name="minPoolSize" value="10" />
<!--连接池中保留的最大连接数。Default: 15 -->
<property name="maxPoolSize" value="100" />
<!--最大空闲时间,1800秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 -->
<property name="maxIdleTime" value="1800" />
<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 -->
<property name="acquireIncrement" value="3" />
<property name="maxStatements" value="1000" />
<property name="initialPoolSize" value="10" />
<!--每60秒检查所有连接池中的空闲连接。Default: 0 -->
<property name="idleConnectionTestPeriod" value="60" />
<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 -->
<property name="acquireRetryAttempts" value="30" />
<property name="breakAfterAcquireFailure" value="true" />
<property name="testConnectionOnCheckout" value="false" />
</bean>                              
--取自百度百科

按照以上配置,有所缓解,并发数上升时还是会出现异常

java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.

**后:

查明,为我将连接池设置过高,外部tomcat线程数设置也很高,导致连接池爆掉,后续请求超时!此处设定应一点点尝试,不能操之过急,要看服务器性能!设置过低,瞬时值高的时候,也很容易让连接池爆掉。代码的健壮性也很有要求。

压测:登录接口(只查询一次数据库); 结果:30S 11746susceed, 0 failed;#本地测试

首页的展示接口:(有一条四表联合,及根据每一条结果再进行2~3次数据库查询;如获取15条数据,大概要进行30~45次的数据库查询);

此种情况,会让连接池瞬间爆掉,此时调低了mysql连接回收时间为1s,调高连接池最大容量;调高上限,是为了让新请求到达时,连接池能够继续获取连接并提供给该请求,调低回收时间,是为了能够及时回收sleep连接,让数据库的当前连接数不打破连接池(以及数据库)的最大连接数。但此种解决方案无疑是治标不治本,随着请求数量的上升,连接池终究不能提供足够的连接。

此时:1、从表设计入手,增加冗余字段来减少过多的查询。

2、此SQL语句里没有变量,把这个结果放到缓存中;或单独搞张表,写个crontab去更新。

3.hibernate框架

本次项目,采用hibernate作为持久层框架。使用hibernate是想利用它全自动的特性,加快开发速度,但也正是其自动拼接sql这一点导致执行效率上没有ibatis这种半自动的框架来的高效,尤其是并发数较高的情况下。下次会在此处着重考虑,不过hibernate还有着自身强大的优势的。

二、服务器

1、使用tomcat线程池

服务器为阿里云2核,2.5G win2008-64位。web服务器为tomcat7.0-64位(jdk1.7 也是64位版本)。tomcat有自己线程池,开启即可(默认注释,关闭状态)。

 <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" 
        maxThreads="20" minSpareThreads="4"/>

maxThreads="20"#最大线程数默认为 150;调整至20即可,过高会消耗较多内存。

<Connector port="8001" protocol="HTTP/1.1" executor="tomcatThreadPool"
               connectionTimeout="20000"/>

**红色为添加部分,调用连接池来接受请求。

2、调整jvm内存

访问时常会报"Exception in thread "Tribes-MembershipReceiver" java.lang.OutOfMemoryError: Java heap space" 异常,为java 内存溢出,查阅资料为jvm内存不足。windows下,使用tomcat启动jvm,只需在~/tomcat/bin/catalina.bat中,echo Using CATALINA_BASE: "%CATALINA_BASE%" 上面添加set JAVA_OPTS=%JAVA_OPTS% -server -Xms512m -Xmx512m -XX:MaxNewSize=256m

注:此种修改方式,在7.0中生效,在6.0中不起作用;jvm内存可在http://localhost:2103/manager/status 下查看。此页面也可查看访问量,相应时间,失败数等信息。

还有一个值得注意的地方,如果内存调整过高,会无法启动并报 “Error occurred during initialization of VMCould not reserve enough space for object heap” 我机器的瓶颈是1600M (机器内存为16G)过高则无法启动;

调整机器的虚拟内存后,可以提升分配给jvm的内存。(若配置合理,内存并不是tomcat的瓶颈)有些东西,并不是越多越好的!

Thread stack size:128k #线程堆栈大小 每启动一条线程,分配给他的内存大小。看计算的深度,一般128k足以。

******************************************************************************************************************

1.问题的真正原因是,使用hibernate框架,但是运用其获得链接(connection中的session)执行自然sql语句查询,未关流(2B吧,当时有想到这个问题,但是调用session.close未果!后来找到原因为,取得session部分try/catch,由于域影响范围只在try/catch内,所以下文不能调用)!至于hibernate的hql查询,这个持久层框架已经帮我们做的很好了,不用我们来考虑。但如果你用到了原生sql请务必session.close!!!

2.解决后,链接池稳定运行,不会出现连接池崩溃的问题。但并发数不高,此时考虑代码因素。经查找为N*N查询(嵌套查询)问题,优化sql语句后得到大幅提升。

3.在大神的指点下,将服务器变更为linux系统,相关配置部署见: