使用Apache JMeter进行SQL优化性能测试

LOCKLOSE

一、 前言
　　最近在公司里做性能测试，对于一张大概400万数据的表，进行全表扫描往往会比较费时，更不要说有若干这样的表格级联进行检索了。为了能够在不影响生产环境的前提下进行SQL的性能优化，需要首先利用测试工具模拟多用户并发的场景进行性能测试，确认有效之后再在生产环境上线。本文主要解决以下几个问题：

• 没有LoadRunner的授权（太贵了），而且LoadRunner本身对初学者来说也太难了点。
  
• 需要优化的SQL查询语句有变量参数，而且需要在并发中处理。
  
• 用两种方式（SQL查询方式和HTTP方式）进行性能测试。
  

二、 测试环境说明

• JDK---需要安装1.4版本以上的，我用的是JDK 1.7版。
  
• Apache JMeter---用于执行性能测试。
  
• Oracle 10g数据库---用于承载测试用的数据。
  
• Oracle Instant Client 12c---用于SQL方式连接数据库的测试。
  
• Free Oracle Weblogic12c for Developers---用于HTTP方式连接数据库的测试。
  

　　下面首先介绍一下使用SQL方式进行测试的步骤。
三、 准备环境

• 首先需要有一个可以使用的Oracle数据库环境。
  
• 确认你的电脑是否已经安装了JDK，如果没有的话需要先安装一下。
  
• 下载Apache JMeter，解压缩之后就可以用了。
  
• 下载Oracle Instant Client 12c，解压缩之后，将ojdbc6.jar拷贝到JMeter目录下面的lib子目录下，这个是Oracle数据库的JDBC驱动。
  

　　到这里，用于SQL方式测试的环境就已经都搭建好了。
三、 准备测试数据库
1. 创建一个测试用的数据库
CREATE TABLE USER_INFO
(
user_name varchar(255),
address varchar(255),
)
　　在数据库中插入一些数据。
INSERT INTO USER_INFO(user_name, address) values('张三', '北京')
INSERT INTO USER_INFO(user_name, address) values('李四', '天津')
INSERT INTO USER_INFO(user_name, address) values('王二', '上海')
INSERT INTO USER_INFO(user_name, address) values('大胖', '重庆')
INSERT INTO USER_INFO(user_name, address) values('小黑', '海南')
2. 准备测试用的参数文件。
　　CSV文件的内容如下：
姓名,地址
张三,北京
李四,天津
王二,上海
大胖,重庆
小黑,海南
3. 在Windows的资源管理器中，进入JMeter的安装目录bin子目录下，运行jmeter.bat，即可打开jmeter的主界面。


4. 设置测试计划

• 在刚打开JMeter的时候，默认会存在两个节点：测试计划和工作台，点击“测试计划”，在右边的属性页面中，命名为“我的数据库测试计划”。
  
• 在“测试计划”属性页的最下面，可以设置jar包所在的路径，这里设置为"D:\apache-jmeter-2.10\lib"，这个是我的机器中JMeter的lib目录，在这个例子中，Oracle的jdbc驱动也已经拷贝到该目录下。
  

5. 创建线程组

• 右键单击左侧的“我的数据库测试计划”，在弹出菜单中选择：添加->Threads(Users)->线程组，就会创建一个新的线程组。
  
• 在右侧的属性界面中，将刚刚创建的线程组重命名为“SQL方式”。按照如下方式设置属性：
  
  
  
  • Number of Threads---一般我们用来表示多少个用户，即我们测试时的用户数量，这里设置为5。
    
  • Ramp-Up Period(in seconds)---表示每个用户启动的延迟时间。如果设置为5秒，表示系统将在5秒结束前启动我设置的5个用户；如果设置为10秒，那么系统将会在10秒结束前启动这5个用户，也就是启动用户的延迟为2秒； 如果我设置为0秒，则表示立即启动所有用户。这里设置为5。
    
  • Loop Count---请求发生的重复次数。如果选择后面的forever（默认），那么 请求将一直继续；如果不选择forever，而在输入框中输入数字，那么请求将重复指定的次数；如果输入1，那么请求将执行一次。这里设置为1。
    
  
  

6. 创建JDBC连接

• 右键单击左侧的“SQL方式”，在弹出的菜单中选择：添加->配置元件->JDBC Connection Configuration，就会创建一个新的JDBC连接。按照如下方式设置属性：
  
  
  
  • Variable Name---表示这个JDBC连接创建的连接池名字。这里设置为Oracle。
    
  • Validation Query---表示测试这个JDBC连接的语句。这里设置为“select 1 from dual”。
    
  • Database URL---JDBC连接字符串。因为我们要连接Oracle数据库，所以这里设置为“jdbc:oracle:thin:@10.2.11.17:1521:orcl”。
    
  • JDBC Driver class---JDBC驱动的类名。这里设置为“oracle.jdbc.driver.OracleDriver”。
    
  • Username---数据库用户名。
    
  • Password---密码。
    
  
  

7. 创建JDBC测试用例

• 右键单击左侧的“SQL方式”，在弹出的菜单中选择：添加->Sampler->JDBC Request，就会创建一个新的JDBC测试用例。按照如下方式设置属性：
  
  
  
  • Variable Name---使用的JDBC连接池名字。这里设置为Oracle。
    
  • Query Type---SQL查询的类型，因为我们在SQL查询语句中使用参数，所以这里选择“Prepared Select Statement”。
    
  • Query---SQL查询语句，这里设置为“select * from user_info where user_name=?”。
    
  • Parameter values---SQL查询的参数，我们通过在CSV文件中读取参数的方式，获得变量的值。因为我们只设置了5个并发用户，我们的CSV文件一共需要6行（第一行为标题，后面5行为数据）。然后我们使用CSVRead函数读取CSV文件的内容，这里设置为 ${__CSVRead(D:\download\c.csv,0)}其中的0表示CSV文件的第0列。如果我们的SQL查询语句有多个参数，可以在“Parameter values”中用逗号分隔继续写。例如： ${__CSVRead(D:\download\c.csv,0)},${__CSVRead(D:\download\c.csv,1)}
    
  • Parameter types---SQL查询参数的类型。这里设置为VARCHAR，如果有多个参数使用逗号分隔。
    
  
  

8. 添加监听器

• 右键单击左侧的“SQL方式”，在弹出的菜单中选择：添加->监听器->Aggregate Graph，可以看到总览的结果。
  
• 右键单击左侧的“SQL方式”，在弹出的菜单中选择：添加->监听器->查看结果树，可以看到每一次请求的详细信息，包括SQL语句、参数的内容、响应的结果、相应的时间等等。
  
• 右键单击左侧的“SQL方式”，在弹出的菜单中选择：添加->监听器->用表格查看结果，可以表格的方式查看性能测试的结果。
  
• 在菜单中选择：运行->启动，就会启动测试，等执行完毕之后，可以用这三个监听器查看一下测试的结果。
  
• 总览的结果
  

• 用结果树查看的结果
  

• 用表格查看的结果
  

9. 安装Oracle Free Weblogic 12c for dev

　　到Oracle公司网站下载一个免安装的Oracle Weblogic 12c for dev

• 首先解压缩这个zip的安装包，我是解压缩到了D:\weblogic-12120。
  
• 然后按windows键+R，打开“运行”窗口，输入cmd，回车后即可打开命令提示符窗口。输入如下命令：
  

D:
cd D:\weblogic-12120
set JAVA_HOME=C:\Program Files\Java\jdk1.7.0_21
set MW_HOME=D:\weblogic-12120
configure.cmd

　　此时Weblogic安装程序开始解压缩安装包，可以通过查看标题条了解进度。

• 解压缩完成之后，安装程序会自动设置好环境变量，并且提示是否需要配置一个新的域，输入“Y”进入下一步。
  

Do you want to configure a new domain? [Y/N] Y

• 输入Weblogic管理员的用户名，我一般用weblogic。
  

Enter username to boot WebLogic server:weblogic

• 输入Weblogic管理员的密码，我一般用weblogic123，这里要注意，如果输入纯数字的话可能会导致安装程序异常退出，原因是Weblogic管理员的密码必须既有字母也有数字。
  

Enter password to boot WebLogic server:

　　密码重复输入一遍之后就会创建一个默认的域：“mydomain”，路径在：D:\weblogic-12120\user_projects\domains\mydomain

　　而且安装程序会直接启动这个域，可以在命令行界面中看到“The server started in RUNNING mode.”，表示mydomain域已经启动。
10. 在Weblogic中配置JDBC数据源

• 用浏览器访问Weblogic管理界面：
  

http://localhost:7001/console

　　并且用weblogic/weblogic123登录，即可进入weblogic的管理界面。

• 在主页选择：域配置->数据源，进入数据源配置界面。
  

• 选择：新建->一般数据源，进入数据源创建页面。设置名称为：testdatasource，JNDI名称为：testdatasource，数据库类型为：Oracle。
  

• 点击下一步，选择数据库驱动，保留默认即可。
  

• 点击下一步，提示这个驱动的事务管理方式，直接再点击下一步，配置数据库连接的参数，相关参数设置如下：
  
  
  
  • 数据库名称---一般为数据库的SID或者Service_Name，我的设置为orcl。
    
  • 主机名---数据库服务器的主机名或者IP地址。
    
  • 数据库用户名---连接数据库所使用的用户名。
    
  • 口令---数据库用户的密码。
    
  
  

• 点击下一步，用“测试配置”的功能可以测试数据库连接是否正确，如果有问题则需要回到上一步修改数据库连接的参数。如果没有问题，点击“完成”就创建好了这个指向Oracle数据库的JDBC数据源。
  

• 然后需要将这个数据源部署到myserver中去，点击“testdatasource”，选择“目标”，然后选择“myserver”，点击“保存”，就将这个数据源部署到了myserver中。
  

11. 创建简单的JSP工程

• 在目录“D:\weblogic-12120\user_projects\domains\mydomain”下新建一个目录：webtest。
  
• 在webtest目录下创建一个WEB-INF的子目录，在子目录中创建web.xml文件，内容如下：
  

  
  
SQLTest  

• 在webtest目录下创建一个index.jsp文件，内容如下（注意使用UTF-8编辑）：
  

  
  







SQL Test



　　到这里我们已经完成了一个最简单的JSP Web应用程序。
12. 在Weblogic中部署Web应用程序

• 在Weblogic管理界面的主页中选择“部署”，进入部署管理界面.
  

• 点击“安装”，就会进入目录选择界面，选择刚才创建的webtest目录，然后点击“下一步”。
  

• 选择“将此部署安装为应用程序”，然后点击下一步。
  

• 设置web应用程序的属性，保留默认即可，点击完成，就完成了web应用程序的部署。这时，可以在部署中看到新增了一个Web应用程序---webtest
  

　　打开一个浏览器，地址栏输入http://localhost:7001/webtest/index.jsp?param1=张三
可以看到返回了正确的结果。
下面我们回到JMeter，开始创建HTTP方式的测试
13. 在JMeter中添加线程组

• 右键单击左侧的“我的数据库测试计划”，在弹出菜单中选择：添加->Threads(Users)->线程组，就会创建一个新的线程组。
  
• 在右侧的属性界面中，将刚刚创建的线程组重命名为“HTTP方式”。按照如下方式设置属性：
  
  
  
  • Number of Threads---设置为5。
    
  • Ramp-Up Period(in seconds)---设置为5。
    
  • Loop Count---设置为1。
    
  
  

14. 创建HTTP测试用例

• 右键单击左侧的“HTTP方式”，在弹出的菜单中选择：添加->Sampler->HTTP请求，就会创建一个新的HTTP测试用例。按照如下方式设置属性：
  
  
  
  • 服务器名称或IP---设置Weblogic服务器的IP地址。这里设置为localhost。
    
  • 端口号---设置Weblogic应用监听的端口。这里设置为7001。
    
  • 路径---测试用例所使用的Web页面路径，这里我们使用刚刚创建的index.jsp，设置为/webtest/index.jsp。
    
  • 同请求一起发送的参数---可以指定用GET或POST方式向Web应用程序发送参数，这里我们点击“添加”，就会增加一行，名称设置为param1，值设置为${__CSVRead(D:\download\c.csv,0)}
    
  
  

15. 添加监听器

• 右键单击左侧的“HTTP方式”，在弹出的菜单中选择：添加->监听器->Aggregate Graph，可以看到总览的结果。
  
• 右键单击左侧的“HTTP方式”，在弹出的菜单中选择：添加->监听器->查看结果树，可以看到每一次请求的详细信息，包括参数的内容、响应的结果、相应的时间等等。
  
• 右键单击左侧的“HTTP方式”，在弹出的菜单中选择：添加->监听器->用表格查看结果，可以表格的方式查看性能测试的结果。
  
• 在菜单中选择：运行->启动，就会启动测试，等执行完毕之后，可以用这三个监听器查看一下测试的结果。
  

16. 结束语

　　完毕