python环境测试MySQLdb、DBUtil、sqlobject性能
首先介绍下MySQLdb、DBUtil、sqlobject：（1）MySQLdb 是用于Python连接Mysql数据库的接口，它实现了 Python 数据库 API 规范 V2.0，基于 MySQL C API 上建立的。除了MySQLdb外，python还可以通过oursql, PyMySQL, myconnpy等模块实现MySQL数据库操作；
（2）DBUtil中提供了几种连接池，用以提高数据库的访问性能，例如PooledDB,PesistentDB等
（3）sqlobject可以实现数据库ORM映射的第三方模块，可以以对象、实例的方式轻松操作数据库中记录。
为测试这三者的性能，简单做一个例子：50个并发访问4000条记录的单表，数据库记录如下：
测试代码如下：
1、MySQLdb的代码如下，其中在connDB()中把连接池相关代码暂时做了一个注释，去掉这个注释既可以使用连接池来创建数据库连接：
（1)DBOperator.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
import MySQLdb
from stockmining.stocks.setting import LoggerFactory
import connectionpool
class DBOperator(object):
def __init__(self):
self.logger = LoggerFactory.getLogger('DBOperator')
self.conn = None
def connDB(self):
self.conn=MySQLdb.connect(host="127.0.0.1",user="root",passwd="root",db="pystock",port=3307,charset="utf8")
#当需要使用连接池的时候开启
#self.conn=connectionpool.pool.connection()
return self.conn
def closeDB(self):
if(self.conn != None):
self.conn.close()
def execute(self, sql):
try:
if(self.conn != None):
cursor = self.conn.cursor()
else:
raise MySQLdb.Error('No connection')
n = cursor.execute(sql)
return n
except MySQLdb.Error,e:
self.logger.error("Mysql Error %d: %s" % (e.args, e.args))
def findBySQL(self, sql):
try:
if(self.conn != None):
cursor = self.conn.cursor()
else:
raise MySQLdb.Error('No connection')
cursor.execute(sql)
rows = cursor.fetchall()
return rows
except MySQLdb.Error,e:
self.logger.error("Mysql Error %d: %s" % (e.args, e.args))
（2)测试代码testMysql.py，做了50个并发，对获取到的数据库记录做了个简单遍历。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import threading
import time
import DBOperator
def run():
operator = DBOperator()
operator.connDB()
starttime = time.time()
sql = "select * from stock_cash_tencent"
peeps = operator.findBySQL(sql)
for r in peeps: pass
operator.closeDB()
endtime = time.time()
diff =(endtime - starttime)*1000
print diff
def test():
for i in range(50):
threading.Thread(target = run).start()
time.sleep(1)
if __name__ == '__main__':
test()
2、连接池相关代码：
（1）connectionpool.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
from DBUtils import PooledDB
import MySQLdb
import string
maxconn = 30 #最大连接数
mincached = 10 #最小空闲连接
maxcached = 20 #最大空闲连接
maxshared = 30 #最大共享连接
connstring="root#root#127.0.0.1#3307#pystock#utf8" #数据库地址
dbtype = "mysql"
def createConnectionPool(connstring, dbtype):
db_conn = connstring.split("#");
if dbtype=='mysql':
try:
pool = PooledDB.PooledDB(MySQLdb, user=db_conn,passwd=db_conn,host=db_conn,port=string.atoi(db_conn),db=db_conn,charset=db_conn, mincached=mincached,maxcached=maxcached,maxshared=maxshared,maxconnections=maxconn)
return pool
except Exception, e:
raise Exception,'conn datasource Excepts,%s!!!(%s).'%(db_conn,str(e))
return None
pool = createConnectionPool(connstring, dbtype)
3、sqlobject相关代码
（1）connection.py
1
2
3
4
from sqlobject.mysql import builder
conn = builder()(user='root', password='root',
host='127.0.0.1', db='pystock', port=3307, charset='utf8')
（2)StockCashTencent.py对应到数据库中的表，50个并发并作了一个简单的遍历。（实际上，如果不做遍历，只做count()计算，sqlobject性能是相当高的。）
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import sqlobject
import time
from connection import conn
import threading
class StockCashTencent(sqlobject.SQLObject):
_connection = conn
code = sqlobject.StringCol()
name = sqlobject.StringCol()
date = sqlobject.StringCol()
main_in_cash = sqlobject.FloatCol()
main_out_cash = sqlobject.FloatCol()
main_net_cash = sqlobject.FloatCol()
main_net_rate= sqlobject.FloatCol()
private_in_cash= sqlobject.FloatCol()
private_out_cash= sqlobject.FloatCol()
private_net_cash= sqlobject.FloatCol()
private_net_rate= sqlobject.FloatCol()
total_cash= sqlobject.FloatCol()
def test():
starttime = time.time()
query= StockCashTencent.select(True)
for result in query: pass
endtime = time.time()
diff =(endtime - starttime)*1000
print diff
if __name__ == '__main__':
for i in range(50):
threading.Thread(target = test).start()
time.sleep(1)
测试结果如下：
MySQLdb平均（毫秒）99.63999271
DBUtil平均（毫秒）97.07998276
sqlobject平均（毫秒）343.2999897
结论：其实就测试数据而言，MySQLdb单连接和DBUtil连接池的性能并没有很大的区别（100个并发下也相差无几），相反sqlobject虽然具有的编程上的便利性，但是却带来性能上的巨大不足，在实际中使用哪个模块就要斟酌而定了。
页:
[1]