Redis、MongoDB、ZODB速度比较（小数据量）

分析家

　　

刚才用100kb的小文本文件，用1000次循环，在我的本本上，对redis(via redis-py)，mongodb(via py-mongo)和ZODB(Zope的数据库,OODB，直接使用key-value模式，没有依附其他数据结构)进行了小规模写入和读取测试。
发现一些结果，有些有点意外：
逐次写入：
也就是

for record in file:
db.insert(record)
db.save()
Mongodb没有强制将数据写入硬盘的函数，忽略。
ZODB没有异步模式，只能对每一条record调用一次commit，用了50秒。
Redis出奇地使用了约2分钟之多，我想是因为Redis的同步save设计还没不成熟的原因。（update：经过查阅文章，发现redis的save是以快照模式进行的，这就能解释为什么redis在逐次写入，同步保存情况下，如此耗时了。 http://redis.io/topics/persistence）
连续写入
也就是

for record in file:
db.insert(record)
db.save()  # if exists
MongoDB和Redis两个都耗时一秒左右，MongoDB速度比Redis稍稍慢个零点几秒，考虑到Mongodb和Redis默认都是使用异步模式，速度相差不大，算是意料之中。
ZODB没有异步写入的方法，忽略。
读取
无索引情况下，ZODB是0.1x，Mongodb是1秒多，Redis是0.3秒。
有索引/缓存情况下，ZODB（在同一进程中对同一对象进行多次读取）是0.004秒；MongoDB仍是1秒多，比原来快了零点几秒；Redis是直接key-value，没有缓存，pass。
暂时总结
Redis的写入情况和MongoDB相似，但Redis的读取速度比MongoDB稍快。
MongoDB的索引似乎效果不大。
ZODB的读取速度惊人，秒杀MongoDB和Redis，但没有异步写入是它的硬伤，可尝试以扬长避短，考虑将它用在“读取多，写入小”的情况下。
详细数据


环境 Linux mypad 2.6.39-ARCH #1 SMP PREEMPT Tue Jun 7 05:49:02 UTC 2011 i686 Intel(R) Core(TM)2 Duo CPU T6570 @ 2.10GHz GenuineIntel GNU/Linux
条件，100kb文件，循环写入/读取1000次，每个测试方法是分开运行的，比如 python -m unittest testFile.TestCase.testMethod && python -m unittest ...
 
Zodb，同步，第一个是写入时间，第二个是无内存缓存的查询，第二个是有内存缓存的查询。
Ran 1 test in 50.151s
Ran 1 test in 0.038s
Ran 1 test in 0.003s
 
mongodb 异步，第一个是写入时间，第二个是无索引查询，第三个是建立索引的时间，第四个是带索引的查询
Ran 1 test in 1.450s
Ran 1 test in 1.159s
Ran 1 test in 0.002s
Ran 1 test in 1.137s
 
redis，默认设置（不带save或bgsave），后面是查询时间
Ran 1 test in 1.002s
Ran 1 test in 0.296s
redis,在所有数据写入之后调用save，后面是查询时间
Ran 1 test in 1.287s
Ran 1 test in 0.299s
redis，在所有数据写入之后调用bgsave，后面是查询时间
Ran 1 test in 1.004s
Ran 1 test in 0.323s