redis pipeline的使用
redispipeline的使用(2013-05-28 20:02:43)http://simg.sinajs.cn/blog7style/images/common/sg_trans.gif转载▼
标签：redis
pipeline
appendcommand
c语言
hiredis
it
分类：Technology
1、pipeline原理
redis是一个cs模式的tcp server，使用和HTTP类似的请求响应协议。通过ip+port的形式构建连接，发起请求命令。每个请求发出后client通常会阻塞并等待redis服务处理完毕返回响应。
原理清楚了，抱着提高效率的目的，我们自然会想一来一回、一来一回。类似
Req
Rsp
Req
Rsp
Req
Rsp
的形式，我们是否有改进提升的空间呢？明显是有的，特别是在连续多条命令不影响后续命令执行的情况下，我们可以采取多量少次的做法来减少网络交互与等待时间。也就是说可以改成类似下边的形式：
container
add Req
add Req
add Req
send
accept Rsp
这样一来，其实就可以看出至少节省了redis回传次数。如果add是在本地实现的话，那就直接从6次降到了2次了。（ps:这个我不是十分确定，有可能是在本地积累，有可能是在redis服务端积累）。O(∩_∩)O哈哈~，这就是redis pipeline（管道）的功用。批量执行命令，然后结果一次性返回。
2、实践
那到底使用之后性能提升如何呢？本次实践如下：
处理数据量（100000）（ps:和redis交互只是程序极小一部分，在此仅供对比使用）
HINCRBY逐条执行 程序耗时850+秒
利用pipeline 10000条执行一次 程序耗时600+秒
省时4分钟左右，占程序总时间大概30%左右
效果还是比较明显的
主体代码如下：
使用的客户端来自于Redis官方网站，是Redis推荐的基于C接口的客户端组件，见如下链接：https://github.com/antirez/hiredis
for(int i=0; i
{ <wbr><wbr></wbr></wbr>
<wbr><wbr><wbr><wbr>if (REDIS_OK != redisAppendCommand(temp_xx, command))</wbr></wbr></wbr></wbr>
<wbr><wbr><wbr><wbr>{ <wbr><wbr></wbr></wbr></wbr></wbr></wbr></wbr>
<wbr><wbr><wbr><wbr><wbr><wbr><wbr>WriteLog(":Can'tadd command to reids!\n");</wbr></wbr></wbr></wbr></wbr></wbr></wbr>
<wbr><wbr><wbr><wbr>}</wbr></wbr></wbr></wbr>
} <wbr><wbr><wbr><wbr><wbr><wbr></wbr></wbr></wbr></wbr></wbr></wbr>
if (REDIS_OK != redisGetReply(temp_xx, (void**)&temp_yy))
<wbr><wbr><wbr><wbr>WriteLog(":pipeline process to redis failed\n");</wbr></wbr></wbr></wbr>
其中temp_xx是redisContext，temp_yy是redisReply
3、误区
本次遇到问题具体原因我也没完全弄清楚，不过还是把它记录下来，当备忘吧。不知道是程序多线程原因还是本身pipeline与前后共用同一个redisContext会存在问题，我这次直接利用之前已存在的线程内全局redisContext时，会引发别处HGET返回结果内容出错。
用temp_xx和temp_yy（都是局部新建redisContext和redisReply）之后问题得到解决。我估计后者引发可能性更大些。
4、总结
（1）pipeline主要提升在与redis交互的网络延迟时间，对于多条命令不要求实时执行的情形而言，效果较为明显
（2）使用时最好注意一下pipeline执行的redisContext和redisReply（如果遇到诡异问题，可以尝试一下使用局部新建、独占两者进行处理的方式）
页:
[1]