设为首页 收藏本站
查看: 2281|回复: 0

[经验分享] .NET客户端实现Redis中的管道(PipeLine)与事物(Transactions)

[复制链接]

尚未签到

发表于 2017-12-20 15:33:47 | 显示全部楼层 |阅读模式
序言
  Redis中的管道(PipeLine)特性:简述一下就是,Redis如何从客户端一次发送多个命令,服务端到客户端如何一次性响应多个命令。
  Redis使用的是客户端-服务器模型和请求/响应协议的TCP服务器,这就意味着一个请求要有以下步骤才能完成:1、客户端向服务器发送查询命令,然后通常以阻塞的方式等待服务器相应。2、服务器处理查询命令,并将相应发送回客户端。这样便会通过网络连接,如果是本地回环接口那么就能特别迅速的响应,但是如果走外网,甚至外网再做一系列的层层转发,那就显的格外蛋疼。无论网络延时是多少,那么都将占用整体响应的时间。这样一来如果一次发送1个命令,网络延时为100ms,我们不得不做。那么如果1次发1000个命令,那么网络延时100*1000ms就很难容忍啦。
  针对与上面的问题,Redis在2.6版本以后就都提供啦管道(Pipeline)功能。他可以使客户端在没有读取旧的响应时,处理新的请求。这样便可以向服务器发送多个命令,而不必等待答复,直到最后一个步骤中读取答复。这被称为管线(PipeLine),并且是几十年来广泛使用的技术。例如,许多POP3协议实现已经支持此功能,大大加快了从服务器下载新电子邮件的过程。
  那么事务这个词汇,经常遇到,就不多唧唧啦,目标要一致就好,便是一组操作怎么做成原子性操作,使他去不了终点,回到原点。

简述wireshark抓包工具
  为啦让大家对管线有更形象的感观,这一节我们先说说Wireshark抓包工具,他会让你看到客户端到服务器通过tcp协议发送的redis命令的过程与详细。
  wireshark能够扑捉到系统发送和接受的每一个报文,我们这里只做一些过滤的简述。下图就是他的样子,你打开后可以可以摸索下他的用法。
DSC0000.png

  简述几个过滤规则:
  1、ip过滤:目标ip过滤:ip.dst==172.18.8.11,源ip地址过滤:ip.src==192.168.1.12;
  2、端口过滤:tcp.port==80,这条规则是把源端口和目的端口为80的都过滤出来。使用tcp.dstport==80只过滤目的端口为80的,tcp.srcport==80只过滤源端口为80的包;
  3、协议过滤:直接在fiter框中输入协议名称即可,如:http,tcp,udp,...
  4、http模式过滤:过滤get包,http.request.method=="GET",过滤post包,http.request.method=="POST";
  5、如果使用多条件过滤,则需要加连接符号,and。比如 ip.src==192.168.1.12 and http.request.method=="POST" and tcp.srcport==80

StackExchange.Redis实现Redis管线(Pipeline)
  上两张图片管线便一目了然啦。
  客户端对redis服务器进行多次请求的话,一般普通模式是这样子的
DSC0001.png

  客户端对redis服务器进行多次请求的话,管道模式是这样子的
DSC0002.png

  一般模式我们上代码:
  

public static void GetNoPipelining()  
{
  

for (var i = 0; i < 3; i++)  
{
  

var key = "name:" + i;  
db.StringAppend(key,
"张龙豪");  
}
  
}
  

DSC0003.png

  查看tcp请求报文的data
DSC0004.png

  这样你自己做的过程中,可以看到我圈起来的3个tcp请求的key分别为name:0,name:1,name:2这样子。
  那么我们使用管道模式
  

public static void GetPipelining()  
{
  

var batch = db.CreateBatch();  

for (int i = 0; i < 3; i++)  
{
  

var key = "mename:" + i;  
batch.StringAppendAsync(key,
"张龙豪");  
}
  
batch.Execute();
  
}
  

  再来看下请求
DSC0005.png

  这样很明显就能看出来是1个请求发送出来啦多个命令。那么我们不用createBatch()也是可以实现这样的效果的。
  

            var a = db.StringAppendAsync("zlh:1", "zhanglonghao1");  

var b = db.StringAppendAsync("zlh:2", "zhanglonghao2");  

var c = db.StringAppendAsync("zlh:3", "zhanglonghao3");  

var aa = db.Wait(a);  

var bb = db.Wait(a);  

var cc = db.Wait(a);  

  在接下来我们做一个简单的性能比较。代码如下:
  

  static void Main(string[] args)  
{
  
Stopwatch watch
= new Stopwatch();  
Stopwatch watch1
= new Stopwatch();  
watch.Start();
  
GetNoPipelining();
  
Console.WriteLine(
"一般循环耗时:" + watch.ElapsedMilliseconds);  
watch.Stop();
  
watch1.Start();
  
GetPipelining();
  
Console.WriteLine(
"Pipelining插入耗时:" + watch1.ElapsedMilliseconds);  
watch1.Stop();
  
Console.ReadLine();
  
}
  

  

public static void GetNoPipelining()  
{
  

for (var i = 0; i < 5000; i++)  
{
  

var key = "name:" + i;  
db.StringAppend(key,
"张龙豪");  
}
  
}
  

public static void GetPipelining()  
{
  

var batch = db.CreateBatch();  

for (int i = 0; i < 5000; i++)  
{
  

var key = "mename:" + i;  
batch.StringAppendAsync(key,
"张龙豪");  
}
  
batch.Execute();
  
}
  

  结果如下:
DSC0006.png

  到此我还要说一下StackExchange.Redis的三种命令模式,其中使用2和3的模式发送命令,会默认被封装在管道中,不信的话,你可以做个小demo测试下:
  1、sync:同步模式,会直接阻塞调用者,但不会阻塞其他线程。
  2、async:异步模式,使用task模型封装。
  3、fire-and-forget:发送命令,然后完全不关心最终什么时候完成命令操作。在Fire-and-Forget模式下,所有命令都会立即得到返回值,该值都是该返回值类型的默认值,比如操作返回类型是bool将会立即得到false,因为false = default(bool)。
  此节参考redis官方文档与StackExchange.Redis官方文档,连接如下:
  https://redis.io/topics/pipelining
  https://github.com/StackExchange/StackExchange.Redis/blob/master/Docs/PipelinesMultiplexers.md

StackExchange.Redis实现Redis事务(Transactions)
  这个看官方文档,我只能说实现的很奇怪吧。我先描述下我的环境,就是准备一个空redis库,然后一步一步往下走,我们写代码看结果,来搞一搞这个事务。
  

static void Main(string[] args)  
{
  

var tran = db.CreateTransaction();  
tran.AddCondition(Condition.ListIndexNotEqual(
"zlh:1",0,"zhanglonghao"));  
tran.ListRightPushAsync(
"zlh:1", "zhanglonghao");  

bool committed = tran.Execute();  
Console.WriteLine(committed);
  
Console.ReadLine();
  
}
  

  执行结果为:true。数据库中结果如下,说明我们插入成功。
DSC0007.png

  即:如果key为:zlh:1的list集合在索引0初的value!=zhanglonghao的话,我们从链表右侧插入一条数据key为zlh:1value为zhanglonghao,成功。因为第一次操作为空库。0处确实不为张龙豪。
  数据不清空,继续上代码。
  

static void Main(string[] args)  
{
  

var tran = db.CreateTransaction();  
tran.AddCondition(Condition.ListIndexNotEqual(
"zlh:1",0,"zhanglonghao"));  
tran.ListRightPushAsync(
"zlh:1", "zhanglonghao1");  

bool committed = tran.Execute();  
Console.WriteLine(committed);
  
Console.ReadLine();
  
}
  

  结果为false,数据库没有增减数据。已久与上图的数据保持一致。
  原因分析:0处此时为zhanglonghao,所以ListIndexNotEqual("zlh:1",0,"zhanglonghao")为假命题,直接回滚,不执行下面的插入命令。
  数据不清空,继续上代码:
  

static void Main(string[] args)  
{
  

var tran = db.CreateTransaction();  
tran.AddCondition(Condition.ListIndexEqual(
"zlh:1",0,"zhanglonghao"));  
tran.ListRightPushAsync(
"zlh:1", "zhanglonghao1");  

bool committed = tran.Execute();  
Console.WriteLine(committed);
  
Console.ReadLine();
  
}
  

  结果为true,数据结果如下,增长一条值为zhanglonghao1的数据:
DSC0008.png

  原因分析:ListIndexEqual("zlh:1",0,"zhanglonghao")为真命题,执行下面的操作,提交事物。
  数据不删继续上代码:
  

static void Main(string[] args)  
{
  

var tran = db.CreateTransaction();  
tran.AddCondition(Condition.ListIndexEqual(
"zlh:1",0,"zhanglonghao"));  
tran.ListRightPushAsync(
"zlh:1", "zhanglonghao2");  
tran.AddCondition(Condition.ListIndexNotEqual(
"zlh:1", 0, "zhanglonghao"));  
tran.ListRightPushAsync(
"zlh:1", "zhanglonghao3");  

bool committed = tran.Execute();  
Console.WriteLine(committed);
  
Console.ReadLine();
  
}
  

  结果为false,数据库数据已久与上面的保持一致,不增不减。
  分析原因:Condition.ListIndexEqual("zlh:1",0,"zhanglonghao")为true,但是到下面的ListIndexNotEqual("zlh:1", 0, "zhanglonghao")为false。故整个事物的操作回滚,不予执行,故数据库没有变化。
  到此,我就不写多余的代码啦,但我要说几个注意点:
  1、执行命令的操作需为异步操作。
  2、在事物中执行的命令,都不会直接看到结果,故此结果也不能用于下面代码做判断,因为当前的异步命令在Execute()之前是不会对数据库产生任何影响的。
  3、参考文档:https://github.com/StackExchange/StackExchange.Redis/blob/master/Docs/Transactions.md

总结
  接下来是大家最喜欢的总结内容啦,内容有二,如下:
  1、希望能关注我其他的文章。
  2、博客里面有没有很清楚的说明白,或者你有更好的方式,那么欢迎加入左上方的2个交流群,我们一起学习探讨。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-426090-1-1.html 上篇帖子: Redis中的数据结构与常用命令 下篇帖子: Redis的安装以及在项目中使用Redis的一些总结和体会
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表