设为首页 收藏本站
查看: 1238|回复: 0

hadoop源码研读之路(六)----RPC的Client端和Server端

[复制链接]

尚未签到

发表于 2015-11-11 11:20:52 | 显示全部楼层 |阅读模式
  既然是RPC,就一定有Client端和Server端,
  如果进行一次HDFS的读写,其中一个DataNode需要跟NameNode建立连接,也需要和其他的DataNode建立连接,那么每一个Client需要维护多个连接。同时为了减少不必要的连接,Client的做法是拿Connectionid来作为Connection的ID。
  


  RPC Client的结构
  Client.ConnectionId:到RPC Server对象连接的标识(IP地址+端口号或者主机名+端口号)
  Client.Call:Call调用的信息。
  Client.ParallelResults:Call响应
  RPC.Invoker:对InvocationHandler的实现,提供inovke方法,实现RPC.Client对RPC.Server对象的调用。
  RPC.Invocation:用来序列化和反序列化RPC.Client的调用信息(主要跟前面讲的动态代理和Java反射机制有关)
  


  RPC Client主要流程
  每一个Call都是由RPC.Client发起的
  1.RPC Client 发起RPC Call.通过Java反射机制转化为对Client.call调用
  2.调用getConnection得到与RPC Server的连接,每一个RPC Client 都维护一个HashMap结构的到RPC Server的连接池
  3.通过Connection将序列化后的参数发送到RPC服务器端
  4.阻塞方式等待RPC服务端返回响应
  


  在IPC下面,Server类是个抽象类,唯一抽象的地方是:
  public abstract Writable call(Class<?> protocol, Writable param, long receiveTime)throws IOException;

这表示Server类提供了一个框架,Server具体的功能需要具体类来实现
  RPC Server的结构:
  Server.Listener:RPC Server的监听者,用来接收RPC Client的连接请求和数据,其中将数据封装成CALL后PUSH到Call队列中
  Server.Handler:RPC Server响应者,Server.Handler按照异步非阻塞的方式向RPC Client发送相应,如果有没有未发出的数据,交由Server.Responder来处理
  Server.Connection:RPC Server数据的接受者,提供接受数据,解析数据包的功能,
  Server.Call:持有客户端的Call信息
  RPC Server的主要流程
  RPC Server作为服务的提供者主要有两部分组成:接收Call调用和处理Call调用
  接收Call调用负责接收来自RPC Client的调用请求,编码成Call对象放入到Call队列中,这个过程由Server.Listener来完成,
  1.Lintener线程监听RPC Client发过来的数据
  2.当有数据可以接收时,调用Connection的readAndProcess方法
  3.Connection对边接收过来的数据边处理,当接收到一个完整的Call包,则构建一个Call对象,PUSH到Call队列中,PUSH到Call队列中,有Handler来处理Call队列中的所有Call,处理完的Call调用负责处理Call队列中的每一个调用请求,有Handler线程来完成。
  1.Handler线程监听Call队列,如果Call队列非空,案FIFO规则从Call队列中取出Call
  2.将Call交给RPC.Server来处理
  3.借助 JDK提供的Method.完成对目标方法的调用,目标方案由具体的业务逻辑实现
  4.返回相应,Server.Handler按照异步非阻塞方式向RPC Client发送响应,如果有没有发送出的数据,则交由Server.Responder来完成
  完整的交互过程如下
DSC0000.jpg

版权声明:本文为博主原创文章,未经博主允许不得转载。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-137841-1-1.html 上篇帖子: hadoop程序在windows上访问hdfs的问题 下篇帖子: 使用hadoop过程中两次datanode无法启动问题
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表