设为首页 收藏本站
查看: 735|回复: 0

[经验分享] hadoop_rpc调用之client(2)

[复制链接]

尚未签到

发表于 2016-12-12 06:54:59 | 显示全部楼层 |阅读模式
主要的几个类说明:

  • 1.Call,表示一次rpc的调用请求
  • 2.Connection,表示一个client与server之间的连接,一个连接一个线程启动
  • 3.ConnectionId:连接的标记(包括server地址,协议,其他一些连接的配置项信息)
  • 4.ParallelCall:实现并行调用的请求
  • 5.ParallelResults:并行调用的执行结果

执行逻辑:
1

  • .当要执行一个调用时,将call放到connectin的map中;同时将请求发送到connection的输出流中,之后返回,并不一直持有connection并等待结果,所以是异步的处理过程;
  • 2.connection自身线程不停从server读取请求返回,服务器返回的结果中包含请求的id,因此根据id从map中找到对应的call,从而设置call的调用结果;

可以看到,client的端的调用是很简单。
可以简单的来看一下代码:
public Writable call(Writable param, ConnectionId remoteId),此方法是调用入口,代码分析:
/**
* 创建一个call,并得到连接,之后在连接中保存call,之后向连接的输出流写入请求
* 并返回, 底层使用的是oio(即blocking io),采用什么样的io与异步消息机制没有
* 必然联系.
**/
Call call = new Call(param);
Connection connection = getConnection(remoteId, call);
connection.sendParam(call);  
// 接口是同步的,异步变同步的操作再这里
synchronized (call) {
while (!call.done) {
try {
call.wait();                           // wait for the result
} catch (InterruptedException ie) {
// save the fact that we were interrupted
interrupted = true;
}
}
……
}

对应的,可以看到Connection类的receiveResponse方法里处理从server里读到的结果:
        int id = in.readInt();                    // try to read an id
Call call = calls.get(id);
Writable value = ReflectionUtils.newInstance(valueClass, conf);
value.readFields(in);                 // read value
call.setValue(value);
calls.remove(id);
Call调用setValue方式,会执行notify操作.
备注:

  • 1.一个Client会对应多个Connection,并且会对这些Connection进行缓存;
  • 2.一个Connection对应一个线程,这主要是内网中调用,节点之间的连接量应该不会太多(我想太多时,估计一个连接一个线程时就有问题了)
  • 3.当出现异常时,直接关闭连接,并处理没有返回结果的call
  • 4.Connection中保存Call的调用,使用的是一个HashTable,没有进行数量限制,若服务器阻塞后,Call会积累,感觉这个时候是有问题的。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-312829-1-1.html 上篇帖子: 设置hadoop只执行map任务 下篇帖子: hadoop+hbase异常
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表