Hadoop实战之四~hadoop作业调度详解(2)

jydg

　　这篇文章将接着上一篇wordcount的例子，抽象出最简单的过程，一探MapReduce的运算过程中，其系统调度到底是如何运作的。
　　
情况一：数据和运算分开的情况
　　wordcount这个例子的是hadoop的helloworld程序，作用就是统计每个单词出现的次数而已。其过程是：

　　现在我用文字再来描述下这个过程。
　　1　　Client提交一个作业，将Mapreduce程序和数据到HDFS中
　　2　　发起作业，Hadoop根据各机器空闲情况，调度一台（或者N台taskTracker机器，进行Map运算）
　　3　　taskTacker机器将程序和数据拷贝到自己机器上。
　　4　　taskTacker机器启动jvm，进行Map运算
　　5　　taskTacker机器运算完成，将数据存储在本机上，并通知JobTacker节点。
　　6　　JobTacker等待所有机器完成，调度一台空闲的机器，进行Reduce运算，并告知数据存储所在机器。
　　7　　进行Reduce运算的TaskTacker将数据通过RPC拷贝到自己机器上，同时将程序从HDFS中拷贝到自己机器中。
　　8　　启动JVM，加载程序，进行Reduce运算。
　　9 　 运算完成，reduce运算的机器将数据存储在HDFS中，并通知JobTacker。
　　10　JobTacker发现任务完成，通知客户端，你的事干完了。
　　11   客户端通过访问HDFS，拿到最终运算数据。
　　为什么Map中间数据会存储本机上而不是HDFS上呢，原因是因为中间的运算可能会失败，如果失败了也没有必要存储在HDFS上，JobTacker会选择另外一台机器完成任务即可。只有最终数据才是有价值的。
情况二：数据和节点在一起的情况
　　真实的情况当然不是情况一，原因是因为： 移动运算比移动数据更经济. 在Hadoop中，往往同一台机器既是DataNode，也是TaskTraker。Hadoop在调度过程中，会优先调度数据所在的机器进行运算，这样数据就不会在机器之间Copy来Copy去，网络带宽就不会成为运算的瓶颈了。这个例子的示意图如下：
　　
　　
　　这张图结合上面的描述，我相信大家应该很容易就看懂了。那既然Hadoop的实际过程是情况二，我为什么要先描述情况一呢？原因有两点：
　　1　　情况一更容易理解。
　　2　　情况一更容易实现。
　　
　　如何根据Hadoop的调度原理，写自己的的集群调度框架，这是我最近在思索和践行的一个事情，有兴趣的同学其实也可以自己写一个，大家多多交流~