Hadoop深入学习：再谈MapReduce作业提交和执行

sweli

在本章中，我们将来重温一下和Hadoop的作业提交和执行流程。
        看下图，我们来比较详细的学习一下该流程：

        
        从上图中可以看出，分为4个阶段：
        Job作业提交
        1、 编写MapReduce job程序，通过命令行向Hadoop提交并开始执行作业：引用

        # hadoop  fs  -put  xxx.jar  /path      //或者使用hadoop  fs  -copyFromLocal  xxx.jar  /path 向copy文件
        # chown -R hadoop xxx.jar
        # chgrp -R hadoop xxx.jar
        # hadoop jar xxx.jar package.ClassName input_path output_path
        

        客户端实际上是通过JobClient的submitJobInternal提交作业的。
        2、本次运行，NameNode节点会首先检查用户权限和提交参数是否正确，通过后生成一个job，于是JobClient向JobTracker申请一个JobID用于标识这个job;
        3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中，这些资源包括Jar包、配置文件、InputSplit元数据信息等；
        4、JobClient通过调用submitJob()向JobTracker告知Job也准备好，提交这个Job；

        Job初始化
        5、JobTracker初始化Job，当JobTracker接收到客户端submitJob()方法，会将该作业提交到内部的作业调度队列，并做相关的初始化操作，如生成JobInProgress对象和Map或Reduce Task列表等；
        6、JobTracker通过JobID从HDFS获取这个Job的Split等信息；
        
        任务分配(Task Assignment)
        7、TaskTrackers节点周期性的通过心跳Heartbeat向JobTracker节点汇报自己的相关信息，如“自己”还活着、可以接受新任务等，然后然后JobTracker或根据一定的作业调度算法给TaskTrackers节点分配一个Map Task和Reduce Task任务；

        任务执行(Task Execution)
        8、TaskTracker节点在获得JobTracker指派给的任务后，会到中获取当前任务相关的资源；
        9、TaskTracker启动会给分配给自己的任务启动一个JVM；
        10、最后在新启动的JVM中开始执行Mapper或Reducer Task任务。