Hadoop Map/Reduce Overview

sol229

　　Hadoop MapReduce是一个软件框架(framwork)，这个架构的目的是方便程序员在大规模集群(可大到上千台结点)上处理超大规模数据(可多到数T)，而且MapReduce的可靠性和fault-tolerant特性都很好。
　　一个MapReduce job 会把输入数据分割成独立的若干块，这些数据块由map tasks并行处理。MapReduce framework把map task的输出进行排序，作为reduce task的输入。通常job的输入和输出都被保存在文件系统中。Framework负责调度，监控这些任务，而且会重复执行那些失败的task。
　　一般情况下，计算集群和存储集群是一样的，也就是说，MapReduce framework和HDFS是在同一批集群上运行的。这样配置能够让framwork在已经有数据的nodes上面调度tasks，这样使得集群的带宽得到很好的利用。
　　MapReduce框架由以下组件组成：single master JobTracker，加上集群的每个node上运行着一个slave TaskTracker。Master的职责是调度并监控那些在slave上运行的task，同时对于失败的task，还要尝试着重新执行。Slave只需要简单的执行master分配来的task既可。
　　应用程序至少要制定输入输出的路径，并且实现map和reduce接口/抽象类。还有一些其他的配置，组成了job configuration。然后Hadoop job client把job(可执行的jar包等等)提交，并且配置JobTracker使得它把jar包以及配置文件传到slave上去，并且调度和监控tasks。
　　尽管Hadoop框架是用JavaTM 实现的，但是MapReduce应用程序却不一定非得用Java写。

• Hadoop Streaming是一个MapReduce工具，它可以让使用者用任何可执行文件(例如shell)作为mapper/reducer来创建运行Jobs。
  
• Hadoop Pipes 是一套用C++实现的MapReduce API