【大数据系列】hadoop核心组件

zhangbinmy

　　怎样将map task的输出结果有效的传送到reduce端，也就是说，Shuffle描述着数据从map task输出到reduce task输入的这段过程
1、在mapper和reducer中间的一个步骤
2、可以把mapper的输出按照某种key值重新切分和组合成n份，把key值符合某种范围的输出送到特定的reducer那里去处理。
3、 可以简化reducer过程

　　Partition的作用是根据key或value及reduce的数量来觉得当前的这对输出最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模。默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以订制并设置到job上。
4、每个map task都有一个内存缓冲区（默认是100MB），存储着map的输出结果。
　　当缓存区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘（spill）
　　溢写是由单独线程来完成，不影响往缓冲区写map的线程，溢写线程启动时不应该阻止map的结果输出，所以整个缓冲区有个溢写比的比例（spill.percent，默认是0.8），假如是100MB，溢写线程启动的时候锁定这80MB的内存，执行溢写过程，Map task的输出结果还可以往剩下的20MB内存中写，互不影响。
　　当溢写线程启动后，需要对这80MB空间的key做排序。

　　（Map端执行过程）
　　假如Client设置过Combiner,那么现在就是使用Combiner的时候了。将有相同key的key/value对的value加起来。减少溢写到磁盘的数据量（reducer1,word1,[9]）
　　当整个map task结束后再对次哦按中这个map task产生的所有临时文件做合并（Merge）,对于“word1”就是这样的：{“word1”,[5,8,2,…]},假如有Combiner,{word1[15],}最终产生一个文件。
　　Reduce从tasktracker copy数据

　　Copy过来的数据会先放入内存缓冲区中，这里的缓冲区大小要比map端的更为灵活，它基于JVM的heap>　　Merge有三种形式：1）内存到内存 2）内存到磁盘 3）磁盘到磁盘。Merge从不同的tasktracker上拿到的数据，{word1[15,17,2]}
　　Combiner会优化MapReduce的中间结果，Combiner的输出是Reducer的输入，Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。

　　（reducer端）
　　Copy过程，简单的拉取数据，Reduce进程启动一些数据copy线程（Fetcher）,通过HTTP方式请求map task所在的TaskTracker获取map task的输出文件。因为map task早已结束，这些文件就归TaskTracker管理在本地磁盘中。

　　Merge阶段，这里的merge如map端的merge动作，只是数组中存放的是不同map端copy来的数值。Copy过来的数据会先放入内存缓冲区中，这里的缓冲区大小要比map端的更为灵活，它基于JVM的heap>　　Reducer的输入文件，不断的merge后，最终会生成一个“最终文件”，这个文件可能在磁盘上，也可能在内存上，直接作为Rducer的输入，当Rueducer的输入文件已定，整个Shuffle才最终结束，然后就是Reducer执行，把结果放到HDFS上。