Hadoop实例练习（一）

sm702

　　实现目标：
　　
　　在对文档进行单词词频计算的同时，对输出结果按单词的词频进行排序
　　设计思路：
　　
　　用一个并行计算任务显然是无法同时完成单词词频统计和排序的。为什么无法同时完成呢？
　　想一下单词词频统计任务的MapReduce过程：
　　在Map阶段，Mapper将作为输入的n个文档分割为对应的n（或n个以上）个InputSplits，每个InputSplits分配给一个Mapper--> 调用RecordReader将每个InputSplits的每行解析成一个对，key为行号，value为每行的内容--> 调用用户填写的map()函数，对每个进行处理（相当于对文档中的每一行进行处理），把value转换为字符串，根据空格或其他字符进行切割，对每个切割好的单词形成对，key为该单词，value为1，输出到OutputCollector（Hadoop框架提供，专门用来负责收集Mapper和Reducer的输出结果）中-->若定义了combiner，将该Mapper的所有结果按key值（即单词）排序，把相同key值合并，作为Mapper最终的输出结果输出；
　　Partition根据Mapper的输出将所有key值相同的分配到一个Reducer；
　　Reducer阶段：对接收到的数据排序，按key值排序--> 调用用户输入的reduce()函数，合并相同key值得value然后输出。过程如下图所示：

　　上述过程中，在Mapper和Reducer阶段都有按key值（单词）排序的过程，所以在一个job中，要同时完成单词词频统计和按value值排序输出是不可能的，因为排好序后还是会被Mapper和Reducer中的排序过程打乱。
　　疑问：Partition分配数据时，相同key值得分配到一个Reducer中，有没大小限制？如果相同key值得数据很大很大呢？会不会分配到两个Reducer？所有相同key值得分配到一个Reducer，但一个Reducer中也可能有其他不同key值的？否则实验时得结果说不过去。
　　为了实现目标，可以分为两个job顺序执行，可以利用Hadoop的任务管道能力，用上一个任务（单词词频统计任务）的输出作为下一个任务（排序）的输入，顺序执行两个并行计算任务。
　　只需要利用Hadoop自身的排序过程既可以完成排序，问题是Hadoop是根据key值（单词）进行排序的，而我们需要以词频次数，即value值进行排序，所以可以直接使用InverseMapper类，该类的任务就是简单的将key和value值对调，所以只要在第二个job任务中将Mapper类设置为InverseMapper（已经实现好的）即可：
sortJob.setMapperClass(InverseMapper.class);　　无需指定Reducer类，Hadoop会使用默认的IdentityReducer类，直接输出中间结果；