hadoop之MapReduce输入(split)输出

lihanchuan125

Split分割
在执行mapreduce之前，原始数据被分割成若干split，每个split作为一个map任务的输入，
在map执行过程中split会被分解成一个个记录（key-value对），map会依次处理每一个记录。
(Key:偏移量，不是行数)
FileInputFormat:
        FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat
        保存作为job输入的所有文件，并实现了对输入文件计算splits的方法。至于获得记录的
        方法是有不同的子类进行实现的；

        1) FileInputFormat只划分比HDFS block大的文件，所以FileInputFormat划分的结果是
           这个文件或者是这个文件中的一部分.               
        2) 如果一个文件的大小比block小，将不会被划分，这也是Hadoop处理大文件的效率要比
           处理很多小文件的效率高的原因。
        3) 当Hadoop处理很多小文件（文件大小小于hdfs block大小）的时候，由于FileInputFormat
          不会对小文件进行划分，所以每一个小文件都会被当做一个split并分配一个map任务，导致
          效率底下。
        例如：
             一个1G的文件，会被划分成16个64MB的split，并分配16个map任务处理，而10000个
             100kb的文件会被10000个map任务处理。

获得了输入文件后，FileInputFormat是怎样将他们划分成splits的呢？
input file -->split -->map task
计算SplitSize的函数很简单：
       splitSize = max(minsize,min(maxSize,blockSize)) = 64M;
       maxSize = mapred.max.split.size 默认最大值整数值
       minSize = mapred.min.split.size 默认0

那么我们如何处理同一行垮Split问题呢？

首先map任务getSplit读入一个split-->recordReader一行一行读取数据，如果有一行数据在
两个split中，map读入第一个split后，会去读取留在另一个split中的半行；然而另一个map
读入第二个split时，会自动跳过第一个换行符；

  //此方法每次只读取一行数据，key为偏移量，value为本行数据

public void map(Object key, Text value, Context context)
   throws IOException, InterruptedException {
        StringTokenizer itr = new StringTokenizer(value.toString());
        while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
   }
}            
分割成split（不支持的除外）比如：1G的文件切割成64M，放到一个map里面，如果不支持直接把1G
放到map里面
解释map方法中的（key偏移量-value对）：
abcdefghigklmnopqrstuvwxyz        key = 0     value=abcdefghigklmnopqrstuvwxyz  
abcdefghigklmnopqrstuvwxyz        key = 26   value=abcdefghigklmnopqrstuvwxyz  
abcdefghigklmnopqrstuvwxyz        key = 52   value=abcdefghigklmnopqrstuvwxyz