[大牛翻译系列]Hadoop（15）MapReduce 性能调优：优化MapReduce的用户JAVA代码

ningleesherry

6.4.5 优化MapReduce用户JAVA代码
　　MapReduce执行代码的方式和普通JAVA应用不同。这是由于MapReduce框架为了能够高效地处理海量数据，需要成百万次调用map和reduce函数。每次调用仅用较少时间。那么就不能用普通的经验来预测常见库（含JDK）的性能表现。

进一步阅读 　　Joshua Bloch的《Effective Java》中有很多如何调优JAVA代码的方法

　　在技术45中介绍如何用分析器（profiler）查找MapReduce代码中消耗时间的地方。这里要用同样的技术来确定一下代码中的潜在问题。
　　



1 public void map(LongWritable key, Text value,
2                 OutputCollector output,
3                 Reporter reporter) throws IOException {
4                 
5     String[] parts = value.toString().split("\\.");
6     Text outputValue = new Text(parts[0]);
7     output.collect(key, outputValue);
8 }
　　
　　在这部分中将介绍前面章节介绍过的两个影响代码性能的问题（正则表达式和缺乏代码重用），以及一些常见的方法。
　　
　　正则表达式
　　正则表达式有非常丰富灵活的特性。然而灵活性意味着性能下降。有的时候，性能会降低到不可接受的地步。那么，作为一般准则，就应该在MapReduce中避免使用正则表达式。如果非用不可，也应该尽量寻找替代方法。
　　
　　字符串令牌化（TOKENIZATION）
　　JAVA的文档推荐使用String.split和Scanner类来实现字符串令牌化。实际上，它们都是基于正则表达式，在MapReduce中会很慢。然后，就要考虑用JAVA文档不推荐的StringTokenizer。但是，StringTokenizer的算法性能也不是最优。Apache commons中的StringUtils类效率要更好。如图6.42所示。
　　

　　
　　这个性能测试是在如下环境中完成：JDK 1.6.0_29，OS X，四核2.7GHz CPU。
　　
　　对象重用
　　第二个消耗CPU时间的是类似如下的代码：
　　



Text outputValue = new Text(parts[0]);
　　
　　由于这段代码在每个键值对都要执行一次，就要执行成千上万次。代码就会在对象分配上浪费大量的时间。对象分配在JAVA中是非常昂贵的，包含创建时调用CPU，销毁时调用垃圾收集器。如果能够重用，将节约大量的时间。以下代码介绍如何达到最大重用率：



1 Text outputValue = new Text();
2
3 public void map(LongWritable key, Text value,
4                 OutputCollector output,
5                 Reporter reporter) throws IOException {
6     String[] parts = StringUtils.split(value.toString(), "."));
7     outputValue.set(parts[0]);
8     output.collect(key, outputValue);
9 }
　　
　　在Hadoop中，当reduce将数据填充到值迭代器的时候，应用了对象重用。这个特性对缓存机制有潜在影响。在reduce中缓存值对象的数据的时候，需要克隆这个对象。实现代码如下：
　　



1 public static class Reduce extends Reducer {
2
3     @Override
4     public void reduce(Text key, Iterable values, Context context)
5                         throws IOException, InterruptedException {
6                        
7         List cached = new ArrayList();
8         for (Text value : values) {
9             cached.add(WritableUtils.clone(value, context.getConfiguration()));
10         }
11     }
12 }
　　
　　字符串连接
　　JAVA中有一个非常古老的规则，就是应当避免使用加号来进行字符串连接。代码如下：



1 String results = a + b;
　　
　　用加号连接字符串需要调用StringBuffer类。StringBuffer类是同步类，会降低执行的效能。近来，加号连接字符串有的情况下会调用StringBuilder类，一个非同步类。但这并不代表加号可以放心使用。当字符串长度大于16的时候，就很难说。具体参考http://goo.gl/9NGe8。最安全的方法就是使用StringBuilder类，并预先分配足够的空间，以防空间不足导致的空间再分配。
　　
　　对象的内存资源消耗
　　在map和reduce任务中，常常需要缓存数据，例如第4章中的map端连接技术。然而，在JAVA中缓存数据成本高昂。首先来了解一下字符类和数组的内存资源消耗情况。预估一下下面这段代码的资源消耗。



1 ArrayList strings = new ArrayList();
2 strings.add("a");
3 string.add("b");
　　
　　以下是对字符串数组列表的内存资源消耗的计算：

• 每个JAVA对象占用8字节作为基础开支。数组列表对象最开始申请8个字节。
  
• 数组列表对象包括一个整形原始字段占用4个字节。
  
• 数组列表使用对象数组存储数据。每个引用字段占用4字节。
  
• 每个对象占用内存字节数必须是8的倍数。以上内存占用总计为16字节。不需要凑整。
  

　　在没有存储任何数据的时候，数组列表已经占用了24字节。
　　接下来看数组列表中的对象数组的内存占用。

• 一个数组需要12字节作为基础开支。在8个字节外，它还需要4字节来存储数组的大小。
  
• 数组中的每个元素需要4字节来存储对象引用。两个元素一共8字节。
  
• 因为每个对象的内存字节数必须是8的倍数。上述字节数之和为20，凑整得到24。
  

　　那么现在数组列表占24字节，对象数组站24字节。最后需要理解字符串的内存占用，如下所示：
　　字符串内存占用字节数=（字符个数x2)+38
　　同样需要去整得到8的倍数。那么每个字符串占用40字节。最后存储了两个字符串的数组列表的内存占用是128字节。
　　这里进行这么详细计算的目的是建立对在JAVA中缓存数据的敏感性。在MapReduce中也一样，能够精确计算需要缓存数据的内存消耗是非常有益的。JAVA的内存使用详情可见：http://goo.gl/V8sZi。