Hadoop2中启用snappy

322e

Snappy是一个压缩/解压缩库。它的压缩率并非最高，但是它在保证一定压缩率情况下，压缩及解压缩速度非常快。基于以上特点，Snappy非常适合用于Hadoop MapReduce中间数据压缩。Snappy详情参见：http://code.google.com/p/snappy/。 本文将介绍如何在Hadoop2中启用Snappy压缩。

1、下载Snappy的rpm包：

http://www.rpmfind.net/linux/rpm2html/search.php?query=snappy

根据不同操作系统选择不同的版本，如x86_64 RetHat Linux选择snappy-1.0.5-1.el5.x86_64



2、安装snappy

$ sudo rpm -ivh snappy-1.0.5-1.el5.x86_64.rpm



3、找到libsnappy.so*所在位置

$ rpm -ql snappy-1.0.5-1.el5



4、将libsnappy.so.*拷贝到${HADOOP_HOME}/lib/native目录下。

如果自己维护了一套Hadoop2版本，最好将libsnappy.so.*放到hadoop-dist/lib/native目录下，并hack下hadoop-dist/pom.xml文件，使得打包时将hadoop-diste/lib/native/*拷贝到最终的lib/native目录下。


5、重启NodeManager即可。


如果MR作业要启用中间数据Snappy压缩，则需要增加如下配置：

<property>  
   <name>mapreduce.map.output.compress</name>  
    <value>true</value>  
</property>  

<property>  
    <name>mapreduce.map.output.compress.codec</name>  
    <value>org.apache.hadoop.io.compress.SnappyCodec</value>  
</property>