hadoop使用lzo压缩文件笔记 (CDH3u1)

liukaida

hadoop使用lzo压缩文件笔记 (CDH3u1)  转自http://heipark.iyunv.com/blog/1172759
　　

博客分类：

• hadoop
  

LZO性能
　　

Compression
File
Size (GB)
Compression Time (s)
Decompression Time (s)
None
some_logs
8.0
-
-
Gzip
some_logs.gz
1.3
241
72
LZO
some_logs.lzo
2.0
55
35　　
　　

编译LZO
　　下载：
　　
　　http://www.oberhumer.com/opensource/lzo/download/
　　
　　wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
　　
　　安装：
　　tar -zxf lzo-2.06.tar.gz
　　cd lzo-2.06
　　./configure --enable-shared
　　make
　　make install
　　
　　安装ant并配置环境变量，这里略过
　　vi /etc/profile  
　　PATH=/usr/local/ant/bin/:$PATH
　　source /etc/profile
　　

编译hadoop lzo jar
　　下载源码
　　
　　https://github.com/kevinweil/hadoop-lzo
　　

解压缩、进入项目目录
　　略...

编译
　　# 32位OS
　　export JAVA_HOME=/path/to/32bit/jdk

export CFLAGS=-m32

export CXXFLAGS=-m32

ant compile-native
　　
　　# 64位OS

export JAVA_HOME=/path/to/64bit/jdk

export CFLAGS=-m64

export CXXFLAGS=-m64

ant compile-native tar
　　
　　成功编译后，打开build文件夹，hadoop-lzo*.jar就躺在里面。
　　

编译LZOP
　　简介：这个东西是使用lzo库写的一个程序，用它可以压缩、解压缩文件。
　　

下载
　　http://www.lzop.org/
　　
　　解压缩、进入项目目录（略过）

编译
　　./configure
　　make
　　make install
　　
　　PS：我在64bit机器上编译发现找不到 lzo 的库，执行下面命令后再编译就OK了。
　　export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
　　

try lzop
　　# 压缩文件
　　lzop 20110915.log #生成lzop 20110915.log.lzo文件
　　# 解压，并输出文件内容
　　lzop -cd pv.txt.lzo |more
　　

配置Hadoop
　　

Xml代码

• cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/  
  

cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/
　　
　　
　　

Xml代码

• sudo cp /usr/local/lib/*lzo* /usr/lib64/  
  

sudo cp /usr/local/lib/*lzo* /usr/lib64/
　　
　　

Xml代码

• # 如果之前使用过google code的lzo包，要删除   
  
• rm -f hadoop-gpl-compression-0.1.0-dev.jar  
  

# 如果之前使用过google code的lzo包，要删除
rm -f hadoop-gpl-compression-0.1.0-dev.jar
　　
　　

Xml代码

• > core-site.xml   
  
•   
  
•   <property>  
  
•     <name>io.compression.codecs</name>  
  
•     <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode
    
  
• c</value>  
  
•   </property>  
  
•   
  
•   <property>  
  
•     <name>io.compression.codec.lzo.class</name>  
  
•     <value>com.hadoop.compression.lzo.LzoCodec</value>  
  
•   </property>  
  

> core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode
c</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
　　
　　设置JAVA_LIBRARY_PATH，这里配置非常容易重要，易出错
　　
　　为了让JNI找到库文件需要配置JAVA_LIBRARY_PATH，我自己的方法是：
　　

cp kevinweil-hadoop-lzo-3d19b14/build /opt/hadoop/　　如果存在$HADOOP_HOME/build/native文件夹，hadoop命令会自动添加“${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib” 到$JAVA_LIBRARY_PATH中，这样做非常省事。
　　
　　

#单机运行生成lzo index文件

hadoop jar /opt/hadoop/lib/hadoop-lzo-0.4.13.jar com.hadoop.compression.lzo.LzoIndexer /pub/cc/20110616/18.log.lzo



#Mapreduce生成lzo index文件

hadoop jar /opt/hadoop/lib/hadoop-lzo-0.4.13.jar com.hadoop.compression.lzo.DistributedLzoIndexer /pub/cc/20110616/18.log.lzo　　
　　

Xml代码

• // mapreduce job使用lzo文件作为输入文件   
  
• job.setInputFormatClass(LzoTextInputFormat.class);  
  

// mapreduce job使用lzo文件作为输入文件
job.setInputFormatClass(LzoTextInputFormat.class);
　　
　　-- 配置结束 --
　　
　　
　　
　　PS: 下面是网上的配置JAVA_LIBRARY_PATH的方法，是不是我的方法更简单？哈哈~
　　

Xml代码

• #copy native文件到hadoop目录   
  
• tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native  
  

#copy native文件到hadoop目录
tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native


Xml代码

• > vi mapred-site.xml   
  
•   
  
•   <property>  
  
•     <name>mapred.child.env</name>  
  
•     <value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>  
  
•   </property>  
  

> vi mapred-site.xml
<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>
</property>
　　 PS.  如果上述方式设置的JAVA_LIBRARY_PATH没有生效（通过“ps -ef | grep tasktracker”查看），可能需要通过bin/hadoop设置JAVA_LIBRARY_PATH。
　　
　　
　　

Q & A：
　　Q：java.lang.RuntimeException: native-lzo library not available
　　A：原因一：sudo cp /usr/local/lib/*lzo* /usr/lib64/；
　　原因二：%$HADOOP_HOME/lib下有hadoop-gpl-compression-0.1.0-dev.jar，删除它
　　原因三：JAVA_LIBRARY_PATH配置错误。JNI通过这个环境变量查找库文件，通ps -ef | grep tasktracker，查看lzo的lib文件是否在这个环境变量中，要指向 native/Linux-amd64-64/lib文件，而不是 native/Linux-amd64-64文件夹。通过修改$HADOOP_HOME/bin/hadoop可以修改这个环境变量
　　
　　Q：lzo文件是不是生成索引之后才支持自动分片？
　　A：是的，如果不生成index则lzo文件会被作为一个input split处理。
　　
　　Q: 使用客户端提交job时，报如下错误：
　　
　　java.io.IOException: Codec for file hdfs://BGP-BJ-2-5N1:9000/pub/tencent/20110616/18.log.lzo not found, cannot run
　　at com.hadoop.mapreduce.LzoLineRecordReader.initialize(LzoLineRecordReader.java:97)
　　at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451)
　　at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646)
　　at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
　　at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
　　at java.security.AccessController.doPrivileged(Native Method)
　　at javax.security.auth.Subject.doAs(Subject.java:396)
　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)
　　at org.apache.hadoop.mapred.Child.main(Child.java:264)
　　
　　A：在代码中，或者配置文件中添加下面配置：
　　
　　

conf.set(&quot;io.compression.codecs&quot;, &quot;org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec&quot;);

conf.set(&quot;io.compression.codec.lzo.class&quot;, &quot;com.hadoop.compression.lzo.LzoCodec&quot;);　　
　　
　　参考文章：
　　http://share.blog.iyunv.com/278008/549393
　　http://www.tech126.com/hadoop-lzo/
　　http://www.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/