安装hadoop-lzo

skypaladin

最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。


操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4


安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖


配置lzo的文件：core-site.xml、mapred-site.xml











大致步骤：



1）安装和更新gcc、ant

2）在各个节点安装lzo

3）安装lzo编码/解码器

4）修改配置文件，并同步各节点的配置文件

注：没有特别指出的话，所有操作都是在Namenode中进行的




一、lzo安装：

1、gcc的安装：yum即可，记得同时更新lib*、glibc*、gcc*

2、ant的安装：

删除旧版本：yum remove ant

安装新版本：

• wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz
  
• tar-jxvfapache-ant-1.8.2-bin.tar.bz2
  

添加ant的环境变量：

• vi/etc/profile
  
• exportANT_HOME=/usr/local/apache-ant-1.8.2
  
• exportPATH=$PATH:$ANT_HOME/bin
  
• 
  
• source/etc/profile使配置文件生效
  

3、lzo的安装：

• wgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
  
• tar-zxvflzo-2.04.tar.gz
  
• cd lzo-2.04
  
• ./configure--enable-shared
  
• make&&makeinstall
  

库文件被默认安装到了/usr/local/lib，我们需要进一步指定lzo库文件的路径，两个方法都可以：

1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台）

2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件，写入lzo库文件的路径，然后运行/sbin/ldconfig -v，使配置生效

4、在各个节点安装lzo：

这句话本可以一笔带过，但我把它单独列出作为一步，就是要提醒大家：Namenode和Datanode都要安装lzo！

所需软件包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm。

注：两个lzo rpm文件是需要的，特别是lzop工具会需要这两个文件，后面会提到。注意32位系统和64位系统要下载相应的rpm版本！

安装过程：略

调整库文件路径：略

5、lzo编码/解码器的安装：

这里必须要说明：如果hadoop是cloudera版的，那么lzo编码/解码器就不要用google官方的那个！到这里下载：https://github.com/kevinweil/hadoop-lzo。我曾经被官方那个东西郁闷了很久，搜索了大量资料，最后搞明白。

• wgethttps://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz
  
• tar-zxvfkevinweil-hadoop-lzo-2ad6654.tar.gz
  
• 
  cdkevinweil-hadoop-lzo-2ad6654
  
• antcompile-nativetar
  

注意：若是64位系统，可能还需要在上面代码的最后一行的前面加上export CFLAGS=-m64！

编译失败：

• make:***[impl/lzo/LzoCompressor.lo]Error1
  

解决方法参考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1

我这里是由于缺少lzo-devel依赖的原因，lzo-devel有lzo- 2.04-1.el5.rf的依赖：

• wgethttp://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm
  
• wgethttp://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm
  
• rpm-ivhlzo-2.04-1.el5.rf.i386.rpm
  
• rpm-ivhlzo-devel-2.04-1.el5.rf.i386.rpm
  

注意：上面下载的是32位的lzo-devel，若系统为64位，则需要下载64位的lzo-devel。下载地址：http://packages.sw.be/lzo/

重新ant compile-native tar，编译成功！

编译成功后，还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下，拷贝操作请参考google的官方文档：

• cpbuild/hadoop-lzo-0.4.10.jar/home/hadoop/hadoop-0.20.2-CDH3B4/lib/
  
• 
  tar-cBf--Cbuild/native.|tar-xBvf--C/home/hadoop/hadoop-0.20.2-CDH3B4/lib/native
  
• cd/home/hadoop/hadoop-0.20.2-CDH3B4/lib/
  
• chown-Rhdfs:hadoopnative/
  

6、同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录

这里有一点要说明，由于某种原因，我把它们也拷贝到了hbase的相应目录下，但我认为其实是不需要拷贝的。

当初在集群内测试lzo时，遇到了问题，我以为hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目录，就把它们拷贝到了hbase。后来问题解决，发现不是hbase的原因，但我最终没有在hbase里删除它们。所以，是否有必要把它们也拷贝到hbase，有待于大家亲自测试。

二、配置lzo：

1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性：

vi core-site.xml：

• <property>
  
• <name>io.compression.codecs</name>
  
• <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
  
• </property>
  
• 
  
• <property>
  
• <name>io.compression.codec.lzo.class</name>
  
• <value>com.hadoop.compression.lzo.LzoCodec</value>
  
• </property>
  

vi mapred-site.xml：

• <property>
  
• <name>mapreduce.map.output.compress</name>
  
• <value>true</value>
  
• </property>
  
• 
  
• <property>
  
• <name>mapred.child.env</name>
  
• <value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value>
  
• </property>
  
• 
  
• <property>
  
• <name>mapreduce.map.output.compress.codec</name>
  
• <value>com.hadoop.compression.lzo.LzoCodec</value>
  
• </property>
  

2、同步各节点的配置文件！



三、hadoop集群内测试lzo：

首先，安装lzop，生成一些lzo文件，然后上传到hdfs，供我们的开发人员在hive中直接调用。

lzop所需要的两个rpm文件前面已经安装，现在只要安装lzop就可以了：

• wgethttp://www.lzop.org/download/lzop-1.03.tar.gz
  
• tar-zxvflzop-1.03
  
• cdlzop-1.03
  
• exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  
• ./configure
  
• make&&makeinstall
  

要说明的是，在指定LD_LIBRARY_PATH时，我没有使用官方帮助文档中的写法，因为那个写法在编译时老出错，不知什么原因。


使用lzop压缩文档并上传到hdfs:

• lzop-U-966_22_2011-04-14.txt
  
• $HADOOP_HOME/bin/hadoopfs-copyFromLocal/home/hdfs/66_22_2011-04-14.txt.lzo/user/s3/ifocus
  

开发人员在Hive中直接调用这个lzo文件时出错：

• Failedwithexceptionjava.io.IOException:java.lang.RuntimeException:native-lzolibrarynotavailable
  

这个错误，困住了我整整两天！试了各种方法都不行，期间的辛苦自不必待言，直到我看到一个网页：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。（注：访问该网页需要用代理。万恶的网络管制！）


页面的最下方，有这样一句话：So, I just deleted the hadoop-gpl-compression and everything started working.于是，我删除了$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jar，终于，everything
is OK！

所以，如果你也像我一样，做了所有该做的事情，但是调用lzo时还是会出现native-lzo library not available的错误，请检查你的$HADOOP_HOME/lib目录下是否有google官方的那个lzo编码/解码器！


---------------------------------------------------

2011-05-16修订：


hbase中还是需要有lzo的native library的。


我重新部署了一次Hadoop，在hive中直接调用lzo文件，又出现native-lzo library not found的错误。于是我手动复制$KEVINWEIL_HOME/build/native/Linux-amd64-64/lib目录下的所有文件到hadoop的native/Linux-amd64-64目录，以及hbase的native/Linux-amd64-64目录，问题解决！


这次复制文件时，没有使用官方文档提供的tar方式，直接cp：

• cdkevinweil-hadoop-lzo-2ad6654/build/native/Linux-amd64-64/lib
  
• cp*$HADOOP_HOME/lib/native/Linux-amd64-64
  
• cp*$HBASE_HOME/lib/native/Linux-amd64-64
  

重启hadoop即可！