Hadoop（20）附录A.10 压缩格式LZOP编译安装配置

tythg

附录A.10 LZOP

LZOP是一种压缩解码器，在MapReduce中可以支持可分块的压缩。第5章中有一节介绍了如何应用LZOP。在这一节中，将介绍如何编译LZOP，在集群做相应配置。

A.10.1 获得更多的信息

表A.12 有用的资源

描述	URL地址
Twitter有关于LZOP的博客文章，包括一些统计信息和安装指南	http://bit.ly/dfEvGn
Todd Lipcon的LZO GitHub库。	https://github.com/toddlipcon/hadoop-lzo

A.10.2 编译LZOP

在具体步骤之前，需要注意一下几点：

LZOP的编译环境及硬件最好能够和最终部署的生产环境一致。

在每个需要使用LZOP的节点上都需要分别进行安装和配置，包括集群的数据节点。

在CDH发行版上安装Hadoop本地库

在Hadoop中运行LZOP依赖于本地库。首先需要设置本地库。这件事在CDH版本中很容易。脚本如下：

$ yum install hadoop-0.20-native.x86_64

以下是安装的结果：

$ rpm -ql hadoop-0.20-native-0.20.2+923.97-1

/usr/lib/hadoop-0.20/lib/native

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libhadoop.a

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libhadoop.la

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libhadoop.so

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libhadoop.so.1

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libhadoop.so.1.0.0

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libsnappy.a

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libsnappy.la

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libsnappy.so

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libsnappy.so.1

/usr/lib/hadoop-0.20/lib/native/Linux-amd64-64/libsnappy.so.1.1.1

在非CDN发行版上安装Hadoop本地库

如果用的是Apache的Hadoop发行版，它已经自带了Linux 32位和64位的本地库。文件位于$HADOOP_HOME/lib/native。对于其它的Hadoop发行版，请咨询供应商如何安装Hadoop本地库。也可以自行通过官方文档编译本地库。文档位于http://hadoop.apache.org/common/docs/r1.0.0/native_libraries.html。

安装LZOP本地库

使用LZOP必须安装LZOP本地库。在RedHat上，脚本如下：

$ yum install liblzo-devel

在CentOS上，必须从http://pkgs.repoforge.org/lzo/下载和操作系统版本架构匹配的lzo-devel的RPM包。

在Hadoop中编译，安装，配置LZOP库

有两个GitHub库维护LZOP库。Todd Lipcon维护一个基于CDH发行版的，在https://github.com/toddlipcon/hadoop-lzo。Twitter维护另一个，在https://github.com/kevinweil/hadoop-lzo。如果需要最新和最好的，用Twitter的那个版本。如果要在CDH发行版上应用，那么就需要Todd的那个版本。

源代码中包含了LZOP的本地库和JAVA库。在下载并解压缩tarball包之后，到相应的目录中编译代码可得到本地库和JAVA库。脚本如下：

$ ant package

在完成以后，将生成的库文件复制到Hadoop的库目录中。脚本如下：

# replace the following path with your actual

# Hadoop installation directory

#

# the following is the CDH Hadoop home dir

#

export HADOOP_HOME=/usr/lib/hadoop

$ cp ./build/hadoop-lzo-<version>.jar $HADOOP_HOME/lib/

$ cp -R build/hadoop-lzo-<version>/lib/native/* \

$HADOOP_HOME/lib/native/

配置Hadoop

下一步，需要配置Hadoop的内核，以加入对新的压缩编码器的支持。将一下行加入到core-site.xml中。CDH中core-site.xml的位置是/etc/hadoop/conf/core-site.xml。确保移出了其中的空行和空格。注意，在逗号之间没有白色字符。

其中，io.compression.codecs的值假定Snappy压缩编码器已经安装了。如果不是，那么就需要将org.apache.hadoop.io.compress.SnappyCodec删除。

<property>

    <name>mapred.compress.map.output</name>

    <value>true</value>

</property>

<property>

    <name>mapred.map.output.compression.codec</name>

    <value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

<property>

    <name>io.compression.codecs</name>

    <value>org.apache.hadoop.io.compress.GzipCodec,

    org.apache.hadoop.io.compress.DefaultCodec,

    org.apache.hadoop.io.compress.BZip2Codec,

    com.hadoop.compression.lzo.LzoCodec,

    com.hadoop.compression.lzo.LzopCodec,

    org.apache.hadoop.io.compress.SnappyCodec</value>

</property>

<property>

    <name>io.compression.codec.lzo.class</name>

    <value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

CDH发行版中/usr/lib/hadoop/bin/hadoop可以自动添加本地库目录到JVM的java.library.path中。但是，如果客户端的Hadoop代码不是用那个脚本运行的话，那么就需要手动添加以下脚本到JAVA的命令行中。注意引号和/usr之间没有空白字符。

-Djava.library.path=/usr/lib/hadoop/lib/native/Linux-amd64-64:/usr/lib64

然后bin/run.sh脚本就可以运行Hadoop脚本。它会将本地库目录加入到java.library.path中。