hadoop上lzop的安装
lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop.所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。
安装lzo:
hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
hadoop@ubuntu:~/lzo-2.06$./configure--enable-shared
hadoop@ubuntu:~/lzo-2.06$ make &&sudo makeinstall
在32位系统机器内将安装后的库文件复制到/usr/lib目录下
hadoop@ubuntu:~/lzo-2.06$cp/usr/local/lib/liblzo2* /usr/lib
安装lzop:
hadoop@ubuntu:~$sudo apt-get install lzop
安装配置ant:
hadoop@ubuntu:~$sudo apt-get install ant
下载hadoop-lzo:
下载地址:https://github.com/toddlipcon/hadoop-lzo
解压压缩包，进入解压文件夹内，运行 ant package
如果报找不到hadoop相关类的错误，修改build.xml 中
修改hadoop配置：
把你编译的hadoop-lzo-0.4.15.jar（在build文件夹下)拷贝到 $HADOOP_HOME/lib下，同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下
修改core-site.xml
[*]
[*]mapred.compress.map.output
[*]true
[*]
[*]
[*]mapred.map.output.compression.codec
[*]com.hadoop.compression.lzo.LzoCodec
[*]
[*]
[*]io.compression.codecs
[*]org.apache.hadoop.io.compress.GzipCodec,
[*]org.apache.hadoop.io.compress.DefaultCodec,
[*]org.apache.hadoop.io.compress.BZip2Codec,
[*]com.hadoop.compression.lzo.LzoCodec,
[*]com.hadoop.compression.lzo.LzopCodec,
[*]org.apache.hadoop.io.compress.SnappyCodec
[*]
[*]
[*]io.compression.codec.lzo.class
[*]com.hadoop.compression.lzo.LzoCodec
[*]
然后重新运行hadoop,即安装成功。
页:
[1]