hadoop上lzop的安装

lb5645284

　　lzop是开源的压缩算法框架。具体的介绍这里不再赘述，请去网上搜索。本文书写如何在ubuntu上安装lzop.
　　所需软件：gcc、g++，Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。
　　安装lzo:
　　hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
　　hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
　　
   hadoop@ubuntu:~/lzo-2.06$./configure  --enable-shared
　　
   hadoop@ubuntu:~/lzo-2.06$ make &&sudo make  install
　　在32位系统机器内将安装后的库文件复制到/usr/lib目录下
　　hadoop@ubuntu:~/lzo-2.06$cp  /usr/local/lib/liblzo2* /usr/lib
　　安装lzop:
　　hadoop@ubuntu:~$sudo apt-get install lzop
　　安装配置ant:
　　hadoop@ubuntu:~$sudo apt-get install ant
　　下载hadoop-lzo:
　　下载地址:https://github.com/toddlipcon/hadoop-lzo
　　解压压缩包，进入解压文件夹内，运行 ant package
　　如果报找不到hadoop相关类的错误，修改build.xml 中

　　　　修改hadoop配置：
　　把你编译的hadoop-lzo-0.4.15.jar（在build文件夹下)拷贝到 $HADOOP_HOME/lib下，同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下
　　修改core-site.xml
　　

• 
  
• mapred.compress.map.output
  
• true
  
• 
  
• 
  
• mapred.map.output.compression.codec
  
• com.hadoop.compression.lzo.LzoCodec
  
• 
  
• 
  
• io.compression.codecs
  
• org.apache.hadoop.io.compress.GzipCodec,
  
• org.apache.hadoop.io.compress.DefaultCodec,
  
• org.apache.hadoop.io.compress.BZip2Codec,
  
• com.hadoop.compression.lzo.LzoCodec,
  
• com.hadoop.compression.lzo.LzopCodec,
  
• org.apache.hadoop.io.compress.SnappyCodec
  
• 
  
• 
  
• io.compression.codec.lzo.class
  
• com.hadoop.compression.lzo.LzoCodec
  
• 
  

　　

　　然后重新运行hadoop,即安装成功。