hadoop，hive启用lzo压缩和创建lzo索引

kaiser_cn

　　启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。
　　不过lzo不比gzip和bzip2是linux系统原生支持的，需要下载软件包并安装。这里至少涉及三个软件包。lzo，lzop和hadoop-gpl-packaging。我们是使用hadoop-gpl-packaging，或者也可以使用一个叫kevinweil的包。
　　gpl-packaging的作用主要是对压缩的lzo文件创建索引，否则的话，无论你的压缩文件是否大于HDFS的block大小，都只会按默认启动2个map操作，这是我们不愿意看到的事情。
　　当然，要启用lzo，以下这些操作每个节点都是需要做的。
　　下载编译lzo和lzop，这个就configure,make,make install就行了。
　　然后 http://code.google.com/p/hadoop-gpl-packing/downloads/list 下载最新的rpm包，并安装，安装完成会创建/opt/hadoopgpl文件夹。
　　接下来是具体步骤：
　　1. 将/opt/hadoopgpl/lib下的所有文件复制到/usr/lib和/usr/lib64。
　　2. 将/opt/hadoopgpl/native下的所有文件复制到/usr/share/hadoop/native，如果是tar包安装的hadoop，就复制到$HADOOP_HOME/lib下。
　　理论上是不需要这步的，但是在使用过程中发现省略了会在mr的过程中报错，通常就是报找不到lzo的jar包。
　　然后开始设置hadoop：
　　core-site.xml
　　

• 
  
•   io.compression.codecs
  
•   org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec
  
• 
  
• 
  
•   io.compression.codec.lzo.class
  
•   com.hadoop.compression.lzo.LzoCodec
  
• 
  

　　

　　使用lzo，lzop，gzip，bzip2压缩作为io压缩的编解码器，并指定lzo的类
　　mapred-site.xml
　　

• 
  
•   mapred.compress.map.output
  
•   true
  
• 
  
• 
  
•   mapred.map.output.compression.codec
  
•   com.hadoop.compression.lzo.LzoCodec
  
• 
  
• 
  
•   mapred.child.java.opts
  
•   -Djava.library.path=/opt/hadoopgpl/native/Linux-amd64-64
  
• 
  

　　

　　map结果采用压缩输出，可以降低网络带宽的使用，并指定map输出所使用的lzo的类。以及指定编解码器所在位置。
　　创建lzo索引：
　　

• hadoop jar /opt/hadoopgpl/lib/hadoop-lzo.jar com.hadoop.compression.lzo.LzoIndexer /data/rawlog/your_log_file.lzo
  

　　

　　在streaming中使用lzo：
　　

• hadoop jar /usr/share/hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar \
  
• -file map.py \
  
• -file red.py \
  
• -mapper map.py \
  
• -reducer red.py \
  
• -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat \
  
• -input /data/rawlog/test/20130325 -output /tmp/test_20130325
  

　　

　　----------------------------------------------------------
　　以及在hive中指定压缩编解码器：
　　hadoop集群启用了压缩，就需要在Hive建表的时候指定压缩时所使用的编解码器，否则Hive无法正确读取数据。
　　Gzip和Bzip2由于是hadoop默认支持的，所以无需指定特殊的编解码器，只要指定Text类型即可。
　　

• CREATE EXTERNAL TABLE adpv_20130325(
  
•   stat_date string,
  
•   stat_hour string,
  
•   ip string,
  
•   logdate string,
  
•   uid string,
  
•   ver string,
  
•   pid string,
  
•   chid string,
  
•   json string,
  
•   country string,
  
•   province string,
  
•   city string,
  
•   isp string)
  
• ROW FORMAT DELIMITED
  
•   FIELDS TERMINATED BY '\t'
  
• STORED AS TEXTFILE
  
• LOCATION
  
•   'hdfs://hadoopmaster:9000/data/dw/adpv/20130325'
  

　　

　　而LZO是外挂的第三方库，所以要指定输入和输出的编解码器。
　　

• CREATE EXTERNAL TABLE adpv_20130325(
  
•   stat_date string,
  
•   stat_hour string,
  
•   ip string,
  
•   logdate string,
  
•   uid string,
  
•   ver string,
  
•   pid string,
  
•   chid string,
  
•   json string,
  
•   country string,
  
•   province string,
  
•   city string,
  
•   isp string)
  
• ROW FORMAT DELIMITED
  
•   FIELDS TERMINATED BY '\t'
  
• STORED AS INPUTFORMAT
  
•   'com.hadoop.mapred.DeprecatedLzoTextInputFormat'
  
• OUTPUTFORMAT
  
•   'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
  
• LOCATION
  
•   'hdfs://hadoopmaster:9000/data/dw/adpv/20130325'
  

　　

　　至于你的日志，就用lzop在本地压缩好了，直接丢到hdfs上就可以了。
　　另外，在做数据清洗的时候，假如源日志是lzo压缩的，输出的时候也希望使用lzo压缩。则在数据清洗的脚本中对hadoop的jobconf做一个指定。这样就可以做到，输入是lzo，输出也可以lzo。或者输入是text，输出是lzo。
　　

• -inputformat com.hadoop.mapred.DeprecatedLzoTextInputFormat -jobconf mapred.output.compress=true -jobconf mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec
  

　　

　　最后对清洗过的日志做Indexer就可以了，这样无论是Hive还是做MR，都可以把大文件分成多个map来并行计算。