Hadoop 压缩文件方式比较
对于Hadoop文件常用的几种压缩方法，我写了一个java程序进行比较。期望是，给出一个大文件(bigfile.txt) ,我们用各种方式压缩他们然后最终复制到HDFS中。
代码很简单：就是构造codec的实例,然后让它来创建到HDFS的输出流
[*]/*
[*] */
[*]package com.charles.hadoop.fs;
[*]
[*]import java.io.BufferedInputStream;
[*]import java.io.FileInputStream;
[*]import java.io.InputStream;
[*]import java.io.OutputStream;
[*]import java.net.URI;
[*]
[*]import org.apache.hadoop.conf.Configuration;
[*]import org.apache.hadoop.fs.FileSystem;
[*]import org.apache.hadoop.fs.Path;
[*]import org.apache.hadoop.io.IOUtils;
[*]import org.apache.hadoop.io.compress.CompressionCodec;
[*]import org.apache.hadoop.io.compress.CompressionCodecFactory;
[*]import org.apache.hadoop.io.compress.GzipCodec;
[*]import org.apache.hadoop.util.ReflectionUtils;
[*]
[*]/**
[*] *
[*] * Description:
[*] *
[*] * @author charles.wang
[*] * @created May 26, 2012 3:23:21 PM
[*] *
[*] */
[*]public class HadoopCodec {
[*]
[*] /**
[*] * @param args
[*] */
[*] public static void main(String[] args) throws Exception {
[*] // TODO Auto-generated method stub
[*]
[*] String inputFile = "bigfile.txt";
[*]
[*] String outputFolder = "hdfs://192.168.129.35:9000/user/hadoop-user/codec/";
[*] // String outputFile="bigfile.gz";
[*]
[*] // 读取hadoop文件系统的配置
[*] Configuration conf = new Configuration();
[*] conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user");
[*]
[*] //测试各种压缩格式的效率
[*] //gzip
[*] long gzipTime = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.GzipCodec", "gz");
[*] //bzip2
[*] long bzip2Time = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.BZip2Codec", "bz2");
[*] //deflate
[*] long deflateTime = copyAndZipFile(conf, inputFile, outputFolder, "org.apache.hadoop.io.compress.DefaultCodec", "deflate");
[*]
[*] System.out.println("被压缩的文件名为： "+inputFile);
[*] System.out.println("使用gzip压缩，时间为： "+gzipTime+"毫秒!");
[*] System.out.println("使用bzip2压缩，时间为： "+bzip2Time+"毫秒!");
[*] System.out.println("使用deflate压缩，时间为： "+deflateTime+"毫秒!");
[*] }
[*]
[*] public static long copyAndZipFile(Configuration conf, String inputFile, String outputFolder, String codecClassName,
[*] String suffixName) throws Exception {
[*] long startTime = System.currentTimeMillis();
[*]
[*] // 因为本地文件系统是基于java.io包的，所以我们创建一个本地文件输入流
[*] InputStream in = new BufferedInputStream(new FileInputStream(inputFile));
[*]
[*] //去掉扩展名提取basename
[*] String baseName = inputFile.substring(0, inputFile.indexOf("."));
[*] //构造输出文件名，它是路径名+基本名+扩展名
[*] String outputFile = outputFolder + baseName + "."+suffixName;
[*]
[*]
[*] FileSystem fs = FileSystem.get(URI.create(outputFile), conf);
[*]
[*] // 创建一个编码解码器，通过反射机制根据传入的类名来动态生成其实例
[*] CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(Class.forName(codecClassName), conf);
[*]
[*] // 创建一个指向HDFS目标文件的压缩文件输出流
[*] OutputStream out = codec.createOutputStream(fs.create(new Path(outputFile)));
[*] // 用IOUtils工具将文件从本地文件系统复制到HDFS目标文件中
[*]
[*] try {
[*] IOUtils.copyBytes(in, out, conf);
[*]
[*] } finally {
[*] IOUtils.closeStream(in);
[*] IOUtils.closeStream(out);
[*] }
[*]
[*] long endTime = System.currentTimeMillis();
[*]
[*] return endTime - startTime;
[*] }
[*]
[*]}
最终显示结果为：
[*]被压缩的文件名为： bigfile.txt
[*]使用gzip压缩，时间为： 11807毫秒!
[*]使用bzip2压缩，时间为： 44982毫秒!
[*]使用deflate压缩，时间为： 3696毫秒!
同时我们查看HDFS文件目录，可以证实，这几个文件的确存在：
分析结果：
我们可以从性能和压缩比率2个方面来进行对比：
性能：一目了然 deflate>bzip2>gzip， 而且gzip的性能差好大一截。
压缩比：
我们的原文件大小为114,576,640 字节
gzip 压缩比率为：9513416/114576640=8.3%,bzip2 压缩比率为5006568/114576640=4.37%,deflate压缩比率为9513404/114576640=8.3%
所以压缩比： bzip2>deflate=gzip
综上所述：压缩效果最好的是bzip2,压缩速度最快的是deflate
页:
[1]