hadoop 对数据流的压缩和解压缩

鸬鹚洲

　　实现本地文件的压缩上传，命令示例：hadoop  compressFromLocal   /home/uncle_bai/workspace/Testdata  hdfs://localhost:9000/input/test   org.apache.io.compress.GzipCodec
　　public class compressFromLocal {
public static void main(String[] args) throws IOException, ClassNotFoundException {
String scrString=args[0];    //本地文件的地址
String dststrString=args[1]; //hdfs文件系统的文件地址
String codetypeString=args[2]; //指定编码方式
Configuration configuration=new Configuration();
Class<?> codeClass=Class.forName(codetypeString);
CompressionCodec codec=(CompressionCodec)ReflectionUtils.newInstance(codeClass, configuration);
dststrString=dststrString+codec.getDefaultExtension();   //为生成的压缩文件自动添加后缀
FileSystem fS=FileSystem.get(URI.create(dststrString), configuration);
InputStream inputStream=new FileInputStream(new File(scrString));   
OutputStream outputStream=codec.createOutputStream(fS.create(new Path(dststrString)));
                //压缩文件要用codec.creatOutputStream对输出流进行包装，因为压缩解压缩的动作是在hadoop端进行的，而不是本地进行的
                IOUtils.copyBytes(inputStream, outputStream, configuration);
}
}
     实现hdfs文件的解压缩。命令如：hadoop decompressFromHdfs hdfs://localhost:9000/input/Testdata.gz
　　public class decompressFromHdfs {
public static void main(String[] args) throws IOException {
String srcString=args[0];
String dString=null;
Configuration configuration=new Configuration();
FileSystem fsFileSystem=FileSystem.get(URI.create(srcString), configuration);
CompressionCodecFactory factory=new CompressionCodecFactory(configuration);
CompressionCodec codec=factory.getCodec(new Path(srcString));//由读取的路径命获取解码器
dString=CompressionCodecFactory.removeSuffix(srcString, codec.getDefaultExtension());//自动去除后缀名
InputStream inputStream=codec.createInputStream(fsFileSystem.open(new Path(srcString)));
OutputStream outputStream=fsFileSystem.create(new Path(dString));
IOUtils.copyBytes(inputStream, outputStream, configuration);
}
}   CodecPool允许反复使用压缩禾解压缩，分摊创建这些对象需要的开销。







版权声明：本文为博主原创文章，未经博主允许不得转载。