如何让Hadoop读取以gz结尾的文本格式的文件

qqwe

背景：
　　搜索引擎在build全量时，会产生数G的xml的中间文件，我需要去查询这些中间文件中，是否有某个特殊的字符。xml文件有很多，每个都有几百M，存储在hdfs上，而且是以gz结尾的文本格式的文件。
　　查找时，我是写了一个实现Tool接口，继承自Configured类的MapReduce，这样就可以传入自定义的参数给我的MapReduce程序了。需要在文件里Grep的内容，就是以参数的形式传入的。
　　写完代码调试时，问题来了，会报这个异常：
　　

14/10/17 12:06:33 INFO mapred.JobClient: Task>
java.io.IOException: incorrect header check　　at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.inflateBytesDirect(Native Method)
　　at org.apache.hadoop.io.compress.zlib.ZlibDecompressor.decompress(ZlibDecompressor.java:221)
　　at org.apache.hadoop.io.compress.DecompressorStream.decompress(DecompressorStream.java:81)
　　at org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:75)
　　at java.io.InputStream.read(InputStream.java:85)
　　at org.apache.hadoop.util.LineReader.readLine(LineReader.java:134)
　　at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:133)
　　at org.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:38)
　　at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.moveToNext(MapTask.java:208)
　　at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.next(MapTask.java:193)
　　at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:48)
　　at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:390)
　　at org.apache.hadoop.mapred.MapTask.run(MapTask.java:324)
　　at org.apache.hadoop.mapred.Child$4.run(Child.java:268)
　　at java.security.AccessController.doPrivileged(Native Method)
　　at javax.security.auth.Subject.doAs(Subject.java:396)
　　at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1115)
　　at org.apache.hadoop.mapred.Child.main(Child.java:262)
　　
　　

分析过程：
　　通过上面的异常，立马猜想到是由于我的文件是gz结尾，所以hadoop把它当作了压缩文件，然后尝试解压缩后读取，所以解压失败了。于是去问google，没有搜到能够直接解决我问题的答案，但是搜到了此处相关的源代码：LineRecordReader.java;于是尝试着去阅读代码来解决问题，这个类很简单，继承自RecordReader，没有看到next函数和readLine函数，那就应该是基类实现的。很快发现了看名字是跟压缩解码相关的代码：
　　

private CompressionCodecFactory compressionCodecs = null;　　
...
　　
compressionCodecs = new CompressionCodecFactory(job);
　　
final CompressionCodec codec = compressionCodecs.getCodec(file);
　　
...
　　
if (codec != null) {
　　in = new LineReader(codec.createInputStream(fileIn), job);
　　
}
　　
else{
　　...
　　in = new LineReader(fileIn, job);
　　
}
　　
　　

　　此处file就是拿到的文件路径，可以看到，应该就是通过CompressionCode.getCode(file)函数，拿到的codec类，然后读取的时候出异常了。那怎么让MapReduce程序把这个.gz文件当作普通的文本文件呢？再点进去看CompressionCodeFactory.java的代码。getCodec函数的代码如下：
　　

/**
　　
* Find the>　　
* filename suffix.
　　
* @param file the filename to check
　　
* @return the codec object
　　
*/
　　
public CompressionCodec getCodec(Path file) {
　　CompressionCodec result = null;
　　if (codecs != null) {
　　String filename = file.getName();
　　String reversedFilename = new StringBuffer(filename).reverse().toString();
　　SortedMap subMap = codecs.headMap(reversedFilename);
　　if (!subMap.isEmpty()) {
　　String potentialSuffix = subMap.lastKey();
　　if (reversedFilename.startsWith(potentialSuffix)) {
　　result = codecs.get(potentialSuffix);
　　}
　　}
　　}
　　return result;
　　

　　}
　　就是根据文件名称匹配来得到对应的解压缩类。咋们按图索骥，去看看codecs是在哪里赋值的：
　　

/**　　
* Find the codecs specified in the config value io.compression.codecs
　　
* and register them. Defaults to gzip and zip.
　　
*/
　　
public CompressionCodecFactory(Configuration conf) {
　　codecs = new TreeMap();
　　List cls = conf.getClassByName(codecSubstring);
　　if (!CompressionCodec.class.isAssignableFrom(cls)) {
　　throw new IllegalArgumentException("Class " + codecSubstring +
　　" is not a CompressionCodec");
　　}
　　result.add(cls.asSubclass(CompressionCodec.class));
　　} catch (ClassNotFoundException ex) {
　　throw new IllegalArgumentException("Compression codec " +
　　codecSubstring + " not found.",
　　ex);
　　}
　　}
　　}
　　return result;
　　} else {
　　return null;
　　}
　　
}
　　

　　从这个函数里能够看到编码的配置是 io.compression.codecs 。可以看到，我们必须返回非null的result，那么直接让io.compression.codecs配置成空，应该就可以了，此时返回的result里面没有任何元素。

问题解决方案:
　　试了一把，执行这个MapReduce程序时，加上 -Dio.compression.codecs=, 的参数，就可以了：
　　

hadoop jar ./dumptools-0.1.jarddump.tools.mr.Grep -Dio.compression.codecs=, "adgroupId=319356697" doc val