hadoop的mapFile，hadoop的io

潇洒紫焰

　　本文内容来源于其他网页，参考的网址（转载请注明出处，谢谢）：
　　http://blog.nosqlfan.com/html/1217.html
　　http://hi.baidu.com/shirley_wheat/blog/item/ea89e76113ee30c98cb10d72.html
　　http://blog.iyunv.com/sheperd_shu/article/details/6437845
　　http://hi.baidu.com/hpagent/blog/item/673f8b330d9c2bbd5fdf0e4a.html












1.Hadoop’s SequenceFile

　　SequenceFile 是 Hadoop
的一个重要数据文件类型，它提供key-value的存储，但与传统key-value存储（比如hash表，btree）不同的是，它是
appendonly的，于是你不能对已存在的key进行写操作。每一个key-value记录如下图，不仅保存了key，value值，也保存了他们的
长度。

　　SequenceFile 有三种压缩态：

• Uncompressed – 未进行压缩的状态
  
• Record Compressed - 对每一条记录的value值进行了压缩（文件头中包含上使用哪种压缩算法的信息）
  
• Block-Compressed – 当数据量达到一定大小后，将停止写入进行整体压缩，整体压缩的方法是把所有的keylength,key,vlength,value 分别合在一起进行整体压缩
  

　　文件的压缩态标识在文件开头的header数据中。
　　在header数据之后是一个Metadata数据，他是简单的属性/值对，标识文件的一些其他信息。Metadata 在文件创建时就写好了，所以也是不能更改的。


2.MapFile, SetFile, ArrayFile 及 BloomMapFile
　　SequenceFile 是Hadoop 的一个基础数据文件格式，后续讲的 MapFile, SetFile, ArrayFile 及 BloomMapFile 都是基于它来实现的。

• MapFile – 一个key-value 对应的查找数据结构，由数据文件/data 和索引文件 /index 组成，数据文件中包含所有需要存储的key-value对，按key的顺序排列。索引文件包含一部分key值，用以指向数据文件的关键位置。
  
• SetFile – 基于 MapFile 实现的，他只有key，value为不可变的数据。
  
• ArrayFile – 也是基于 MapFile 实现，他就像我们使用的数组一样，key值为序列化的数字。
  
• BloomMapFile – 他在 MapFile 的基础上增加了一个 /bloom 文件，包含的是二进制的过滤表，在每一次写操作完成时，会更新这个过滤表。
  

相应的demo代码




Hadoop MapFile的路径
2011-04-19 14:43
MapFile分data和index两个文件
读入只需给定dir
如果只读数据，可以用下面的方法得到datafile文件名，
Path MapDir = new Path(outFile);
Path MapData = new Path(MapDir , MapFile.DATA_FILE_NAME);
　　
　　



import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.MapFile;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.ReflectionUtils;


public class Test{
private static final String data[]={
  "One, two, buckle my shoe",
  "Three, four, shut the door",
  "Five, six, pick up sticks",
  "Seven, eight, lay them straight",
  "Nine, ten, a big fat hen"
};
public static class SequenceFileWriter{
  public void testWrite(String pt) throws Exception{
   String uri=pt;
   Configuration conf=new Configuration();
   FileSystem fs=FileSystem.get(URI.create(uri),conf);
   Path path=new Path(uri);
   IntWritable key=new IntWritable();
   Text value=new Text();
   SequenceFile.Writer writer=null;
   try{
    writer=SequenceFile.createWriter(fs,conf,path,key.getClass(),value.getClass());
    for(int i=0;i