Hadoop深入学习：MapReduce的序列化

farmer111

在学习MapReduce编程模型接口的五个组件之前，我们先来看一下MapReduce的序列化。
       那么什么是序列化呢？
       序列化就是讲一个对象编码成一个字节流；相反，从字节流中重新构建对象就叫做反序列化。序列化主要有三种用途：
       ●持久化：将内存中的对象经序列化后保存到磁盘上；
       ●作为通信的数据传输格式：将一个机器上的内存中的对象经序列化后传输到其他机器上，或在相同机器上的不同进程之间的数据通信；
       ●作为copy、clone机制：将对象序列化到内存中，然后通过反序列化，可以得到一个已存在的对象的copy。
       在分布式系统中，主要使用序列化的前两种功能，数据持久化和通信数字格式。
       MapReduce为什么要专门再开发出自己的序列化(Writable)，而不用java原有的序列化(Serializable)?在本节中我们将会找到答案。
       我们先来看一下Java内置的序列化机制，该序列化机制非常简单，只需要将要序列化的对象的类继承java.io.Serializable接口就行了。java.io.Serializable只是一个标志性的接口，不具有任何成员函数：
public interface Serializable {
}

       Java的序列化机制非常“聪明”，它会将要序列化的对象的类、类签名、类的所有非暂态和非晶态成员变量的值，以及其所有的父类都要序列化。同时，它还会跟踪要序列化的对象所有可以达到的其他对象内部数据，并描述所有这些对象是如何被链接起来的，即使非常复杂的情况如循环引用的对象，序列化也不会陷入死循环。但是，经Java内置的序列化后的数据的大小太庞大了，不但包括用户想要保存的数据，还包括大量的类相关的附加数据信息，这对需要保存和处理的大规模数据的Hadoop来说，很不合适。另外还有一点，Java的序列化机制不能复用反序列化后的对象。
       对于Hadoop，其序列化机制需要有如下的特征：
       ●紧凑：在Hadoop中，带宽是最稀缺的资源，一个紧凑的序列化机制可以充分利用数据中心的带宽；
       ●快速(性能)：在进程间通信会大量使用序列化机制，因此需要尽量减少序列化合反序列化的开销；
       ●可扩展：随着系统发展，系统间通信的协议可能会升级，累的定义也可能会发生改变，序列化机制需要这些升级和变化；
       ●互操作：可以支持不同开发语言间的通信。
       Java内置的序列化机制虽然简单而强大，但是却并不符合上述的要求。但是Hadoop平台中新的序列化机制，就完全符合上述要求吗，答案是否定的，它只符合紧凑和快速的要求，但是缺不符合可扩展和互操作的要求。
       为了支持以上特性，Hadoop引入了org.apache.hadoop.io.Writable接口。Writable机制满足了紧凑和快速的这两个特性，Writable接口不是一个说明性的标志接口，声明如下：
public interface Writable{
/**
* 反序列化操作，从流中读数据，为了效率，尽量复用现有对象
* @param input DataInput流，从该流中读取数据
* @Throws IOException
*/
@Override
public void readFields(DataInput input) throws IOException {
//TODO
}
/**
* 序列化操作，将对象输出到流中
* @param output DataOutput流，序列化后的结果
* @Throws IOException
*/
@Override
public void write(DataOutput output) throws IOException {
//TODO
}
}

         Writable的使用示例代码：
public class ModeEntry implements Writable{
private long key;
private long value;
public ModeEntry(long key,long value){
this.key = key;
this.value = value;
}
/**
* 反序列化操作，从流中读数据，为了效率，尽量复用现有对象
* @param input DataInput流，从该流中读取数据
* @throws IOException
*/
@Override
public void readFields(DataInput input) throws IOException {
this.key = input.readLong();
this.value = input.readLong();
}
/**
* 序列化操作，将对象输出到流中
* @param output DataOutput流，序列化后的结果
* @throws IOException
*/
@Override
public void write(DataOutput output) throws IOException {
output.writeLong(this.key);
output.writeLong(this.value);
}
}


         总的来说，Hadoop的序列化机制的特点是紧凑、高效和可复用反序列化后的对象。另外相比Java内建的序列化机制，序列化后的数据比较少，不会附加大量的类信息和其应用对象及对象的链接信息，在序列化和反序列化的开销上，Hadoop的序列化机制要较Java内建的序列化机制开销要少很多。