Hadoop源代码分析（三）

cfsky

　　由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用Java的序列化，而是引入了它自己的系统。
　　org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。实现了Writable接口的一个典型例子如下：
　　



Java代码

• public class MyWritable implements Writable {     
  
•     // Some data         
  
•     private int counter;     
  
•     private long timestamp;     
  
• 
  
•     public void write(DataOutput out) throws IOException {     
  
•         out.writeInt(counter);
  
•         out.writeLong(timestamp);
  
•     }
  
• 
  
•     public void readFields(DataInput in) throws IOException {     
  
•         counter = in.readInt();
  
•         timestamp = in.readLong();
  
•     }
  
• 
  
•     public static MyWritable read(DataInput in) throws IOException {     
  
•         MyWritable w = new MyWritable();     
  
•         w.readFields(in);
  
•         return w;     
  
•     }
  
• }
  

public class MyWritable implements Writable {        // Some data             private int counter;        private long timestamp;           public void write(DataOutput out) throws IOException {            out.writeInt(counter);            out.writeLong(timestamp);        }               public void readFields(DataInput in) throws IOException {            counter = in.readInt();            timestamp = in.readLong();        }           public static MyWritable read(DataInput in) throws IOException {            MyWritable w = new MyWritable();            w.readFields(in);            return w;        }    } 　　
　　
　　
　　
　　其中的write和readFields分别实现了把对象序列化和反序列化的功能，是Writable接口定义的两个方法。下图给出了庞大的org.apache.hadoop.io中对象的关系。
　　
　　
　　
　　
　　
　　


　　
　　
　　
　　
　　
　　
　　
　　这里，我把ObjectWritable 标为红色，是因为相对于其他对象，它有不同的地位。当我们讨论Hadoop的RPC时，我们会提到RPC上交换的信息，必须是Java的基本类 型，String和Writable接口的实现类，以及元素为以上类型的数组。ObjectWritable对象保存了一个可以在RPC上传输的对象和对 象的类型信息。这样，我们就有了一个万能的，可以用于客户端/服务器间传输的Writable对象。例如，我们要把上面例子中的对象作为RPC请求，需要 根据MyWritable创建一个ObjectWritable，ObjectWritable往流里会写如下信息
　　对象类名长度，对象类名，对象自己的串行化结果
　　这样，到了对端，ObjectWritable可以根据对象类名创建对应的对象，并解串行。应该注意到，ObjectWritable依赖于WritableFactories，那存储了Writable子类对应的工厂。我们需要把MyWritable的工厂，保存在WritableFactories中（通过WritableFactories.setFactory）