hadoop-2.6.4 NameNode 源码分析学习

haishi

Namenode的介绍
　　一个简单的hadoop集群是由一个ACtive的namenode和多个datenode组成的，
　　namdnode是这个文件系统的管理节点。它维护着整个文件系统的目录树,文件/目标的元信息和每个文件对应的数据块列表。接受用户的操作请求。
　　启动Namenode
　　调用脚本:bin/hdfs namde
　　hdfs的启动脚本:



...
COMMAND=$1
...
if [ "$COMMAND" = "namenode" ] ; then
CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
...
# run it
exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS $CLASS "$@"
####最终namenode是启动org.apache.hadoop.hdfs.server.namenode.NameNode这个类
　　由shell脚本可以知道namenode的实现类是org.apache.hadoop.hdfs.server.namenode.NameNode；
　　Namenode代码解释:



public class NameNode implements NameNodeStatusMXBean {
//namenode程序入口
public static void main(String argv[]) throws Exception {
if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
System.exit(0);
}
try {
StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
//创建namenode实例
NameNode namenode = createNameNode(argv, null);
if (namenode != null) {
namenode.join();
}
} catch (Throwable e) {
LOG.fatal("Failed to start namenode.", e);
terminate(1, e);
}
}
public static NameNode createNameNode(String argv[], Configuration conf)
throws IOException {
...
//获取操作参数
StartupOption startOpt = parseArguments(argv);

switch (startOpt) {
case FORMAT: {//初次启动hadoop集群，要格式化namenode
boolean aborted = format(conf, startOpt.getForceFormat(),
startOpt.getInteractiveFormat());
terminate(aborted ? 1 : 0);
return null; // avoid javac warning
      }
......
default: {//正常启动namenode
DefaultMetricsSystem.initialize("NameNode");
return new NameNode(conf);
}
}
}  
//操作hdfs文件系统的类
public FSNamesystem namesystem;
/** httpServer，平时我们在浏览器查看的hdfs的web管理控制台，就是通过它显示的，它包装了一个内嵌的jetty */
protected NameNodeHttpServer httpServer;
/** RPC服务器,DFSClient，DataNode和Namenode通信都要通过它 */
private NameNodeRpcServer rpcServer;
protected NameNode(Configuration conf, NamenodeRole role)
throws IOException {
...  
//执行initialize方法初始化
      initialize(conf);
...
this.started.set(true);
}
protected void initialize(Configuration conf) throws IOException {
...
//启动http服务器，启动后可以通过http://namenode:50070 访问hdfs的管理页面
if (NamenodeRole.NAMENODE == role) {
startHttpServer(conf);
}
....
//从fsimage和edits log加载元数据
    loadNamesystem(conf);
//启动RPC server
rpcServer = createRpcServer(conf);
....
}
}
　　我特别关注的是namenode两个部分的实现：与client,datanode的rpc通信，和文件管理的实现FSNamesystem
　　namenode启动rpc服务:



//这个类是用于RPC服务的响应
class NameNodeRpcServer implements NamenodeProtocols {
//监听datanode请求的rpc服务  
private final RPC.Server serviceRpcServer;
//监听client请求的rpc服务
protected final RPC.Server clientRpcServer;
public NameNodeRpcServer(Configuration conf, NameNode nn)
throws IOException {
...
//在服务端创建了一堆的rpc协议的实现类
       ClientNamenodeProtocolServerSideTranslatorPB
clientProtocolServerTranslator =
new ClientNamenodeProtocolServerSideTranslatorPB(this);
BlockingService clientNNPbService = ClientNamenodeProtocol.
newReflectiveBlockingService(clientProtocolServerTranslator);
...
//创建RPC服务端，监听datanode的请求
this.serviceRpcServer = new RPC.Builder(conf)
.setProtocol(
org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolPB.class)
.setInstance(clientNNPbService)
.setBindAddress(bindHost)
.setPort(serviceRpcAddr.getPort()).setNumHandlers(serviceHandlerCount)
.setVerbose(false)
.setSecretManager(namesystem.getDelegationTokenSecretManager())
.build();
//想datanode监听rpc服务器进行协议的添加
DFSUtil.addPBProtocol(conf, HAServiceProtocolPB.class, haPbService,
serviceRpcServer);
.....
}
}
　　FSNamesystem是文件系统命名空间系统类,实现了namenode的基本服务功能，
　　FSNamesystem类就是实现去与datanode进行交互操作的类：