Hadoop源码学习笔记(1) ——第二季开始——找到Main函数及读一读Configure类

sofh7777

　　Hadoop源码学习笔记(1)
　　 ——找到Main函数及读一读Configure类
　　前面在第一季中，我们简单地研究了下Hadoop是什么，怎么用。在这开源的大牛作品的诱惑下，接下来我们要研究一下它是如何实现的。
　　提前申明，本人是一直搞.net的，对java略为生疏，所以在学习该作品时，会时不时插入对java的学习，到时也会摆一些上来，包括一下设计模式之类的。欢迎高手指正。
　　整个学习过程，我们主要通过eclipse来学习，之前已经讲过如何在eclipse中搭建调试环境，这里就不多述了。
　　在之前源码初窥中，我们已经找到了主要几个的main函数入口。所以这里我们列一列计划：

• 
  FsShell main入口: org.apache.hadoop.fs.FsShell
  
• 
  NameNode main入口: org.apache.hadoop.hdfs.server.namenode.NameNode
  
• 
  DataNode main入口: org.apache.hadoop.hdfs.server.datanode.DataNode
  
• 
  JobTracker main入口: org.apache.hadoop.mapred.JobTracker
  
• 
  TaskTracker main入口: org.apache.hadoop.mapred.TaskTracker
  

　　我们会按这个顺序来研究，至于其他的像SecondeNameNode之类的，在最后再来研究。
　　同样，针对这些内容，我们还会分一下，第一步先来看DFS，第二步再来看MapReduce部份。
　　在研究DFS之前，我们看一下，这三者关系：

　　其中NameNode是客户端的主接口，也是唯一的对接点，同时主要负责文件名目录管理，以及数据DataNode的映射。
　　
　　好了，要研究一块，我们先来把程序跑起来吧。
　　在eclipse中我们很方便地就能找到每个模块的对应的main函数，但还是有些不便，为了调试方便，我们再新建三个入口类：

　　自建入口类主要是为方便找到，然后这三个类中的代码分别为：
　　FsShellEnter.java

• 
  import org.apache.hadoop.fs.FsShell;
  
• 
  
• 
  public class FsShellEnter {
  
• 
  
• 
     public static void main(String[] args) throws Exception {
  
• 
        FsShell.main(new String[]{"-ls"});
  
• 
     }
  
• 
  }
  

　　NamNodeEnter.java

• 
  public class NameNodeEnter {
  
• 
  
• 
     public static void main(String[] args) throws Exception {
  
• 
        org.apache.hadoop.hdfs.server.namenode.NameNode.main(args);
  
• 
     }
  
• 
  }
  

　　DataNodeEnter.java

• 
  public class DataNodeEnter {
  
• 
  
• 
     public static void main(String[] args) {
  
• 
        org.apache.hadoop.hdfs.server.datanode.DataNode.main(args);
  
• 
     }
  
• 
  }
  

　　运行之：
　　启动命令行，运行：$ bin/hadoop namenode
　　然后在eclipse中，打开FsShellEnter.java，然后点击运行，可以看到：

　　
　　反过来，在eclipse中，打开NamNodeEnter.java，点击运行，

　　在控制台中，可以输入一堆的信息，说明正常了。
　　然后打开命令行，输入：$ bin/hadoop fs -ls，可以看到：

　　这样，说明正反运行都可以了。
　　当然这里我们没有涉及文件内容操作，所以没有DataNode也没问题，不过可以自行试一下。
　　
　　打开这几个main函数，都可以看到上来都在初使化这个Configuration类。所以我们先来看一看这个类到底有点啥：
　　先看一下之前我们如何用这个类的：

• 
  Configuration conf = new Configuration();
  
• 
  String name = conf.get("fs.default.name");
  
• 
  System.out.println(name);
  

　　从字面意思及这段函数，可以看出Configuration类用于读取配置文件的，且该程序就是读出配置文件中fs.default.name的值。
　　观察其构造函数：

• 
  public Configuration() {
  
• 
      this(true);
  
• 
  }
  
• 
  public Configuration(boolean loadDefaults) {
  
• 
      this.loadDefaults = loadDefaults;
  
• 
      if (LOG.isDebugEnabled()) {
  
• 
        LOG.debug(StringUtils.stringifyException(new IOException("config()")));
  
• 
      }
  
• 
      synchronized(Configuration.class) {
  
• 
        REGISTRY.put(this, null);
  
• 
      }
  
• 
    }
  

　　发现其本没有做什么操作，主要设置了一个loadDefaults值为true。
　　然后再观察get函数：

• 
    public String get(String name) {
  
• 
      return substituteVars(getProps().getProperty(name));
  
• 
    }
  
• 
  private synchronized Properties getProps() {
  
• 
      if (properties == null) {
  
• 
        properties = new Properties();
  
• 
        loadResources(properties, resources, quietmode);
  
• 
        if (overlay!= null)
  
• 
          properties.putAll(overlay);
  
• 
      }
  
• 
      return properties;
  
• 
    }
  

　　Get函数先是调用了substituteVars函数，这个是正则表达式处理函数，对返回值进行去非法字符处理，然后getProps函数中，对hashtable类型的properties进行判断，如果为空则创建并进行初使化，否则直接返回。然后getProperty再根据其key值进行取值。
　　很明显，这里是采用了懒加载的方式，就是说并没有一开始加载配置文件中的数据，而是等要访问时，才进行加载。
　　进一步看如何初使化的，loadResources函数：

• 
  private void loadResources(Properties properties,
  
• 
                               ArrayList resources,
  
• 
                               boolean quiet) {
  
• 
      if(loadDefaults) {
  
• 
        for (String resource : defaultResources) {
  
• 
          loadResource(properties, resource, quiet);
  
• 
        }
  
• 
  
• 
        //support the hadoop-site.xml as a deprecated case
  
• 
        if(getResource("hadoop-site.xml")!=null) {
  
• 
          loadResource(properties, "hadoop-site.xml", quiet);
  
• 
        }
  
• 
      }
  
• 
  
• 
      for (Object resource : resources) {
  
• 
        loadResource(properties, resource, quiet);
  
• 
      }
  
• 
    }
  

　　这里第5行可看到先加载了defaultResources中的资源，然后再加载hadoop-site.xml（第10行）。
　　defaultResources有哪些呢，一步步找，可以看到：

• 
  static{
  
• 
     ...
  
• 
      addDefaultResource("core-default.xml");
  
• 
      addDefaultResource("core-site.xml");
  
• 
    }
  
• 
  public static synchronized void addDefaultResource(String name) {...}
  

　　从这里看到，默认加载了core-default.xml和core-site.xml这两个文件。
　　到这里，我们可以再打开这3个XML来看看了：


　　
　　从这两个文件，我们可以看出，配置文件中存储就是用的key-value的健值对方式，然后加一个description对该配置项的描述。所以程序中读取也是传入key即可获取value。
　　同时，core-site.xml是我们自己配置文件，仔细看，可发现，在core-defalut.xml中也有一些相同的配置项。加载时先加载defalut再site，后者有相同key时覆盖前者。
　　所以换句话说，我们可以不配置hadoop.tmp.dir 则默认就在上面default中的/tmp….目录。
　　同时也可相到，hadoop的其他配置，就可以参考core-default.xml中的了。 可以直接改，也可以在core-site中再复制一份再改。
　　
　　继续观察Configuration还有哪些方法：

　　发现其中有很多个get函数,然后是返回各种不同类型的。这样就方便我们取值后直接处理了。

　　同时，可以看到还有一堆的set函数。这些set函数追进去看，是在修改hashtable的，并没有保存。所以说这些用途也是可见的，不用配置文件也可以让Configuration工作起来。