hadoop源码学习（一）--configuration类详解

Q132284591

　　学习hadoop也有一段时间了，本来一直在dataguru的日志系统上写一些学习工作的总结，但是比较的随意，没有太多的总结性。到最后因为那边的编辑系统不太好使，就决定转过来了。好了，废话少说，开始开源的hadoop项目源码学习旅途。
　　这个系列的博客将根据《hadoop权威指南》（第三版）的第五章开始，逐步分析学习文章中第一次出现的类。
　　第五章开始，就是Configuration，那就从这里入手。
　　hadoop中，组件配置是由Hadoop的Configuration的一个实例实现。（在源码包的org.apache.hadoop.conf中可以找到）先上个类图：这只是部分的，Configuraation涉及的方法很多，不一一例举了。

　　在这里面我们看到的是整个hadoop的核心包的conf package里面涉及到全部类和接口。
　　
　　在书中，我们可以看到一个XML文档以及一个利用configuration实例来读取XML文档的程序。这里搬过来，方便下面的学习分析。






color
yellow
Color


size
10
Size


weight
heavy
true
Weight


size-weight
${size},${weight}
Size and weight


java实例代码如下：


    Configuration conf = new Configuration();
conf.addResource("configuration-1.xml");
assertThat(conf.get("color"), is("yellow"));
assertThat(conf.getInt("size", 0), is(10));
assertThat(conf.get("breadth", "wide"), is("wide"));

　　在这里我们主要首先关注一个get（String name）方法.

public String get(String name) {
return substituteVars(getProps().getProperty(name));
}

　　首先应该从addResource()说起，如conf.addResource("configuration-1.xml")，这里实现了类似懒加载的方法来实现资源的读取，也就是说在add完成XML文件的时候，是不会去更新属性列表的，只有当有需要读取属性值的时候才会进行资源的加载。要注意的是，在addResource()的时候，会将给定的资源放到一个资源private ArrayList 里面，然后会调用reloadConfiguration方法：



public synchronized void reloadConfiguration() {
properties = null;                            // 清除之前加载进来的全部属性
finalParameters.clear();                      // 因为可以在属性里面标注final属性，所以在这里可以将全部的final属性全部也清除掉。
}

　　读取属性的时候，就会先调用getProps()方法，这个方法里面调用了Configuration类里面的一个核心方法，loadResources（）：



private void loadResources(Properties properties, ArrayList resources, boolean quiet) {
//三个参数，properties用来存储加载出来的属性，resources表明资源列表， quiet表示静默模式，默认不会存储新加进来的资源文件，只会进行临时加载。
if(loadDefaults) {
for (String resource : defaultResources) {
loadResource(properties, resource, quiet);
}
//support the hadoop-site.xml as a deprecated case
if(getResource("hadoop-site.xml")!=null) {
loadResource(properties, "hadoop-site.xml", quiet);
}
}
for (Object resource : resources) {
loadResource(properties, resource, quiet);
}
}

　　这里提供了三张资源加载的方式，但是最后是由loadResource(properties, resource, quiet)这一方法来实现的。这里主要的实现是利用java DOM API 对所有的resource进行遍历，将全部的属性值加载到这里面来。初始化代码如下：



     DocumentBuilderFactory docBuilderFactory
= DocumentBuilderFactory.newInstance();
//实例化一个工厂类
      docBuilderFactory.setIgnoringComments(true);
//忽略开头的命名空间等信息
docBuilderFactory.setNamespaceAware(true);
try {
docBuilderFactory.setXIncludeAware(true);
} catch (UnsupportedOperationException e) {
LOG.error("Failed to set setXIncludeAware(true) for parser "
+ docBuilderFactory
+ ":" + e,
e);
}
      DocumentBuilder builder = docBuilderFactory.newDocumentBuilder();
Document doc = null;
Element root = null;
　　因为有string url inputstream三种格式的参数传进来，前两种都会转成URL的形式送到builder.parse()来解析。
　　由上面大家也看到了，采用了DOM的解析方式。熟悉XML的人都知道，还有一种比较流行的解析方式，SAX解析。在这里，相对的XML文档不会太多，所以解析的效果也不会有明显的差异，都是可行的。但是DOM的解析方式更为的直观、直接。
　　部分的for循环当中的代码：



        NodeList fields = prop.getChildNodes();
String attr = null;
String value = null;
boolean finalParameter = false;
for (int j = 0; j < fields.getLength(); j++) {
Node fieldNode = fields.item(j);
if (!(fieldNode instanceof Element))
continue;
Element field = (Element)fieldNode;
if ("name".equals(field.getTagName()) && field.hasChildNodes())
attr = ((Text)field.getFirstChild()).getData().trim();
if ("value".equals(field.getTagName()) && field.hasChildNodes())
value = ((Text)field.getFirstChild()).getData();
if ("final".equals(field.getTagName()) && field.hasChildNodes())
finalParameter = "true".equals(((Text)field.getFirstChild()).getData());
}

　　最后经过



properties.setProperty(attr, value);
　　放入结合当中，这样就产生了get()方法调用substituteVars方法的getPros()的方法。
　　在学习上述的代码的时候，我慢慢体会到了，java私有方法和公有方法的一些使用的要点。那就是在使用私有方法的时候，应该尽可能的降低其对于全局变量的依赖性，可以在调用私有方法前尽可能的去掉一些不要的逻辑，让私有方法好好的工作。像configuration这个类，从addResource到loadResource，都是极尽可能的消除方法后端的一些影响因素，将更多的逻辑分担出来，使得代码的阅读更加的简单明了，这是一个程序员应该有的品质吧。
　　最后要说一下，这里面还有一个用于属性导出的函数，也是一个比较值得学习的方法，这里就把代码贴出来。



public static void dumpConfiguration(Configuration conf,
Writer out) throws IOException {
Configuration config = new Configuration(conf,true);
config.reloadConfiguration();
JsonFactory dumpFactory = new JsonFactory();
JsonGenerator dumpGenerator = dumpFactory.createJsonGenerator(out);
dumpGenerator.writeStartObject();
dumpGenerator.writeFieldName("properties");
dumpGenerator.writeStartArray();
dumpGenerator.flush();
for (Map.Entry item: config.getProps().entrySet()) {
dumpGenerator.writeStartObject();
dumpGenerator.writeStringField("key", (String) item.getKey());
dumpGenerator.writeStringField("value",
config.get((String) item.getKey()));
dumpGenerator.writeBooleanField("isFinal",
config.finalParameters.contains(item.getKey()));
dumpGenerator.writeStringField("resource",
config.updatingResource.get(item.getKey()));
dumpGenerator.writeEndObject();
}
dumpGenerator.writeEndArray();
dumpGenerator.writeEndObject();
dumpGenerator.flush();
}

好了，第一期的就先到这里吧。收拾下，准备下一个，Tool接口！