hadoop2.0 federation的配置

jgugugiug

　　上一篇文章《hadoop2.0 federation介绍》介绍了hadoop2.0 federation的基本架构和基本原理，本文接着先介绍单独配置federation，在下一篇文章中会继续介绍同时配置HA和federation。

1 准备  

　　文中描述的机器角色包含2个namenode：

• 　　namenode1
  
• 　　namenode2
  

　　其他机器角色本文中不涉及的可以参考《hadoop2.0的安装和基本配置》一文。

2 federation的结构  

　　我们假定hadoop集群的clusterid是hellokitty，有2个namespace/name service，分别是“mycluster”和“yourcluster”，分别在namenode1和namenode2上，分别挂载在viewfs的“/my”和“/your”目录下。如下图所示：  

3 federation的配置  

　　federation的配置只涉及到core-site.xml和hdfs-site.xml两个配置文件，其他配置可以文件参考《hadoop2.0的安装和基本配置》一文。

3.1 core-site.xml  

　　
　　fs.defaultFS
　　viewfs:///
　　
　　
　　fs.viewfs.mounttable.default.link./my
　　hdfs://namenode1/
　　
　　
　　fs.viewfs.mounttable.default.link./your
　　hdfs://namenode2/
　　
　　
　　hadoop.tmp.dir
　　/home/tmp/hadoop2.0
　　
　　

　　

• 　　fs.defaultFS
  

　　这里是配置viewfs，为各个namespace提供一个统一的视图（viewfs）

• 　　fs.viewfs.mounttable.default.link./my
  

　　把namespace(name service)“mycluster”挂载到“/my”目录下

• 　　fs.viewfs.mounttable.default.link./your
  

　　把namespace(name service)“yourcluster”挂载到“/your”目录下

　　说明：以上3项的配置值是为了方便统一查看各个namespace/name service的目录和文件，不是必须的，可以不用配置。

3.2 hdfs-site.xml  

　　
　　dfs.replication
　　1
　　
　　
　　dfs.namenode.name.dir
　　/home/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　/home/dfs/data
　　
　　
　　dfs.datanode.edit.dir
　　/home/dfs/edit
　　
　　
　　dfs.permissions
　　false
　　
　　
　　dfs.nameservices
　　mycluster,yourcluster
　　
　　
　　dfs.namenode.rpc-address.mycluster
　　namenode1:8020
　　
　　
　　dfs.namenode.rpc-address.yourcluster
　　namenode2:8020
　　
　　
　　dfs.namenode.http-address.mycluster
　　namenode1:50070
　　
　　
　　dfs.namenode.http-address.yourcluster
　　namenode2:50070
　　
　　

　　

4 启动  

　　在namenode1上执行格式化

$HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty　　

　　在namenode2上执行格式化

$HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty　　

　　注意：namenode1和namenode2上的clusterid要保持一致。

　　在namenode1启动namenode

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode　　

　　在namenode2启动namenode

$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode　　

　　然后启动各个datanode

$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode　　

5 检查  

　　每个datanode都会连接到namenode1和namenode2，在namenode1和namenode2的HDFS监控页面都能看到所有的datanode

　　http://namenode1:50070/dfshealth.jsp
　　http://namenode2:50070/dfshealth.jsp
6 测试  

　　因为配置了viewfs和挂载目录（注意在hadoop客户机上也需要同样的配置），你可以运行
$HADOOP_HOME/bin/hdfs dfs -ls /　　

　　你可以看到namespace(name service)“mycluster”和“yourcluster”对应的目录“/my”和“/your”。

　　你也可以不通过viewfs直接查看每个namenode/namespace的目录和文件

$HADOOP_HOME/bin/hdfs dfs -ls hdfs://namenode1/　　$HADOOP_HOME/bin/hdfs dfs -ls hdfs://namenode2/
　　

　　上面两个命令分别等价于以下两个命令：

$HADOOP_HOME/bin/hdfs dfs -ls /my　　$HADOOP_HOME/bin/hdfs dfs -ls /your
　　

7 实战tips  

　　federation虽然有多个namenode，但还是存在单点的问题，需要把每个federation的每个namenode配置成HA。

　　在下一篇文章中，我们会继续介绍在federation的基础上配置HA。

参考资料：  

　　http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/Federation.html