CHD4B1（hadoop-0.23）实现NameNode HA安装配置

why

CHD4B1（hadoop-0.23）实现NameNode HA安装配置

　　Cloudera CHD4B1版本已经包含了NameNode HA，社区也把NameNode HA branch HDFS-1623 merge到trunk版本，可以实现了双NameNode的热备份，不过目前只支持手动切换，还不支持自动切换，社区中自动切换进度请看：https://issues.apache.org/jira/browse/HDFS-3042
　　NameNode HA（CHD4B1版本） 文档：
　　https://ccp.cloudera.com/display/CDH4B1/CDH4+Beta+1+High+Availability+Guide
　　下面以CHD4B1版本来说明一下如何安装配置双NameNode HA：
　　1.首先安装java、配置ssh，这部分和之前版本相同，这里就省略了。
　　2.下载和解压CDH4B1
　　下载：https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs
　　解压：tar –zxvf hadoop-0.23.0-cdh4b1.tar.gz
　　3.设置环境变量：
　　在hadoop-cdh4b1/libexec目录下hadoop-config.sh配置文件中配置JAVA_HOME，红色部分：
　　# Attempt to set JAVA_HOME if it is not set
　　export JAVA_HOME=/home/liuminggang.pt/java_current
　　if [[ -z $JAVA_HOME ]]; then
　　4.添加hadoop配置文件中的配置项：
　　（配置文件直接在hadoop-cdh4b1/etc/hadoop目录下配置），我这里总共用了5台机器：
　　10.250.8.106   NameNode
　　10.250.8.107   NameNode
　　10.250.8.108   DataNode
　　10.250.8.109   DataNode
　　10.250.8.110   DataNode
　　4.1配置core-site.xml文件：
　　
　　hadoop.tmp.dir
　　/home/pt/hadoop-cdh4b1/hadoop_tmp
　　A base for other temporary directories.
　　
　　
　　fs.defaultFS
　　hdfs://goon  // goon是NameService ID，这里可以自己设置
　　
　　4.2 配置hdfs-site.xml文件：
　　配置：dfs.namenode.name.dir
　　  
　　dfs.namenode.name.dir
　　/home/pt/hadoop-cdh4b1/cluster-data
　　
　　配置：dfs.federation.nameservices
　　
　　dfs.federation.nameservices
　　goon //goon是nameservice名称
　　
　　配置：dfs.ha.namenodes.[nameservice ID]. 下面的goon是nameservice ID，nn1和nn2是每台namenode的serviceId。
　　
　　dfs.ha.namenodes.goon
　　nn1,nn2 //goon
　　
　　配置rpc通信地址：dfs.namenode.rpc-address.[nameservice ID].
　　
　　dfs.namenode.rpc-address.goon.nn1
　　10.250.8.106:9000
　　
　　
　　dfs.namenode.rpc-address.goon.nn2
　　10.250.8.107:9000
　　
　　配置http通信地址：dfs.namenode.http-address.[nameservice ID].
　　
　　dfs.namenode.http-address.goon.nn1
　　10.250.8.106:50070
　　
　　
　　dfs.namenode.http-address.nn2
　　10.250.8.107:50070
　　

配置：dfs.namenode.shared.edits.dir

dfs.namenode.shared.edits.dir是主备namenode共享目录，这里要求主备都可以读写，我这采用NFS实现共享，NFS实现可以参照：http://www.vpsee.com/2010/06/install-nfs-4-0-on-centos/

　　
　　dfs.namenode.shared.edits.dir
　　/home/pt/data_NFS
　　
　　配置客户端failover：
　　
　　dfs.client.failover.proxy.provider.goon org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
　　
　　配置：Fencing，这里dfs.ha.fencing.methods实现的方法有两种sshfence和shell，我下面实现的是sshfence，dfs.ha.fencing.ssh.private-key-files这个是ssh的key file。
　　
　　dfs.ha.fencing.methods
　　sshfence
　　
　　
　　dfs.ha.fencing.ssh.private-key-files
　　/home/lpt/.ssh/id_rsa
　　
　　另外dataNode节点需要配置：
　　
　　dfs.datanode.data.dir
　　/home/pt/hadoop-cdh4b1/datanode-data
　　
　　4.3 yarn-site.xml的配置
　　可参考：http://blog.sina.com.cn/s/blog_4a1f59bf010116rh.html
　　5.初始化NameNode
　　首先格式化主备namenode ：bin/hdfs namenode –format 为了让主备dfs.namenode.name.dir目录下的Namenode的元数据一致以及dfs.namenode.shared.edits.dir包含最近所有的edit files，可以把主节点的dfs.namenode.name.dir目录下的元数据拷贝到备用节点dfs.namenode.name.dir和共享dfs.namenode.shared.edits.dir目录下。
　　5.启动集群：
　　启动hdfs：sbin/start-dfs.sh
　　启动mapreduce：sbin/start-yarn.sh
　　注意：此时是以NameNode HA配置方式启动集群的，NameNode启动之后处于standby状态，此时集群并不能服务。要想让集群能够服务，此时就应该借助DFSHAadmin命令了，可以采用bin/hdfs haadmin –DFSHAadmin –transitionToActive nn1 让上面配置的nn1处于active状态，nn2还处于stanby状态。另外DFSHAadmin还有一些其他的功能如下：
　　Usage: DFSHAAdmin [-ns ]
　　[-transitionToActive ]
　　[-transitionToStandby ]
　　[-failover [--forcefence] [--forceactive]  ]
　　[-getServiceState ]
　　[-checkHealth ]
　　[-help ]
　　其中：bin/hdfs haadmin -DfSHAadmin -failover nn1 nn2是让nn2成为变为active nn1变为standby，这是使用这个命令可能会出现：Failover failed: /10.250.8.107:9000 is not ready to become active，这时我们用命令bin/hdfs haadmin -DfSHAadmin -failover --forceactive nn1 nn2就不会出现上面的问题，要想知道上面参数具体是什么意思可以看看hadoop-0.23或CHD4B1的源码。