Hadoop 12节点集群搭建配置清单

hudeya

$ vim hdfs-site.xml　　#【指定DataNode存储block的副本数量。默认值是3个，我们现在有4个DataNode，该值不大于4即可。】
　　
　　
　　dfs.replication
　　3
　　
　　#【使用federation时，HDFS集群别名。名字可以随便起，多个集群时相互不重复即可】
　　
　　dfs.nameservices
　　myha
　　
　　#【指定该集群的namenode的机器】
　　
　　dfs.ha.namenodes.myha
　　hadoop001,hadoop007
　　
　　#【指定hadoop100的RPC地址】
　　
　　dfs.namenode.rpc-address.myha.hadoop001
　　hadoop001:9000
　　
　　#【指定hadoop100的http地址】
　　
　　dfs.namenode.http-address.cluster1.hadoop001
　　hadoop001:50070
　　
　　#【指定hadoop101的RPC地址】
　　
　　dfs.namenode.rpc-address.myha.hadoop101
　　hadoop101:9000
　　
　　#【指定hadoop101的http地址】
　　
　　dfs.namenode.http-address.myha.hadoop101
　　hadoop101:50070
　　
　　#【指定该集群的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】
　　
　　dfs.namenode.shared.edits.dir
　　qjournal://hadoop002:8485;hadoop003:8485;hadoop008:8485/myha
　　
　　#【指定该集群是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】
　　
　　dfs.ha.automatic-failover.enabled.myha
　　true
　　
　　#【指定该集群出故障时，哪个实现类负责执行故障切换】
　　
　　dfs.client.failover.proxy.provider.myha
　　org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
　　
　　#【一旦需要NameNode切换，使用ssh方式进行操作】
　　
　　dfs.ha.fencing.methods
　　sshfence
　　
　　#【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】
　　
　　dfs.ha.fencing.ssh.private-key-files
　　file:///root/.ssh/id_rsa
　　
　　#【connect-timeout连接超时】
　　
　　dfs.ha.fencing.ssh.connect-timeout
　　30000
　　
　　
　　dfs.namenode.name.dir
　　file:///home/hadoop/tmp/dfs/name
　　
　　#【设置】
　　
　　dfs.datanode.data.dir
　　file:///home/hadoop/tmp/dfs/data