linux上部署hadoop集群 HA-QJM篇
环境基础篇需要4台机器（一台namenode,三台datanode);
HA篇需要8台机器：两台namenode(一台作active nn,另一台作standby nn)，三台datanode，三台zookeeper（也可以省去这三台，把zookeeper daemon部署在其他机器上）。实际上还需要3台journalnode,但因为它比较轻量级，所以这里就把它部署在datanode上了。
三台zookeeper机器上配置以下信息：
1 创建hadoop用户
2 做好ssh免密码登陆
3 修改主机名
4 安装JDK
5 下载zookeeper安装包
下载地址：http://mirror.nus.edu.sg/apache/zookeeper
下载zookeeper-3.4.6到/opt/目录下，解压
6 修改/etc/profile
export ZOO_HOME=/opt/zookeeper-3.4.6
export ZOO_LOG_DIR=/opt/zookeeper-3.4.6/logs
使之生效：
source /etc/profile
7 建立zookeeper数据存放目录：
mkdir /opt/zookeeper-3.4.6/data
8 在$ZOO_HOME/conf下创建配置文件：
vi zoo.cfg 加入以下内容：
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/zookeeper-3.4.6/data
# the port at which the clients will connect
clientPort=2181
server.1=10.9.214.167:31316:31317
server.2=10.9.214.18:31316:31317
server.3=10.9.214.211:31316:31317
9 在/opt/zookeeper-3.4.6/data/目录下创建文件myid,并写入内容，zookeeper1写1，zookeeper2写2,zookeeper3写3 ,如：
echo 1 >/opt/zookeeper-3.4.6/data/myid
10 启动zookeeper 服务：
cd $ZOO_HOME
./bin/zkServer.sh start
11 验证
测试zookeeper集群是否建立成功，在$ZOO_HOME目录下执行以下命令即可，如无报错表示集群创建成功：
./bin/zkCli.sh -server localhost:31315
hadoop配置文件只需要修改core-site.xml和hdfs-site.xml
配置core-site.xml
hadoop.tmp.dir
/opt/hadoop-2.6.0/tmp
fs.default.name
hdfs://10.9.214.151:9000
hadoop.proxyuser.root.hosts
10.9.214.151
hadoop.proxyuser.root.groups
*
fs.defaultFS
hdfs://cluster_haohzhang
ha.zookeeper.quorum
10.9.214.167:2181,10.9.214.18:2181,10.9.214.211:2181
配置hdfs-site.xml
dfs.namenode.name.dir
file:/opt/hadoop-2.6.0/hdfs/name
dfs.dataname.data.dir
file:/opt/hadoop-2.6.0/hdfs/data
dfs.replication
3
dfs.nameservices
cluster_haohzhang
dfs.ha.namenodes.cluster_haohzhang
nn1,nn2
dfs.namenode.rpc-address.cluster_haohzhang.nn1
10.9.214.151:8020
dfs.namenode.rpc-address.cluster_haohzhang.nn2
10.9.214.15:8020
dfs.namenode.http-address.cluster_haohzhang.nn1
10.9.214.151:50070
dfs.namenode.http-address.cluster_haohzhang.nn2
10.9.214.15:50070
dfs.namenode.shared.edits.dir
qjournal://10.9.214.158:8485;10.9.214.160:8485;10.9.214.149:8485/cluster_haohzhang
dfs.client.failover.proxy.provider.cluster_haohzhang
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_rsa
dfs.journalnode.edits.dir
/opt/hadoop-2.6.0/journalnode
dfs.ha.automatic-failover.enabled
true
操作细节
1 先删除所有namenode和datanode,journalnode上的metadata
2 启动三个journalnode进程
hadoop-daemon.sh start journalnode 3 格式化namenode
在一台namenode上执行：
hdfs namenode -format 这个步骤会连接journalnode,然后会把journalnode也格式化掉
4 启动刚刚格式化的namenode上的hdfs:
cd $HADOOP_HOME/sbin; ./start-dfs.sh 5 在另一台namenode上执行：
hdfs namenode -bootstrapStandby 6 验证手动fail over
在任意一个namenode上执行：
hdfs haadmin -help 可以查看命令用法，这里我们用
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
获取两个namenode的状态，有两种状态：standby , active
手动切换状态：
hdfs haadmin -failover nn1 nn2 成功的化，nn2就成了active状态了
7 用zookeeper自动切换
7.1 在其中一个namenode上初始化zkfc
hdfs zkfc -formatZK 这步会尝试连接zookeeper上的2181端口，并在zookeeper里面创建一个znode
7.2 在namenode上启动hdfs
cd $HADOOP_HOME; ./start-dfs.sh 7.3 验证进程是否都启动成功
$ jps
12277 NameNode
12871 Jps
12391 DFSZKFailoverController
$ jps
7698 DataNode
7787 JournalNode
7933 Jps
7.4 验证failover自动切换
杀掉active namenode上的所有hadoop进程：
kill -9 然后查看另外一个namenode是否已经从standby 变为active状态，
注意：配置文件中默认每5妙钟检测一次健康状态
页:
[1]