hadoop集群的安装配置

奥飞火千万电

#启动zookeeper集群　　
[hadoop@namenode ~]$ /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Starting zookeeper ... STARTED
　　
[hadoop@datanode1 ~]$ /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Starting zookeeper ... STARTED
　　
[hadoop@datanode2 ~]$ /usr/local/zookeeper-3.4.6/bin/zkServer.sh start
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Starting zookeeper ... STARTED
　　

　　
#查看zookeeper集群状态
　　
[hadoop@namenode ~]$ /usr/local/zookeeper-3.4.6/bin/zkServer.sh status
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Mode: follower
　　
[hadoop@namenode ~]$ ssh datanode1 '/usr/local/zookeeper-3.4.6/bin/zkServer.sh status'
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Mode: leader
　　
[hadoop@namenode ~]$ ssh datanode2 '/usr/local/zookeeper-3.4.6/bin/zkServer.sh status'
　　
JMX enabled by default
　　
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
　　
Mode: follower
　　

　　
#启动hadoop集群
　　
[hadoop@namenode ~]$ /usr/local/hadoop/sbin/start-all.sh
　　
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
　　
16/04/06 16:05:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
　　
Starting namenodes on [namenode]
　　
namenode: starting namenode, logging to /usr/local/hadoop-2.6.4/logs/hadoop-hadoop-namenode-namenode.out
　　
datanode1: datanode running as process 2899. Stop it first.
　　
datanode2: starting datanode, logging to /usr/local/hadoop-2.6.4/logs/hadoop-hadoop-datanode-datanode2.out
　　
Starting secondary namenodes [0.0.0.0]
　　
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop-2.6.4/logs/hadoop-hadoop-secondarynamenode-namenode.out
　　
16/04/06 16:06:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
　　
starting yarn daemons
　　
starting resourcemanager, logging to /usr/local/hadoop-2.6.4/logs/yarn-hadoop-resourcemanager-namenode.out
　　
datanode1: starting nodemanager, logging to /usr/local/hadoop-2.6.4/logs/yarn-hadoop-nodemanager-datanode1.out
　　
datanode2: starting nodemanager, logging to /usr/local/hadoop-2.6.4/logs/yarn-hadoop-nodemanager-datanode2.out
　　

　　
#查看hadoop集群的状态
　　
[hadoop@namenode ~]$ jps
　　
1187 QuorumPeerMain
　　
1397 NameNode
　　
1978 Jps
　　
1580 SecondaryNameNode
　　
1724 ResourceManager
　　
[hadoop@namenode ~]$ ssh datanode1 'jps'
　　
2899 DataNode
　　
3699 Jps
　　
3444 QuorumPeerMain
　　
3576 NodeManager
　　
[hadoop@namenode ~]$ ssh datanode2 'jps'
　　
1168 QuorumPeerMain
　　
1481 Jps
　　
1257 DataNode
　　
1358 NodeManager
　　

　　
[hadoop@namenode ~]$ hadoop dfsadmin -report
　　
DEPRECATED: Use of this script to execute hdfs command is deprecated.
　　
Instead use the hdfs command for it.
　　

　　
16/04/06 16:07:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
　　
Configured Capacity: 206834581504 (192.63 GB)
　　
Present Capacity: 192312418304 (179.10 GB)
　　
DFS Remaining: 192312344576 (179.10 GB)
　　
DFS Used: 73728 (72 KB)
　　
DFS Used%: 0.00%
　　
Under replicated blocks: 0
　　
Blocks with corrupt replicas: 0
　　
Missing blocks: 0
　　

　　
-------------------------------------------------
　　
Live datanodes (2):
　　

　　
Name: 192.168.3.67:50010 (datanode1)
　　
Hostname: datanode1
　　
Decommission Status : Normal
　　
Configured Capacity: 103417290752 (96.31 GB)
　　
DFS Used: 28672 (28 KB)
　　
Non DFS Used: 7262519296 (6.76 GB)
　　
DFS Remaining: 96154742784 (89.55 GB)
　　
DFS Used%: 0.00%
　　
DFS Remaining%: 92.98%
　　
Configured Cache Capacity: 0 (0 B)
　　
Cache Used: 0 (0 B)
　　
Cache Remaining: 0 (0 B)
　　
Cache Used%: 100.00%
　　
Cache Remaining%: 0.00%
　　
Xceivers: 1
　　
Last contact: Wed Apr 06 16:07:35 CST 2016
　　

　　

　　
Name: 192.168.3.68:50010 (datanode2)
　　
Hostname: datanode2
　　
Decommission Status : Normal
　　
Configured Capacity: 103417290752 (96.31 GB)
　　
DFS Used: 45056 (44 KB)
　　
Non DFS Used: 7259643904 (6.76 GB)
　　
DFS Remaining: 96157601792 (89.55 GB)
　　
DFS Used%: 0.00%
　　
DFS Remaining%: 92.98%
　　
Configured Cache Capacity: 0 (0 B)
　　
Cache Used: 0 (0 B)
　　
Cache Remaining: 0 (0 B)
　　
Cache Used%: 100.00%
　　
Cache Remaining%: 0.00%
　　
Xceivers: 1
　　
Last contact: Wed Apr 06 16:07:35 CST 2016
　　

　　
#启动hbase
　　
[hadoop@namenode ~]$ /usr/local/hbase-1.2.0/bin/start-hbase.sh
　　

　　
#在namenode上查看状态
　　
[hadoop@namenode ~]$ jps
　　
1187 QuorumPeerMain        #zookeeper进程
　　
1397 NameNode              #hadoop master进程
　　
2154 HMaster               #hbase master进程
　　
1580 SecondaryNameNode     #hadoop进程
　　
1724 ResourceManager       #hadoop进程
　　
2415 Jps
　　

　　
#查看datanode1的状态
　　
[hadoop@namenode ~]$ ssh datanode1 'jps'
　　
2899 DataNode              #hadoop datanode节点进程
　　
3444 QuorumPeerMain        #zookeeper进程
　　
5018 Jps
　　
4875 HRegionServer         #hbase进程
　　

　　
#查看datanode2的状态
　　
[hadoop@namenode ~]$ ssh datanode2 'jps'
　　
1168 QuorumPeerMain
　　
3074 Jps
　　
2872 HRegionServer
　　
1257 DataNode
　　

　　
#进入hbase shell进行验证
　　
[hadoop@namenode ~]$ /usr/local/hbase-1.2.0/bin/hbase shell
　　
HBase Shell; enter 'help' for list of supported commands.
　　
Type "exit" to leave the HBase Shell
　　
Version 1.2.0, r25b281972df2f5b15c426c8963cbf77dd853a5ad, Thu Feb 18 23:01:49 CST 2016
　　

　　
hbase(main):001:0> list
　　
TABLE
　　
0 row(s) in 0.3220 seconds
　　

　　
=> []
　　
hbase(main):002:0> status
　　
1 active master, 2 backup masters, 1 servers, 0 dead, 2.0000 average load
　　

　　
hbase(main):003:0> quit