hadoop2.x入门：Hadoop的启动方式

g87616758

　　本内容基于hadoop-2.7.2
　　1. hadoop启动方式
　　
我们执行hadoop安装目录下的sbin/xxx-xxx.sh
　　

#各服务组件逐一启动：　　
hdfs
　　hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
　　
yarn
　　yarn-daemon.sh start|stop resourcemanager|nodemanager
　　
mapreduce
　　mr-jobhistory-daemon.sh start|stop historyserver
　　
#各模块分开启动
　　
hdfs
　　start-dfs.sh|stop-dfs.sh
　　
yarn
　　yarn-dfs.sh|yarn-dfs.sh
　　
#全部启动
　　
start-all.sh|stop-all.sh
　　

　　初始学习阶段可以使用start-all.sh启动全部。
　　2. 通过web了解Hadoop的运行活动
　　
注意：是hadoop2.x，因为hadoop2.x和hadoop1.x配置和默认端口不一样

• 通过用浏览器和http访问jobtracker所在节点的8088端口监控jobtracker
  
• 通过用浏览器和http访问namenode所在节点的50070端口监控集群
  

　　例如：http://master:8088
　　3. 常用端口
　　Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。
　　这里包含我们使用到的组件：HDFS, YARN

组件
节点
默认端口
配置
用途说明
HDFS
DataNode
50010
dfs.datanode.address
datanode服务端口，用于数据传输
HDFS
DataNode
50075
dfs.datanode.http.address
http服务的端口
HDFS
DataNode
50475
dfs.datanode.https.address
https服务的端口
HDFS
NameNode
50070
dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470
dfs.namenode.https-address
https服务的端口
HDFS
NameNode
8020
fs.defaultFS
接收Client连接的RPC端口，用于获取文件系统metadata信息。
HDFS
journalnode
8485
dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480
dfs.journalnode.http-address
HTTP服务
YARN
ResourceManager
8032
yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManager
8030
yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManager
8031
yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManager
8033
yarn.resourcemanager.admin.address
IPC
YARN
ResourceManager
8088
yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040
yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042
yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041
yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020
mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888
mapreduce.jobhistory.webapp.address
http服务端口　　4.参考资料
　　
hadoop2.x常用端口及定义方法