hadoop常用的端口配置

ispsh

1 获取默认配置
　　配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:
　　1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。
　　2.浏览apache官网,三个配置文件链接如下:
　　http://hadoop.apache.org/common/docs/current/core-default.html
　　http://hadoop.apache.org/common/docs/current/hdfs-default.html
　　http://hadoop.apache.org/common/docs/current/mapred-default.html
　　这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。其中第一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
2 常用的端口配置
　　2.1 HDFS端口
　　参数
　　描述
　　默认
　　配置文件
　　例子值
　　fs.default.name namenode
　　namenode RPC交互端口
　　8020
　　core-site.xml
　　hdfs://master:8020/
　　dfs.http.address
　　NameNode web管理端口
　　50070
　　hdfs- site.xml
　　0.0.0.0:50070
　　dfs.datanode.address
　　datanode　控制端口
　　50010
　　hdfs -site.xml
　　0.0.0.0:50010
　　dfs.datanode.ipc.address
　　datanode的RPC服务器地址和端口
　　50020
　　hdfs-site.xml
　　0.0.0.0:50020
　　dfs.datanode.http.address
　　datanode的HTTP服务器和端口
　　50075
　　hdfs-site.xml
　　0.0.0.0:50075
　　2.2 MR端口
　　参数
　　描述
　　默认
　　配置文件
　　例子值
　　mapred.job.tracker
　　job-tracker交互端口
　　8021
　　mapred-site.xml
　　hdfs://master:8021/
　　job
　　tracker的web管理端口
　　50030
　　mapred-site.xml
　　0.0.0.0:50030
　　mapred.task.tracker.http.address
　　task-tracker的HTTP端口
　　50060
　　mapred-site.xml
　　0.0.0.0:50060
　　2.3 其它端口
参数描述默认配置文件例子值dfs.secondary.http.addresssecondary NameNode web管理端口50090hdfs-site.xml0.0.0.0:50090