Java+大数据开发

soyizi

1集群简介
　　HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起
　　HDFS集群：
　　负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
　　YARN集群：
　　负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager
　　本集群搭建案例，以3节点为例进行搭建，角色分配如下：
　　

hdp-node-01    NameNode  SecondaryNameNode ResourceManager　　
hdp
-node-02    DataNode    NodeManager　　
hdp
-node-03    DataNode    NodeManager　　


2服务器准备
　　本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：
　　▨ Vmware 12.0
　　▨ Centos  7.0  64bit

3网络环境准备
　　▨ 采用NAT方式联网
　　▨ 网关地址：192.168.33.1
　　▨ 3个服务器节点IP地址：192.168.33.101、192.168.33.102、192.168.33.103
　　▨ 子网掩码：255.255.255.0

4服务器系统设置
　　▨ 添加HADOOP用户
　　▨ 为HADOOP用户分配sudoer权限
　　▨ 同步时间
　　▨ 设置主机名
　　◈ hdp-node-01
　　◈ hdp-node-02
　　◈ hdp-node-03
　　▨ 配置内网域名映射：
　　◈ 192.168.33.101          hdp-node-01
　　◈ 192.168.33.102          hdp-node-02
　　◈ 192.168.33.103          hdp-node-03
　　▨ 配置ssh免密登陆
　　▨ 配置防火墙

5JDK环境安装
　　▨ 上传jdk安装包
　　▨ 规划安装目录  /home/hadoop/apps/jdk_1.7.65
　　▨ 解压安装包
　　▨ 配置环境变量 /etc/profile

6HADOOP安装部署
　　▨ 上传HADOOP安装包
　　▨ 规划安装目录  /home/hadoop/apps/hadoop-2.6.5
　　▨ 解压安装包 tar –zxvf  hadoop-2.6.5 –C apps/
　　▨ 修改配置文件  $HADOOP_HOME/etc/hadoop/
　　最简化配置如下：
　　vi  hadoop-env.sh
　　

# The java implementation to use.　　
export JAVA_HOME
=/home/hadoop/apps/jdk1.7.0_45　　

　　vi  core-site.xml
　　

<configuration>　　
<property>
　　
<name>fs.defaultFS</name>
　　
<value>hdfs://hdp-node-01:9000</value>
　　
</property>
　　
<property>
　　
<name>hadoop.tmp.dir</name>
　　
<value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value>
　　
</property>
　　
</configuration>
　　

　　vi  hdfs-site.xml
　　

<configuration>　　
<property>
　　
<name>dfs.replication</name>
　　
<value>1</value>
　　
</property>
　　
<property>
　　
<name>dfs.secondary.http.address</name>
　　
<value>hdp-node-01:50090</value>
　　
</property>
　　
</configuration>
　　

　　vi  mapred-site.xml
　　

<configuration>　　
<property>
　　
<name>mapreduce.framework.name</name>
　　
<value>yarn</value>
　　
</property>
　　
</configuration>
　　

　　vi  yarn-site.xml
　　

<configuration>　　
<property>
　　
<name>yarn.resourcemanager.hostname</name>
　　
<value>hadoop01</value>
　　
</property>
　　
<property>
　　
<name>yarn.nodemanager.aux-services</name>
　　
<value>mapreduce_shuffle</value>
　　
</property>
　　
</configuration>
　　

　　vi  salves
　　

hdp-node-02　　
hdp-node-03
　　


7启动集群
　　初始化HDFS
　　

bin/hadoop  namenode  -format　　

　　启动HDFS
　　

sbin/start-dfs.sh　　

　　启动YARN
　　

sbin/start-yarn.sh　　

　　查看集群状态
　　

jps　　
bin/hdfs dfsadmin -report
　　


8测试——运行一个mapreduce程序
　　在HADOOP安装目录下，运行一个示例mr程序
　　

cd $HADOOP_HOME/share/hadoop/mapreduce/　　
hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input  /wordcount/output
　　


9HDFS使用
　　1、查看集群状态
　　命令：   hdfs  dfsadmin  –report

　　可以看出，集群共有3个datanode可用
　　也可打开web控制台查看HDFS集群信息，在浏览器打开http://hdp-node-01:50070/

　　2、上传文件到HDFS
　　▣  查看HDFS中的目录信息
　　命令：   hadoop  fs  –ls  /

　　▣    上传文件
　　命令：   hadoop  fs  -put  ./ scala-2.10.6.tgz  to  /

作者：杰瑞教育　　出处：http://www.cnblogs.com/jerehedu/
　　版权声明：本文版权归烟台杰瑞教育科技有限公司和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

　　技术咨询：