Hadoop平台搭建（VMware、CentOS）

阿娇开发978

　　1、硬件平台

• Intel(R) Xeon(R) CPU E7-4850 v3 @ 2.20GHz 2.19GHz(4处理器)
  
• 安装内存384GB
  

　　2、软件平台

• Windows Server 2012 R2 Standard Edition, 64-bit (Build 9600) 6.3.9600
  
• VMware Workstation 10.0.1 build-1379776
  

　　3、虚拟平台（基于硬件自由配置）

• 虚拟CPU-Intel(R) Xeon(R) CPU E7-4850 v3 @ 2.20GHz（双芯八核）
  
• 虚拟内存-8GB
  
• 镜像文件-CentOS-6.5-x86_64-bin-DVD1.iso
  

　　4、虚拟集群（均默认安装、IP地址由VMware分配）

IP地址
计算机名
root密码
用户名
密码
192.168.222.134
Master.Hadoop
master
Administrator
admin
192.168.222.135
Slave1.Hadoop
slave1
Administrator
admin
192.168.222.136
Slave2.Hadoop
slave2
Administrator
admin
192.168.222.137
Slave3.Hadoop
slave3
Administrator
admin　　=======================此后所有操作均以root用户权限执行且需网络访问正常========================
　　5、 配置JDK（于所有主机）
　　该镜像中自带有openjdk的最小化版本（/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64/），该版本只有运行时环境(jre)，无法满足Hadoop开发要求，需要更新。
　　①卸载自带版本
　　yum -y remove java-1.7.0-openjdk*
　　yum -y remove tzdata-java.noarch
　　②确认卸载完毕
　　yum list installed | grep java
　　③安装新版本jdk
　　yum list java*　　//先查看所有可用版本
　　yum -y install java-1.7.0-openjdk*
　　④查看已安装版本
　　java -version
　　⑤安装完毕
　　位置：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64/
　　⑥配置JAVA环境变量
　　vi /etc/profile
　　追加以下：
　　export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

　　export>　　export PATH=$PATH:$JAVA_HOME/bin
　　⑦使配置生效
　　source /etc/profile
　　⑧查看是否生效
　　env　　//查看所有环境变量
　　6、配置SSH无密码登录（①、②于所有主机，③-⑤于Master）
　　①开启SSH登录
　　vi /etc/ssh/sshd_config
　　找到并去掉以下两行的注释
　　#RSAAuthentication yes
　　#PubkeyAuthentication yes
　　②生成公钥RSA key
　　ssh-keygen -t rsa　　//不输入密码，一直回车
　　③合并公钥到authorized_keys文件
　　cd /root/.ssh

　　cat>　　ssh root@192.168.222.135 cat ~/.ssh/id_rsa.pub >> authorized_keys　　//会要求输入root密码
　　ssh root@192.168.222.136 cat ~/.ssh/id_rsa.pub >> authorized_keys　　//会要求输入root密码
　　ssh root@192.168.222.137 cat ~/.ssh/id_rsa.pub >> authorized_keys　　//会要求输入root密码
　　④将Master上的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录中
　　scp authorized_keys root@192.168.222.135:/root/.ssh
　　scp known_hosts root@192.168.222.135:/root/.ssh
　　scp authorized_keys root@192.168.222.136:/root/.ssh
　　scp known_hosts root@192.168.222.136:/root/.ssh
　　scp authorized_keys root@192.168.222.137:/root/.ssh
　　scp known_hosts root@192.168.222.137:/root/.ssh
　　⑤配置成功，ssh登录测试
　　ssh root@192.168.222.135
　　7、安装Hadoop 2.7.3（于Master主机）
　　①下载hadoop-2.7.3.tar.gz
　　②在/home/下建立hadoop文件夹
　　mkdir /home/hadoop
　　③解压文件
　　tar -zxvf hadoop-2.7.3.tar.gz
　　④在hadoop-2.7.3目录下建立子目录
　　cd /home/hadoop/hadoop-2.7.3
　　mkdir hdfs
　　cd hdfs
　　mkdir data
　　mkdir name
　　mkdir temp
　　8、配置Hadoop（于Master主机）
　　操作目录：/home/hadoop/hadoop-2.7.3/etc/hadoop
　　①配置core-site.xml
　　

<configuration>　　<property>
　　<name>fs.defaultFS</name>
　　<value>hdfs://192.168.222.134:9000</value>
　　</property>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>file:/home/hadoop/hadoop-2.7.3/hdfs/temp</value>
　　</property>
　　<property>
　　<name>io.file.buffer.size</name>
　　<value>131702</value>
　　</property>
　　
</configuration>
　　

　　②配置hdfs-site.xml
　　

<configuration>　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>file:/home/hadoop/hadoop-2.7.3/hdfs/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>file:/home/hadoop/hadoop-2.7.3/hdfs/data</value>
　　</property>
　　<property>
　　<name>dfs.replication</name>
　　<value>2</value>
　　</property>
　　<property>
　　<name>dfs.namenode.secondary.http-address</name>
　　<value>192.168.222.134:9001</value>
　　</property>
　　<property>
　　<name>dfs.webhdfs.enabled</name>
　　<value>true</value>
　　</property>
　　<!--下一项可能非必要 -->
　　<property>
　　<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
　　<value>false</value>
　　</property>
　　
</configuration>
　　

　　③配置mapred-site.xml（先依照mapred-site.xml.template创建mapred-site.xml，再进行修改）
　　

<configuration>　　<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.address</name>
　　<value>192.168.222.134:10020</value>
　　</property>
　　<property>
　　<name>mapreduce.jobhistory.webapp.address</name>
　　<value>192.168.222.134:19888</value>
　　</property>
　　
</configuration>
　　

　　④配置yarn-site.xml
　　

<configuration>　　<property>
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
　　<value>org.apache.hadoop.mapred.ShuffleHandler</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.address</name>
　　<value>192.168.222.134:8032</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.scheduler.address</name>
　　<value>192.168.222.134:8030</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　<value>192.168.222.134:8031</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.admin.address</name>
　　<value>192.168.222.134:8033</value>
　　</property>
　　<property>
　　<name>yarn.resourcemanager.webapp.address</name>
　　<value>192.168.222.134:8088</value>
　　</property>
　　<!--
　　<property>
　　<name>yarn.nodemanager.resource.memory-mb</name>
　　<value>768</value>
　　</property>
　　-->
　　
<!-- Site specific YARN configuration properties -->
　　

　　
</configuration>
　　

　　⑤配置slaves文件
　　vi /home/hadoop/hadoop-2.7.3/etc/hadoop/slaves
　　清空并添加：
　　192.168.222.135
　　192.168.222.136
　　192.168.222.137
　　⑥将Hadoop配置到Slave集群中
　　scp -r /home/hadoop root@192.168.222.135:/home
　　scp -r /home/hadoop root@192.168.222.136:/home
　　scp -r /home/hadoop root@192.168.222.137:/home
　　⑦配置Hadoop环境变量（于所有主机）
　　vi /etc/profile
　　追加以下：
　　export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
　　export PATH=$PATH:$HADOOP_HOME/sbin
　　export PATH=$PATH:$HADOOP_HOME/bin
　　保存退出后执行：
　　source /etc/profile
　　可查看环境变量是否生效：
　　env
　　9、配置hosts(于所有主机)
　　vi /etc/hosts
　　

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4　　
192.168.222.134 Master.Hadoop
　　
192.168.222.135 Slave1.Hadoop
　　
192.168.222.136 Slave2.Hadoop
　　
192.168.222.137 Slave3.Hadoop
　　
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
　　

　　10、防火墙配置（于所有主机）
　　service iptables status　　//查看防火墙状态
　　service iptables stop　　//关闭防火墙
　　Hadoop启动前保证集群所有主机防火墙为关闭状态
　　11、启动Hadoop（于Master主机）
　　操作目录为：/home/hadoop/hadoop-2.7.3
　　①重置namenode
　　bin/hdfs namenode -format
　　②启动Hadoop
　　sbin/start-all.sh
　　③查看进程启动情况
　　jps　　//Master上的结果

　　jps　　//Slave上的结果

　　④查看hdfs虚拟磁盘信息（确认Hadoop是否正常启动）
　　bin/./hadoop dfsadmin -report

　　还有更多信息未截图...
　　⑤在浏览器中查看启动情况
　　http://192.168.222.134:50070

　　还有更多信息未截图...
　　⑥关闭hadoop
　　sbin/stop-all.sh
　　12、第一个mapreduce任务——wordcount
　　操作目录为：Master:/home/hadoop/hadoop-2.7.3
　　①在hdfs上建立测试目录
　　bin/hdfs dfs -mkdir -p /data/input
　　②添加测试文本（README.txt）
　　hdfs dfs -put README.txt /data/input
　　③确认测试文本存在
　　bin/hdfs dfs -ls /data/input

　　④执行wordcount任务
　　hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result
　　⑤查看执行结果
　　hdfs dfs -cat /data/output/result/part-r-00000
　　也可以转移到本地文件中查看结果：
　　hdfs dfs -cat /data/output/result/part-r-00000 >> result.txt
　　gedit result.txt

　　还有更多信息未截图...
　　⑥在浏览器中查看mapreduce任务
　　http://192.168.222.134:8088/cluster

　　******************************************************************************************************
　　******************************************************************************************************
　　异常处理：
　　1、出了异常一定要记得看日志，可以在浏览器上看（http://192.168.222.134:50070），也可以直接去找日志文件（/home/hadoop/hadoop-2.7.3/logs）
　　2、启动后jps查看进程，发现Slave上datanode启动失败(或者显示有datanode进程但实际上日志已记录错误)。这种情况一般是由于多次执行11-①的指令导致Master和Slave的clusterID版本不一致。可以分别在Master:/home/hadoop/hadoop-2.7.3/hdfs/name/current/VERSION和Slave:/home/hadoop/hadoop-2.7.3/hdfs/data/current/VERSION中找到clusterID信息，确认是否不一致。解决方案是，关闭hadoop后，将所有Slave:/home/hadoop/hadoop-2.7.3/hdfs/data下的文件删除，之后重新启动hadoop。
　　3、执行11-④指令查看HDFS信息时，发现Configured Capacity: 0 (0 KB) Present Capacity: 0 (0 KB) DFS Remaining: 0，类似以下：

　　此时需要检查每台主机的/etc/hosts文件是否配置正确，因为通常是由于主机间无法识别hostname而导致通信错误。只要按照步骤10配置应该不会出现这类错误。
　　参考链接Top 5（排名分先后）：
　　1、搭建hadoop环境，CentOS6.5安装Hadoop2.7.3完整流程 - u014019693的博客 - 博客频道 - CSDN.NET
　　2、Hadoop2.7.3完全分布式集群搭建和测试 - 如果一切重来 - 博客频道 - CSDN.NET
　　3、hadoop 2.7.3 启动Hadoop HDFS时的“Incompatible clusterIDs” - kamereon的博客 - 博客频道 - CSDN.NET
　　4、How-to: Resolve "Datanode denied communication with namenode because hostname cannot be resolved (ip - lulynn的博客 - 博客频道 - CSDN.NET
　　5、ubuntu - Hadoop: java.net.UnknownHostException: hadoop-slave-2 - Stack Overflow