继上文搭建hadoop-2.6.0三台节点部署

43tw2e2

http://www.iyunv.com/thread-41110-1-1.html

Ssh互信建立完成以后，接下来咱们开始搭建hadoop

• 从ApacheDownload Mirrors下载haoop-2.6.0.
• 从JavaSE - Downloads | Oracle Technology Network | Oracle下载jdk,我下载的是1.8.0_25x86和1.8.0_25x64因为我的三台主机两台ubuntu是32位的，另一台是64位的，所以下载了两个。如果要看自己ubuntu是多少位的：file /sbin/init
  下载完成后，在home下面建目录cloud,把压缩包解压到该文件夹
  执行sudo gedit /etc/profile配置JAVA环境：在最后面
  #set java environment
  JAVA_HOME=/home/yuchengcan/cloud/jdk1.8.0_25
  exportJRE_HOME=/home/yuchengcan/cloud/jdk1.8.0_25/jre
  exportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
  exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
  执行source /etc/profile
  
  

      jdk安装完成

• 在home下建立文件夹hadoop将压缩包解压进去
• Sudo chmod –R777 hadoop
• 修改环境变量信息
  /Hadoop-2.6.0/etc/hadoop 下hadoop-env.sh
• Hadoop伪分布设置：
  对配置参数有疑惑参考：ApacheHadoop 2.6.0 - Hadoop Map Reduce Next Generation-2.6.0 - Cluster Setup
  /Hadoop-2.6.0/etc/Hadoop 下
  
• 修改配置文件core-site.xml
  
  
  Hadoop.tmp.dir: Hadoop的默认临时路径（tmp需要提前建）
• 修改配置文件hdfs-site.xml（分布式文件系统）
  第一个性质栏目：数据需要备份的数量（node1 node3）
  第二个性质栏目：指定命名节点目录，也就是masters  node20
  第三个性质栏目：指定数据节点目录，也就是slaves    node1 node3
  (dfs data name文件夹需要提前建立)
• 修改配置文件mapred-site（mapreduce）
• Masters(没有的话添加)
  删去localhost  填写node20(举例)
• Slaves
  删去 localhost  填写node1 node3
• Scp Hadoop-2.6.0 node1:/tmp
  Scp Hadoop-2.6.0 node3:/tmp
  
  

      保证每个节点的hadoop相同

      

文件配置完成，初始化文件系统：

在/Hadoop-2.6.0  下/bin/hdfs namenode  -format

• 开启namnode等进程
  Sbin/start-dfs.sh
  jps
• 查看集群状态：
  Hadoop dfsadmin  -report
  
  

       下来看看我的一些错误:

• 目的文件夹没有写权限
  改正：先转到tmp再拷贝过去
• 配置文件tmp与dfs的路径弄错：
• 64位的ubuntu装了32位的jdk，启动不起来：
  下载x64jdk