hadoop在ubuntu上的安装流程

clh899

　　第一部分 安装ssh服务

• 更新源列表
  

　　打开"终端窗口"，输入"sudo apt-get update"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。

• 安装openssh-server
  

　　在终端中输入: sudo apt-get install openssh-server

• 查看查看ssh服务是否启动
  

　　打开"终端窗口"，输入"sudo ps -e |grep ssh"-->回车-->有sshd,说明ssh服务已经启动，如果没有启动，输入"sudo service ssh start"-->回车-->ssh服务就会启动。

　　没有找到ssh服务。

　　然后再输入上述命令，查询ssh服务。

　　第二部分，安装Hadoop
　　在linux打开火狐浏览器，输入地址http://hadoop.apache.org，打开hadoop的页面，在Getting Started的下面有个Downdoad链接，点击

　　选择2.9.0,  2.9.1或者2.8.3,  2.7.6几个2.X版本中的一个   binary链接，进入

　　点击第一个镜像链接，进入下载页面
　　3、进入下载安装包的目录
　　cd /home/wangbin/Downloads
　　4、执行解压命令

　　查看Downloads目录下的文件和目录，会看到多了一个目录hadoop-2.9.0，这是安装包解压后的目录

　　5、将hadoop-2.9.0目录转移到usr/local/hadoop

　　6、查看usr/local/hadoop目录下的结构

　　bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用hadoop
　　etc：Hadoop配置文件所在目录，包括core-site.xml, hdfs-site.xml, mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件
　　include：对外提供的编程酷头文件（具体动态库和静态库在lib目录中），这些头文件均是用c++定义的，通常用于c++程序访问hdfs或者编写mapreduce程序
　　lib：该目录包含了Hadoop对外提供的的编程动态库和静态库，与include目录中的头文件结合使用。
　　libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录，启动参数（比如JVM参数）等基本信息。
　　sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本
　　share：Hadoop各个模块编译后的jar包所在目录
　　7、设置Hadoop环境变量

• 编辑~/.bashrc
  

　　增加如下代码
　　让环境变量立刻生效

　　8、修改Hadoop配置设置文件
　　下面要配置Hadoop，包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml
　　8.1 编辑Hadoop-env.sh

　　将原文本文件中的JAVA_HOME的设置改成JDK真实的地址

　　8.2 设置core-site.xml

　　8.3 修改yarn-site.xml

　　8.4 修改mapred-site.xml

　　8.5 设置Hdfs-site.xml
　　用于设置HDFS分布式文件系统，

　　9、重启虚拟机
　　10、创建并格式化HDFS目录
　　10.1 创建NameNode数据存储目录

　　10.2 创建DataNode数据存储目录

10.3 将Hadoop目录的所有者更改

　　11、编辑网络配置文件设置固定IP
　　11.1 编辑interfaces网络配置文件

　　设置网卡eth0的地址

　　11.2设置hostname

　　设置主机名

　　11.3 设置hosts
　　设置节点的主机名和相对应的IP地址

　　11.4 增加masters文件

　　11.5 增加slaves文件