ubuntu下安装hadoop

542505989

　　
　　一.前言
　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构，说白了就是一个庞大的任务，一台机器处理不过来，就分割成若干个子任务，让若干个机器来处理，最后将结果汇总。刚接触hadoop可能理解的不透彻，但是这都不重要，先把它安装下来再说，这里把我的整个安装步骤纪录下来。
　　二.安装Hadoop
　　　　1.创建一个专门的hadoop管理员用户
　　　　命令行执行：
　　　　//创建组用户
　　　　sudo addgroup hadoop

　　　　sudo adduser -ingroup hadoop hadoop　　
　　　　//配置权限
　　　　sudo vim /etc/sudoers　
　　　　文件内添加 hadoop  ALL=(ALL:ALL) ALL
　　　　//创建hadoop文件夹并将属主用户改为hadoop
　　　　sudo mkdir /hadoop
　　　　sudo chown -R hadoop:hadoop hadoop
　　
　　　　2.配置hadoop用户ssh无密码登录
　　　　命令行执行：
　　　　su hadoop
　　　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　　　用ssh localhost测试一下是否还需输密码登录，如果还要密码，可能是根目录的权限问题。
　　　　
　　　　3.安装jdk
　　　　首先java -version看一下是否安装java环境，如出现jvm版本号信息，则表示已有java环境，我的是会出现系统默认安装的openjdk，这里我把它卸载重新安装了jdk，步骤如下：

　　　　卸载自带的openjdk：
　　　　sudo apt-get purge openjdk*
　　　　进入oracle官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载适合版本的jdk
　　　　将安装包jdk-8u45-linux-i586.gz解压并copy到/usr/java下
　　　　sudo tar -zxvf jdk-8u45-linux-i586.gz
　　　　cp -r jdk-8u45-linux-i586.gz /usr/java
　　　　配置环境变量：
　　　　sudo vim /etc/profile

　　　　写入：　　
　　export JAVA_HOME=/usr/java/jdk1.8.0 _45
　　export JRE_HOME=${JAVA_HOME}/jre
　　export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
　　export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin
　　保存退出执行
　　source /etc/profile
　　修改系统jdk：
　　　　命令行执行

　　sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0 _45/bin/java 300
　　sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0 _45/bin/javac 300
　　选择你新安装的jdk版本
　　sudo update-alternatives --config java
　　sudo update-alternatives --config javac
　　
　　最后再执行java -version看下java版本信息，如果失败可能是你安装的jdk不是你系统类型匹配的版本


　　4.安装hadoop　　官网下载hadoop，我下载的是hadoop-1.2.1.tar.gz
　　解压到之前新建的hadoop文件夹里
　　配置hadoop环境变量：　　
　　　　export HADOOP_HOME_WARN_SUPPRESS=1
　　export HADOOP_HOME=/hadoop/hadoop-1.2.1
　　　　export PATH=${PATH}:${HADOOP_HOME}/bin:${JAVA_HOME}/bin:${JRE_HOME}/bin
　　
　　进入conf文件夹更改4个配置文件：
　　　　1.hadopp-env.sh
　　　　

　　
　　　　2.mapred-site.xml
　　　　
　　
　　
　　　　3.core-site.xml
　　　　
　　
　　
　　　4.hdfs-site.xml

　　
　　这几个文件都只是一些简单的默认配置
　　格式化hdfs：
　　命令行执行
　　$HADOOP_HOME/bin/hadoop namenode -format
　　出现下图即成功
　　


　　启动hadoop:
　　命令行执行
　　$HADOOP_HOME/bin/start-all.sh
　　出现下图则成功
　　 　　
　　
　　停止hadoop的命令为：
　　$HADOOP_HOME/bin/stop-all.sh

至此，hadoop的简单搭建就完成了,接下来就是深入了解～～