大数据学习系列之一 ----- Hadoop环境搭建(单机)

菜蜂

一、环境选择

1，服务器选择
　　阿里云服务器:入门型(按量付费)
　　操作系统:linux  CentOS 6.8
　　Cpu：1核
　　内存：1G
　　硬盘:40G
　　ip:39.108.77.250

2，配置选择
　　JDK:1.8          （jdk-8u144-linux-x64.tar.gz）
　　Hadoop:2.8.2  (hadoop-2.8.2.tar.gz)

3，下载地址
　　官网地址:
　　JDK：
　　http://www.oracle.com/technetwork/java/javase/downloads
　　Hadopp:
　　http://www.apache.org/dyn/closer.cgi/hadoop/common
　　百度云:
　　链接：http://pan.baidu.com/s/1pLqS4kF 密码：yb79

二、服务器的相关配置
　　在配置Hadoop之前，应该先做以下配置

1，更改主机名
　　首先更改主机名，目的是为了方便管理。
　　输入:
　　

hostname 　　

　　查看本机的名称
　　然后输入:
　　

vim /etc/sysconfig/network　　

　　修改主机名称
　　将HOSTNAME 的名称更改为你想要设置的名称

　　注:主机名称更改之后，要重启(reboot)才会生效。
　　输入
　　

vim /etc/hosts　　

　　添加 主机IP 和对应的主机名称，做映射。

　　注:在配置文件中使用主机名的话，这个映射必须做！

2，关闭防火墙
　　关闭防火墙，方便外部访问。
　　CentOS 7版本以下输入:
　　关闭防火墙
　　

service   iptables stop　　

　　CentOS 7 以上的版本输入：
　　

systemctl   stop   firewalld.service　　

3，时间设置
　　输入:
　　

date　　

　　查看服务器时间是否一致，若不一致则更改
　　更改时间命令
　　

date -s ‘MMDDhhmmYYYY.ss’　　

三、Hadoop环境安装

1，下载jdk、hadoop
　　将下载下来的 jdk、hadoop 解压包放在home 目录下
　　并新建java、hadoop文件夹

3.1.1解压文件
　　输入:
　　tar  -xvf   jdk-8u144-linux-x64.tar.gz
　　tar  -xvf   hadoop-2.8.2.tar.gz
　　解压jdk和hadoop ,分别移动文件到java和hadoop文件下，
　　并将文件夹重命名为jdk1.8和hadoop2.8

2，JDK环境配置
　　首先输入
　　

java -version 　　

　　查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

3.2.1 profile 文件更改
　　编辑 /etc/profile 文件
　　输入:
　　

vim /etc/profile　　

　　整体的配置文件:
　　

export JAVA_HOME=/home/java/jdk1.8　　
export JRE_HOME=/home/java/jdk1.8/jre

　　
export>　　
export PATH=.:${JAVA_HOME}/bin:$PATH
　　

　　注: JAVA_HOME的路径是 JDK的路径
　　使用vim 编辑之后 记得输入
　　

source /etc/profile 　　

　　使配置生效
　　配置完后，输入java -version 查看版本信息

3，Hadoop 环境配置

3.3.1 profile 文件更改
　　编辑 /etc/profile 文件
　　输入:
　　

vim /etc/profile　　

　　整体的配置文件:
　　

export HADOOP_HOME=/home/hadoop/hadoop2.8　　
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
　　
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
　　
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
　　

　　输入:
　　

source  /etc/profile　　

　　使配置生效
　　修改配置文件

3.3.2新建文件夹
　　在修改配置文件之前，现在root目录下建立一些文件夹。
　　输入:
　　

mkdir  /root/hadoop　　
mkdir  /root/hadoop/tmp
　　
mkdir  /root/hadoop/var
　　
mkdir  /root/hadoop/dfs
　　
mkdir  /root/hadoop/dfs/name
　　
mkdir  /root/hadoop/dfs/data
　　

　　注:在root目录下新建文件夹是防止被莫名的删除。
　　首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/  目录下

3.3.3修改 core-site.xml
　　输入:
　　

vim core-site.xml　　

　　在<configuration>添加:
　　

　　

　　hadoop.tmp.dir
　　/root/hadoop/tmp
　　Abase for other temporary directories.
　　
　　
　　fs.default.name
　　hdfs://test1:9000
　　
　　

　　

　　说明: test1 可以替换为主机的ip。

3.3.4修改 hadoop-env.sh
　　输入:
　　

vim hadoop-env.sh　　

　　将${JAVA_HOME} 修改为自己的JDK路径
　　

export   JAVA_HOME=${JAVA_HOME}　　

　　修改为：
　　

export   JAVA_HOME=/home/java/jdk1.8　　

3.4.5修改 hdfs-site.xml
　　输入:
　　

vim hdfs-site.xml　　

　　在<configuration>添加:
　　

　　dfs.name.dir
　　/root/hadoop/dfs/name
　　Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
　　

　　

　　dfs.data.dir
　　/root/hadoop/dfs/data
　　Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
　　

　　

　　dfs.replication
　　2
　　

　　

　　dfs.permissions
　　false
　　need not permissions
　　

　　

　　说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.4.6 修改mapred-site.xml
　　如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
　　输入:
　　

vim mapred-site.xml　　

　　修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:
　　

　　mapred.job.tracker
　　test1:9001
　　

　　

　　mapred.local.dir
　　/root/hadoop/var
　　

　　

　　mapreduce.framework.name
　　yarn
　　

　　

　　使用的命令:

　　到此 Hadoop 的单机模式的配置就完成了。

四、Hadoop启动
　　第一次启动Hadoop需要初始化
　　切换到 /home/hadoop/hadoop2.8/bin目录下输入
　　

  ./hadoop  namenode  -format　　

　　初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。

　　启动Hadoop 主要是启动HDFS和YARN
　　切换到/home/hadoop/hadoop2.8/sbin目录
　　启动HDFS
　　输入:
　　

start-dfs.sh　　

　　登录会询问是否连接，输入yes ，然后输入密码就可以了

　　启动YARN
　　输入:
　　

start-yarn.sh　　

　　可以输入 jps 查看是否成功启动
　　在浏览器输入:
　　http://39.108.77.250:8088/cluster

　　输入:
　　http://39.108.77.250:50070

　　注:当时忘记截图了，这张使用的是本地用虚拟机搭建环境的图片。
　　到此，Hadoop的单机配置就结束了。