伪分布式模式的Hadoop环境搭建

lmwtzw6u5l0

　　一、本文说明：
　　本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式，单机上的分布式并不是真正的伪分布式，而是使用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的，两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置，数据节点和名字节点均是一个机器。
　　二、环境说明：
　　操作系统：Cent Os 6.7
　　hadoop版本：hadoop-2.7.2
　　JDK版本：jdk1.8_77
　　备注：基于独立模式基础上搭建，参考文章：独立模式的Hadoop环境搭建。
　　三、基本环境配置
　　1、针对不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夹
　　独立模式：hadoop_alone（建议）
　　伪分布模式：hadoop_presudo（建议）
　　完全分布模式：hadoop_cluster（建议）
　　2、参数配置目录的指定方式
　　A、默认方式：${HADOOP_HOME}/etc/hadoop/*.xml
　　B、通过启动参数指定配置目录
　　Start-dfs.sh –config=/path
　　C、通过环境变量HADOOP_CONF_DIR=/path(/etc/profile)
　　备注：因为搭建伪分布模式：我这里配置的${HADOOP_HOME}/etc/hadoop_presudo

　　三、环境搭建
　　1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml

　　2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml

　　3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml

　　4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml

　　5、格式化HDFS文件系统

　　6、启动HDFS和YRAN的守护进程（start-dfs.sh,start-yarn.sh）

　　备注:停止进程是按照YARN先关闭 然后关闭HDFS，不要频繁的格式化名称节点
　　7、通过fs操作HDFS里面的文件
　　A、创建目录：hadoop fs -mkdir -p /user/Ubuntu
　　B、显示目录：hadoop fs -ls -R /
　　……
　　8、访问：http://IP:50070