Hadoop伪分布式模式部署(接单机模式)

zsyzhou

　　一、相关配置文件修改
　　①修改core-site.xml:
$ su -l hadoop　　
$ cd /usr/local/hadoop/
　　
$ sudo vi etc/hadoop/core-site.xml
　　

　　
   
　　
        fs.defaultFS
　　
        hdfs://localhost:9000
　　
   
　　

　　注:
　　fs.defaultFS:描述集群中NameNode结点的URI(包括协议、主机名称、端口号)，集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互，以取得文件的块列表。
　　②修改hdfs-site.xml
$ sudo vi etc/hadoop/hdfs-site.xml　　

　　
   
　　
        dfs.replication
　　
        1
　　
   
　　

　　注:
　　dfs.replication:其决定着系统里文件块的数据备份个数。对于一个实际的应用，它应该被设为3（这个数字并没有上限，但更多的备份可能并没有作用，而且会占用更多的空间）。少于三个的备份，可能会影响到数据的可靠性(系统故障时，也许会造成数据丢失)
　　③修改yarn-site.xml
$ sudo vi etc/hadoop/yarn-site.xml　　

　　
   
　　
        yarn.nodemanager.aux-services
　　
        mapreduce_shuffle
　　
   
　　

　　④修改mapred-site.xml
$ sudo cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml　　
$ sudo vi etc/hadoop/mapred-site.xml
　　

　　
   
　　
        mapreduce.framework.name
　　
        yarn
　　
   
　　

　　注:
　　mapreduce.framework.name:指定执行mapreduce任务所使用的运行框架
　　⑤修改 hadoop-env.sh
$ sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh　　
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64     ##修改JAVA_HOME

　　二、格式化HDFS文件系统
　　①格式化HDFS文件系统
$ hadoop namenode -format　　
/************************************************************
　　
STARTUP_MSG: Starting NameNode
　　
STARTUP_MSG:   host = ubuntu/127.0.1.1
　　
STARTUP_MSG:   args = [-format]
　　
STARTUP_MSG:   version = 2.7.1
　　
......
　　
STARTUP_MSG:   java = 1.7.0_91
　　
************************************************************/
　　
......
　　
/************************************************************
　　
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
　　
************************************************************/
　　②启动Hadoop集群
　　a.启动hdfs守护进程
$ start-dfs.sh　　b.启动yarn框架
$ start-yarn.sh　　c.检查是否运行成功
　　输入命令JPS查看进程

　　浏览器输入：http://localhost:8088进入ResourceManager管理页面

　　浏览器输入：http://localhost:50070进入HDFS页面

　　三、测试验证
　　①创建相关文件夹（要一步一步的创建）:
$ hadoop dfs -mkdir /user　　
$ hadoop dfs -mkdir /user/hadoop
　　
$ hadoop dfs -mkdir /user/hadoop/input
　　②新建测试文件
$ vi test.txt　　
hello hadoop
　　
hello World
　　
Hello Java
　　
Ubuntu System
　　③将测试文件放到测试目录中
$ hadoop dfs -put test.txt /user/hadoop/input　　附:http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html