hadoop部署

2168575

　　Hadoop对我来说是一个全新的东西，不知道它是啥，也不知道它能做什么。求懂的大神指点一二 。
　　花了差不多一个上午加半个下午的时间研究了一下官网（http://hadoop.apache.org/docs/current/index.html）的文档，成功搭建了Hadoop单节点集群的安装，觉得官网的安装文档有的问题，因此记录一下我的安装过程。
　　参考文献http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
　　1.我的安装环境
　　centos6.5操作系统的虚拟机。
　　2. 安装必须的一些软件。
　　(1) jdk。我用的版本是jdk-7u67-linux-x64.rpm。
　　rpm -ivh jdk-7u67-linux-x64.rpm
　　(2) ssh，并实现本地无密码登陆
　　yum intall ssh
　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　(3)  rsync
　　yum install  rsync
　　3. 下载Hadoop的安装包
　　到http://mirrors.cnnic.cn/apache/hadoop/common/下载Hadoop的安装包，里面有不同的版本给你选择，选一个稳定版。我选择的                  是hadoop-2.6.0。
　　下载完成后，解压。
　　tar -zxvf  hadoop-2.6.0.tar.gz
　　4. 配置环境变量
　　我尝试了官网给的配置方法，执行下面的指令的时候回遇到错误，我参考了别人的配置方式，找到了一种可行的方式。
　　(1)编辑/etc/profile文件
　　vi /etc/profile
　　添加下面内容：
　　export JAVA_HOME=/usr/java/jdk1.7.0_67 #java的安装路径

　　export>　　export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
　　export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 #Hadoop安装包解压目录
　　export PATH=$PATH :$HADOOP_HOME/bin
　　保存退出，还有重新source一下。
　　source /etc/profile
　　(2)配置hadoop-env.sh
　　该文件在Hadoop解压目录的 etc/hadoop/目录下，添加
　　export JAVA_HOME=/usr/java/jdk1.7.0_67  #Java安装路径
　　5. Hadoop的配置
　　(1) etc/hadoop/core-site.xml：
　　
　　
　　fs.defaultFS
　　hdfs://localhost:9000
　　
　　
　　(2) etc/hadoop/hdfs-site.xml:
　　
　　
　　dfs.replication
　　1
　　
　　
　　6. 执行
　　(1)系统格式化
　　cd /home/hadoop/hadoop-2.6.0
　　bin/hdfs namenode -format
　　(2)启动NameNode守护进程和DataNode守护进程:
　　sbin/start-dfs.sh
　　(3)现在可以通过浏览器访问部署的Hadoop了。
　　http://localhost:50070/
　　(4)创建HDFS user目录和子目录yu
　　bin/hdfs dfs -mkdir /user
　　bin/hdfs dfs -mkdir /user/yu