ubuntu10.04安装与测试hadoop1.1.1版本的伪分布式

莫问

　　1、安装jdk
　　前面的文章已经讲过了http://6341986.blog.51cto.com/6331986/1135698这里就略过
　　2、安装ssh （可以暂时不安装）
　　sudo apt-get install ssh
　　这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么操作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。
　　apt的全称为the Advanced Packaging Tool，是Debian计划的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。
　　3、下载hadoop
　　我下载的是1.1.1版本的
　　命令：wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.1.1/hadoop-1.1.1.tar.gz
　　4、安装hadoop
　　我下载的是1.1.1版本的
　　解压命令：tar zxvf hadoop-1.1.1.tar.gz
　　然后重命名：mv hadoop-1.1.0 hadoop
　　然后对hadoop进行配置
　　a.单节点方式配置：
　　安装单节点的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。
　　b.伪分布式配置：
　　你可以把伪分布式的Hadoop看做是只有一个节点的集群，在这个集群中，这个节点既master，也是slave;既是NameNode也是DataNode;既是JobTracker，也是TaskTracker。
　　（1）修改conf/core-site.xml（在hadoop安装文件下面）  这是Hadoop核心的配置文件，这里配置的是HDFS的地址和端口号。
　　命令：gedit conf/core-site.xml
　　加入下面内容：
　　conf/core-site.xml:
　　
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　
　　还有一种方法是加入下面的内容（不过下面的方面一直没有成功，启动不起来NameNode 和 DataNode）：
　　
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　
　　hadoop.tmp.dir
　　/home/hadoop/tmp
　　
　　
　　注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。
　　（2）修改conf/hdfs-site.xml   这是Hadoop中HDFS的配置，配置的备份方式默认为3，在单机版的Hadoop中，需要将其改为1。
　　
　　
　　dfs.replication
　　1
　　
　　
　　（3） 修改conf/mapred-site.xml 这是Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口
　　
　　mapred.job.tracker
　　localhost:9001
　　
　　
　　（4）为了是hadoop能找到java，所以在conf/hadoop-env.sh最后一行添加jdk的路径，我的java路径为 export JAVA_HOME=/home/jdk1.6.0_41 命令：gedit  conf/hadoop-env.sh打开后加入jdk路径
　　（5）接下来，在启动Hadoop前，需格式化Hadoop的文件系统HDFS(这点与Windows是一样的，重新分区后的卷总是需要格式化的)。在namenode端cd到hadoop文件夹下，格式化分布式文件系统：
　　命令：bin/hadoop namenode -format

　　（6）然后再启动服务，由于我的单节点安装，所以就全部启动
　　命令：bin/start-all.sh

　　然后再输入jps查看本机的启动情况
　　命令：jps

　　可以看到namenode与datanode都启动了如果你不是单机模式，多节点的话，你在namenode看到的就只有namenode而没有datanode，反之在datanode也是一样。
　　停止所有服务命令：bin/stop-all.sh
　　（7）最后，验证Hadoop是否安装成功。
　　然后再打开http://localhost:50030来查看map/reduce的状态与http://localhost:50070查看hdfs的状态，由于我的机器的ip是172.30.3.156，所以我如果不在本机查看的话，就可以使用http://172.30.3.156:50030查看，如果都能查看，说明Hadoop已经安装成功。
　　下面是http://172.30.3.156:50030的界面
　　下面是http://localhost:50070的界面
　　对于Hadoop来说，安装MapReduce及HDFS都是必须的，但是如果有必要，你依然可以只启动HDFS(start-dfs.sh)或MapReduce(start-mapred.sh)。