Ubuntu Hadoop 伪分布式配置

视频的容积

　　环境：Ubuntu11.10     Hadoop Version: 1.1.0
　　1. jdk 必须是1.5以上，我这是1.7就不重新装了。
　　2. 下载解压 Hadoop 解压随便目录，有权限就行，我就放home下，下载 猛击这里
　　3. 进入hadoop目录，修改conf/hadoop-env.sh 添加JAVA_HOME路径配置

　　export JAVA_HOME=~/jdk1.6.0_31

　　4. 配置ssh无密码登陆，这步骤必须的，否则每次启动或关闭都必须输入密码
　　先输入以下命令，测试是否需要输入密码

　　ssh localhost

　　如果需要，则输入以下命令：

　　ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
　　# 或 ssh-keygen -t rsa
　　cat ~/.ssh/id_dsa.pub  ~/.ssh/authorized_keys

　　5. 修改conf/core-site.xml文件，添加namenode的配置

　　
　　
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　
　　hadoop.tmp.dir
　　
　　/home/nic/temp/hadoop/tmp/
　　
　　

　　Tips: 如果查看日志文件(hadoop/logs/hadoop-xxx-namenode-xxx.log)发现有这么个错误提示：FSNamesystem initialization failed. java.io.IOException:NameNode is not formatted. 则请删除上述设置的hadoop临时文件中的所有内容。再重新执行hadoop namenode -format 。注意，当然这是新手配置才这么删，因为这样删，所有数据都会丢失。
　　6. 修改conf/hdfs-site.xml文件

　　
　　
　　
　　dfs.name.dir
　　/home/nic/temp/hadoop/hdfs/name
　　
　　
　　
　　dfs.data.dir
　　/home/nic/temp/hadoop/hdfs/data
　　
　　
　　dfs.replication
　　
　　1
　　
　　

　　Tips: 跟上一个配置一样，如果发现日志文件老出现NameNode is not formatted 这样的错误，则有可能是这个配置中的目录问题。这个配置中的两个目录，即name,data都不需要手动创建，手动创建后，会出现无法format namenode的错误，由程序创建的文件、目录均无法创建。删除这两个目录，重新执行format
　　7. 修改conf/mapred-site.xml文件，添加jobtracker配置

　　
　　
　　
　　mapred.job.tracker
　　localhost:9001
　　
　　

　　8. 执行namenode 格式化

　　.bin/hadoop namenode -format

　　9. 启动hadoop

　　.bin/start-all.sh

　　10. 关闭hadoop
　　./bin/stop-all.sh
　　11. 测试是否成功启动hadoop
　　使用jps 命令，出现如下结果，则说明正常启动hadoop

　　16857 SecondaryNameNode
　　17598 TaskTracker
　　17914 Jps
　　16225 DataNode
　　15593 NameNode
　　16956 JobTracker

　　或网页浏览器打开：http://localhost:50030 也可看见hadoop状态
　　以上配置伪分布式模式，对于完全分布式模式，稍后学习再补充