Ubuntu Hadoop 伪分布式配置

hti

　　环境：Ubuntu11.10     Hadoop Version: 1.1.0
　　1. jdk 必须是1.5以上，我这是1.7就不重新装了。
　　2. 下载解压 Hadoop 解压随便目录，有权限就行，我就放home下，下载 猛击这里
　　3. 进入hadoop目录，修改conf/hadoop-env.sh 添加JAVA_HOME路径配置

　　export JAVA_HOME=~/jdk1.6.0_31

　　4. 配置ssh无密码登陆，这步骤必须的，否则每次启动或关闭都必须输入密码
　　先输入以下命令，测试是否需要输入密码

　　ssh localhost

　　如果需要，则输入以下命令：

　　ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
　　# 或 ssh-keygen -t rsa
　　cat ~/.ssh/id_dsa.pub  ~/.ssh/authorized_keys

　　5. 修改conf/core-site.xml文件，添加namenode的配置

　　<configuration>
　　<property>
　　<!— 你的namenode的配置，机器名加端口 —>
　　<name>fs.default.name</name>
　　<value>hdfs://localhost:9000</value>
　　</property>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<!— Hadoop的默认临时路径，手动建这个目录。这个最好配置，然后在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。
　　不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令了。
　　若要重新hadoop namenode -format 则先删除该目录下的所有内容
　　—>
　　<value>/home/nic/temp/hadoop/tmp/</value>
　　</property>
　　</configuration>

　　Tips: 如果查看日志文件(hadoop/logs/hadoop-xxx-namenode-xxx.log)发现有这么个错误提示：FSNamesystem initialization failed. java.io.IOException:NameNode is not formatted. 则请删除上述设置的hadoop临时文件中的所有内容。再重新执行hadoop namenode -format 。注意，当然这是新手配置才这么删，因为这样删，所有数据都会丢失。
　　6. 修改conf/hdfs-site.xml文件

　　<configuration>
　　<property>
　　<!— 这个目录最后一级目录并不需要手动创建，否则无法完成hadoop namenode -format —>
　　<name>dfs.name.dir</name>
　　<value>/home/nic/temp/hadoop/hdfs/name</value>
　　</property>
　　<property>
　　<!— 这个目录最后一级目录并不需要手动创建，否则无法完成hadoop namenode -format —>
　　<name>dfs.data.dir</name>
　　<value>/home/nic/temp/hadoop/hdfs/data</value>
　　</property>
　　<property>
　　<name>dfs.replication</name>
　　<!— 数据需要备份的数量，默认是三 —>
　　<value>1</value>
　　</property>
　　</configuration>

　　Tips: 跟上一个配置一样，如果发现日志文件老出现NameNode is not formatted 这样的错误，则有可能是这个配置中的目录问题。这个配置中的两个目录，即name,data都不需要手动创建，手动创建后，会出现无法format namenode的错误，由程序创建的文件、目录均无法创建。删除这两个目录，重新执行format
　　7. 修改conf/mapred-site.xml文件，添加jobtracker配置

　　<configuration>
　　<property>
　　<!— 你的JobTracker的配置，机器名加端口 —>
　　<name>mapred.job.tracker</name>
　　<value>localhost:9001</value>
　　</property>
　　</configuration>

　　8. 执行namenode 格式化

　　.bin/hadoop namenode -format

　　9. 启动hadoop

　　.bin/start-all.sh

　　10. 关闭hadoop
　　./bin/stop-all.sh
　　11. 测试是否成功启动hadoop
　　使用jps 命令，出现如下结果，则说明正常启动hadoop

　　16857 SecondaryNameNode
　　17598 TaskTracker
　　17914 Jps
　　16225 DataNode
　　15593 NameNode
　　16956 JobTracker

　　或网页浏览器打开：http://localhost:50030 也可看见hadoop状态
　　以上配置伪分布式模式，对于完全分布式模式，稍后学习再补充