hadoop伪分布单机部署实践

xywuyiba7

　　终于尼玛不报错了,把步骤理一理,操作系统是ubuntu11.04
　　#1.首先下载hadoop,我下的是hadoop-0.20.203.0,tar解压,放到/var/下
　　#2.安装ssh,rsync,apt-get搞定
　　#3.建立名为hadoop的系统用户
　　#4.将hadoop安装目录拥有者改成hadoop用户



#chown -hR hadoop /var/hadoop-0.20.203.0
　　#5.切换至hadoop用户,之前用root老是不成功,有bug?
　　#6.设置ssh直接登录,copy from 官网



$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　#7.进入hadoop目录,配置xml,官网有提供.需要注意的是,注意端口占用,默认配置namenode用9000端口,结果我一直没成功启动namenode,还以为哪里搞错了,仔细看了log才发现9000 already in use,lsof -i:9000一查,尼玛的php-cgi占用料,遂给namenode分配个靓号:8888.
　　#8.启动



$bin/hadoop namenode -format
$bin/start-all.sh
　　#9.jps查看,发现



11354 DataNode
11580 JobTracker
11740 TaskTracker
14412 Jps
11202 NameNode
11515 SecondaryNameNode
　　成功启动！
　　#10.准备数据,将某个目录copy至hadoop文件系统.就按官网来,将conf目录copy至hadoop的input目录，没有会自动生成



$bin/hadoop fs -put conf input
　　#11.开始mapreduce



$bin/hadoop jar hadoop-examples-*.jar wordcount input output2
　　使用相应jar包内的wordcount类作map/reduce处理,将input目录内文件做word count处理后结果导至hadoop的output2目录
　　#12.查看结果



$bin/hadoop fs -cat output2/*
　　
PS:忘了说明需要配置java环境，以及在conf/hadoop-env.sh里配置JAVA_HOME为jdk路径，或者直接etc/enviroment里配置。
　　PHP写map/reduce(wordcount实例)
　　参考了那篇著名的python实现map/reduce的文章,php模仿python输出样例即可,quite simple!
#1.mapper.php



#!/usr/bin/php                                                                                                                              

　　#2.reducer.php



#!/usr/bin/php                                                                                                                              

　　必须和reducer.py那个例子输出一致.就是连续相同的元素才能合并。
　　Run!



$bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -mapper /var/hadoop/mapper.php -reducer /var/hadoop/reducer.php -input /user/hadoop/input/* -output /user/hadoop/output7
　　查看结果



$bin/hadoop fs -cat output7/*
　　Bingo!