hadoop 0.20.2 wordcount 示例
在安装hadoop 之前一定要先安装免登陆的 ssh.可以参看安装ssh 的例子。http://blog.iyunv.com/liuc0317/article/details/8621879安装 hadoop 伪分布式 参看 http://blog.iyunv.com/liuc0317/article/details/8613586
写这篇blog 是见解 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html的例子
接下来我们开始学习hadoop 为给我们提供的 wordcount 的例子。
第一步:查看一下 hadoop给我们提供了哪些命令，和哪些例子。
进入hadoop 的目录下， cd hadoop 0.20.2
然后运行 ./bin/hadoop见图h-jar.jpg
有一个 -jar 的命令
再接着运行 ./bin/hadoop jar hadoop-0.20.2-examples.jar见图h-wordcount
这就是我们hadoop的 wordcount(类似于java 的helloword)
第二步：我们按示例的要求提供一个输入的input 和一个输出的output
首先：在当前用户下创建一个file文件夹 mkdir file
进行 file 文件夹 创建两个文件 file01.txt 和file02.txt
cd file,touch file01.txt,touch file02.txt
可以使用gedit 可是 vi 给他们添上内容。 见图hfile.jpg
第三步：在hadoop file system 上创建一个 上传文件夹 input
./bin/hadoop fs -mkdir input
第四步：把file文件夹下的两个文件上传到 新建的input文件夹下,并且显示input下的文件。
./bin/hadoop fs -put ~/file/file*.txt input
./bin/hadoop fs -ls input
见hinput.jpg
第五步：运行hadoop 给我们提供的示例，见图h07.jpg
./bin/hadoop jar hadoop-0.20.2-examples.jarwordcount input output
解释一下这个命令 ./bin/hadoop jar 运行一个jar 的命令 示例为 hadoop-0.20.2-examples.jar名字叫 wordcount 输入文件夹是input 输出是 output文件夹
看一下运行的最后结果：
版权声明：本文为博主原创文章，未经博主允许不得转载。
页:
[1]