Hadoop Streaming运行Python脚本程序

一总

1.Streaming简介
Streaming工具允许用户使用非java的语言来编写map和reduce函数。Hadoop的Streaming使用Unix标准作为Hadoop和应用程序之间的接口，所以我们可以使用任何编程语言通过标准输入/输出来写MapReduce程序。详细的用法可以参考这篇博文：  http://dongxicheng.org/mapreduce/hadoop-streaming-programming/。   接下举一个Python脚本编写的WordCount的例子：
2.脚本程序
Mapper:


Reducer：



注意脚本程序需要有足够的权限，使用命令：chmod a+x Mapper.py;chmod a+x Reducer.py.
3.测试
在Hadoop集群上运行之前，先在本地测试一下，脚本程序是否可以运行
测试命令：cat test.txt | 'python Mapper.py' | 'python Reducer.py'
我的test.txt内容是：


我的测试结果是：


4.Hadoop集群上运行
首先将test.txt上传到HDFS上，hadoop fs -put test.txt py_input
命令：hadoop jar /usr/local/hadoop/hadoop-1.0.2/contrib/streaming/hadoop-streaming-1.0.2.jar -input py_input -output py_output -mapper 'python Mapper.py' -reducer 'python Reducer.py' -file Mapper.py -file Reducer.py
作业完成之后，查看输出结果：
hadoop fs -cat py_output/part-00000


大功告成！
5.结语
我之前用Hadoop Streaming工具运行了好多次MapReduce程序，Maper,Reducer或是python写的或是shell脚本写的，不过都失败了，出现了各式各样的问题。之前我的运行hadoop作业命令是这样写的：hadoop jar /usr/local/hadoop/hadoop-1.0.2/contrib/streaming/hadoop-streaming-1.0.2.jar -input py_input -output py_output -mapper Mapper.py -reducer Reducer.py -file Mapper.py -file Reducer.py，与上面的命令的区别在于 -mapper部分，如果不添加上python，hadoop streaming并不会执行Mapper.py,Reducer.py，报出IOException错误。所以运行hadoop streaming 作业时一定要确保map、reduce程序运行。