Hadoop系列之MapReduce(分布式计算测试)

2004

　　MapReduce分布式计算测试
　　1.统计文本单词数量
　　1.1.查看当前hdfs分布式系统存储内容
　　[root@hdfs-master hadoop]# hdfs dfs -ls -R /
　　drwxr-xr-x   - root supergroup          0 2014-09-15 09:05 /test
　　-rw-r--r--   2 root supergroup          4 2014-09-15 09:05 /test/aa.txt
　　-rw-r--r--   2 root supergroup          4 2014-09-12 21:58 /test/bb.txt
　　1.2.在本地建立测试文件为count.txt
　　[root@hdfs-master soft]# touch count.txt
　　[root@hdfs-master soft]# ls
　　count.txt
　　1.3.在count.txt输入测试内容
　　[root@hdfs-master soft]# cat count.txt
　　hello world
　　hello hadoop
　　hello python
　　hadoop hdfs mapreduce
　　1.4.在hdfs分布式系统上建立测试目录/mapreduce/input
　　[root@hdfs-master soft]#  hdfs dfs -mkdir -p /mapreduce/input
　　1.5.再次查看当前hdfs分布式系统目录是否成功
　　[root@hdfs-master soft]# hdfs dfs -ls -R /
　　drwxr-xr-x   - root supergroup          0 2014-09-15 14:24 /mapreduce
　　drwxr-xr-x   - root supergroup          0 2014-09-15 14:24 /mapreduce/input
　　drwxr-xr-x   - root supergroup          0 2014-09-15 09:05 /test
　　-rw-r--r--   2 root supergroup          4 2014-09-15 09:05 /test/aa.txt
　　-rw-r--r--   2 root supergroup          4 2014-09-12 21:58 /test/bb.txt
　　1.6.上传本地测试文件count.txt 到hdfs分布式存储/mapreduce/input目录下
　　[root@hdfs-master soft]# hdfs dfs -put count.txt /mapreduce/input
　　1.7.检查count.txt文件是否上传成功
　　[root@hdfs-master soft]# hdfs dfs -ls  /mapreduce/input
　　-rw-r--r--   2 root supergroup         60 2014-09-15 14:27 /mapreduce/input/count.txt
　　1.8.通过mapreduce统计/mapreduce/input/count.txt单词数量
　　[root@hdfs-master soft]#  hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /mapreduce/input/count.txt /mapreduce/output
　　1.9.查看统计数量的结果目录为/mapreduce/output
　　[root@hdfs-master soft]# hdfs dfs -ls -R /mapreduce/output
　　-rw-r--r--   2 root supergroup          0 2014-09-15 14:30 /mapreduce/output/_SUCCESS
　　-rw-r--r--   2 root supergroup         53 2014-09-15 14:30 /mapreduce/output/part-r-00000
　　1.10查看真正的单词数量文件为/mapreduce/output/part-r-00000
　　[root@hdfs-master soft]# hdfs dfs -cat /mapreduce/output/part-r-00000
　　hadoop    2
　　hdfs    1
　　hello    3
　　mapreduce    1
　　python    1
　　world    1
　　2.通过shell脚本分布式搜索给定的内容
　　2.1建立测试文件file01和file02
　　[root@hdfs-master soft]# cat file01
　　hello world bye world
　　[root@hdfs-master soft]# cat file02
　　hello hadoop bye hadoop
　　2.2上传测试文件到hdfs分布式存储
　　[root@hdfs-master soft]#hdfs dfs -put file0*  /mapreduce/input
　　2.3查看上传文件是否成功
　　[root@hdfs-master soft]# hdfs dfs -ls /mapreduce/input
　　-rw-r--r--   2 root supergroup         22 2014-09-15 14:42 /mapreduce/input/file01
　　-rw-r--r--   2 root supergroup         24 2014-09-15 14:42 /mapreduce/input/file02
　　2.4编写shell脚本搜索带有hadoop关键字
　　[root@hdfs-master soft]# cat reduce.sh
　　grep hadoop
　　2.5执行分布式计算
　　[root@hdfs-master soft]#hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.4.0.jar -input /mapreduce/input/ -output /mapreduce/output -mapper /bin/cat -reducer /root/soft/reduce.sh -file /root/soft/reduce.sh
　　2.6查看搜索结果文件/mapreduce/output/part-00000
　　[root@hdfs-master soft]# hdfs dfs  -cat /mapreduce/output/part-00000
　　hello hadoop bye hadoop