设为首页 收藏本站
查看: 1055|回复: 0

[经验分享] Hadoop MapReduce编程 API入门系列之wordcount版本1(五)

[复制链接]

尚未签到

发表于 2017-12-18 11:39:49 | 显示全部楼层 |阅读模式
1 package com.dajiangtai.Hadoop.MapReduce;  

  2  
  3
  
  4 import java.io.IOException;
  
  5 import java.util.StringTokenizer;
  
  6
  
  7 import org.apache.hadoop.conf.Configuration;
  
  8 import org.apache.hadoop.fs.FileSystem;
  
  9 import org.apache.hadoop.fs.Path;
  
10 import org.apache.hadoop.io.IntWritable;
  
11 import org.apache.hadoop.io.Text;
  
12 import org.apache.hadoop.mapreduce.Job;
  
13 import org.apache.hadoop.mapreduce.Mapper;
  
14 import org.apache.hadoop.mapreduce.Reducer;
  
15 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  
16 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
  
17 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  
18 import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
  
19
  
20
  
21 @SuppressWarnings("unused")

  
22 public>  
23

  
24     public static>  
25             Mapper<Object, Text, Text, IntWritable>
  
26 //            为什么这里k1要用Object、Text、IntWritable等,而不是java的string啊、int啊类型,当然,你可以用其他的,这样用的好处是,因为它里面实现了序列化和反序列化。
  
27 //            可以让在节点间传输和通信效率更高。这就为什么hadoop本身的机制类型的诞生。
  
28     
  
29     
  
30             //这个Mapper类是一个泛型类型,它有四个形参类型,分别指定map函数的输入键、输入值、输出键、输出值的类型。hadoop没有直接使用Java内嵌的类型,而是自己开发了一套可以优化网络序列化传输的基本类型。这些类型都在org.apache.hadoop.io包中。
  
31             //比如这个例子中的Object类型,适用于字段需要使用多种类型的时候,Text类型相当于Java中的String类型,IntWritable类型相当于Java中的Integer类型
  
32             {
  
33             //定义两个变量或者说是定义两个对象,叫法都可以
  
34         private final static IntWritable one = new IntWritable(1);//这个1表示每个单词出现一次,map的输出value就是1.
  
35                                     //因为,v1是单词出现次数,直接对one赋值为1
  
36         private Text word = new Text();
  
37         
  
38         public void map(Object key, Text value, Context context)
  
39         //context它是mapper的一个内部类,简单的说顶级接口是为了在map或是reduce任务中跟踪task的状态,很自然的MapContext就是记录了map执行的上下文,在mapper类中,这个context可以存储一些job conf的信息,比如job运行时参数等,我们可以在map函数中处理这个信息,这也是Hadoop中参数传递中一个很经典的例子,同时context作为了map和reduce执行中各个函数的一个桥梁,这个设计和Java web中的session对象、application对象很相似
  
40         //简单的说context对象保存了作业运行的上下文信息,比如:作业配置信息、InputSplit信息、任务ID等
  
41         //我们这里最直观的就是主要用到context的write方法。
  
42         //说白了,context起到的是连接map和reduce的桥梁。起到上下文的作用!
  
43         
  
44                 throws IOException, InterruptedException {
  
45             //The tokenizer uses the default delimiter set, which is " \t\n\r": the space character, the tab character, the newline character, the carriage-return character
  
46             StringTokenizer itr = new StringTokenizer(value.toString());//将Text类型的value转化成字符串类型
  
47             //StringTokenizer是字符串分隔解析类型,StringTokenizer 用来分割字符串,你可以指定分隔符,比如',',或者空格之类的字符。
  
48            
  
49            
  
50             //使用StringTokenizer类将字符串“hello,java,delphi,asp,PHP”分解为三个单词
  
51 //            程序的运行结果为:
  
52 //                  hello
  
53 //                  java
  
54 //                  delphi
  
55 //                  asp
  
56 //
  
57 //                  php
  
58            
  
59            
  
60             while (itr.hasMoreTokens()) {//hasMoreTokens() 方法是用来测试是否有此标记生成器的字符串可用更多的标记。
  
61 //                实际上就是java.util.StringTokenizer.hasMoreTokens()
  
62 //                hasMoreTokens() 方法是用来测试是否有此标记生成器的字符串可用更多的标记。
  
63                 //java.util.StringTokenizer.hasMoreTokens()
  
64                 
  
65                 
  
66                 word.set(itr.nextToken());//nextToken()这是 StringTokenizer 类下的一个方法,nextToken() 用于返回下一个匹配的字段。
  
67                 context.write(word, one);
  
68             }
  
69         }
  
70     }
  
71
  
72     
  
73
  
74     

  
75     public static>  
76             Reducer<Text, IntWritable, Text, IntWritable> {
  
77         private IntWritable result = new IntWritable();
  
78         public void reduce(Text key, Iterable<IntWritable> values,
  
79                 Context context) throws IOException, InterruptedException {
  
80             //我们这里最直观的就是主要用到context的write方法。
  
81             //说白了,context起到的是连接map和reduce的桥梁。起到上下文的作用!
  
82            
  
83             int sum = 0;
  
84             for (IntWritable val : values) {//叫做增强的for循环,也叫for星型循环
  
85                 sum += val.get();
  
86             }
  
87             result.set(sum);
  
88             context.write(key, result);
  
89         }
  
90     }
  
91
  
92     public static void main(String[] args) throws Exception {
  
93         Configuration conf = new Configuration();//程序里,只需写这么一句话,就会加载到hadoop的配置文件了
  
94         //Configuration类代表作业的配置,该类会加载mapred-site.xml、hdfs-site.xml、core-site.xml等配置文件。
  
95         //删除已经存在的输出目录
  
96         Path mypath = new Path("hdfs://djt002:9000/outData/wordcount");//输出路径
  
97         FileSystem hdfs = mypath.getFileSystem(conf);//程序里,只需写这么一句话,就可以获取到文件系统了。
  
98                     //FileSystem里面包括很多系统,不局限于hdfs,是因为,程序读到conf,哦,原来是hadoop集群啊。这时,才认知到是hdfs
  
99         
  
100         //如果文件系统中存在这个输出路径,则删除掉,保证输出目录不能提前存在。
  
101         if (hdfs.isDirectory(mypath)) {
  
102             hdfs.delete(mypath, true);
  
103         }
  
104         
  
105         //job对象指定了作业执行规范,可以用它来控制整个作业的运行。
  
106         Job job = Job.getInstance();// new Job(conf, "word count");
  
107         job.setJarByClass(WordCount.class);//我们在hadoop集群上运行作业的时候,要把代码打包成一个jar文件,然后把这个文件
  
108         //传到集群上,然后通过命令来执行这个作业,但是命令中不必指定JAR文件的名称,在这条命令中通过job对象的setJarByClass()
  
109         //中传递一个主类就行,hadoop会通过这个主类来查找包含它的JAR文件。
  
110         
  
111         job.setMapperClass(TokenizerMapper.class);
  
112         //job.setReducerClass(IntSumReducer.class);
  
113         job.setCombinerClass(IntSumReducer.class);//Combiner最终不能影响reduce输出的结果
  
114 //                                这句话要好好理解!!!
  
115         
  
116         
  
117         
  
118         job.setOutputKeyClass(Text.class);
  
119         job.setOutputValueClass(IntWritable.class);
  
120         //一般情况下mapper和reducer的输出的数据类型是一样的,所以我们用上面两条命令就行,如果不一样,我们就可以用下面两条命令单独指定mapper的输出key、value的数据类型
  
121         //job.setMapOutputKeyClass(Text.class);
  
122         //job.setMapOutputValueClass(IntWritable.class);
  
123         //hadoop默认的是TextInputFormat和TextOutputFormat,所以说我们这里可以不用配置。
  
124         //job.setInputFormatClass(TextInputFormat.class);
  
125         //job.setOutputFormatClass(TextOutputFormat.class);
  
126         
  
127         FileInputFormat.addInputPath(job, new Path(
  
128                 "hdfs://djt002:9000/inputData/wordcount/wc.txt"));//FileInputFormat.addInputPath()指定的这个路径可以是单个文件、一个目录或符合特定文件模式的一系列文件。
  
129         //从方法名称可以看出,可以通过多次调用这个方法来实现多路径的输入。        
  
130         FileOutputFormat.setOutputPath(job, new Path(
  
131                 "hdfs://djt002:9000/outData/wordcount"));//只能有一个输出路径,该路径指定的就是reduce函数输出文件的写入目录。
  
132         //特别注意:输出目录不能提前存在,否则hadoop会报错并拒绝执行作业,这样做的目的是防止数据丢失,因为长时间运行的作业如果结果被意外覆盖掉,那肯定不是我们想要的
  
133         System.exit(job.waitForCompletion(true) ? 0 : 1);
  
134         //使用job.waitForCompletion()提交作业并等待执行完成,该方法返回一个boolean值,表示执行成功或者失败,这个布尔值被转换成程序退出代码0或1,该布尔参数还是一个详细标识,所以作业会把进度写到控制台。
  
135         //waitForCompletion()提交作业后,每秒会轮询作业的进度,如果发现和上次报告后有改变,就把进度报告到控制台,作业完成后,如果成功就显示作业计数器,如果失败则把导致作业失败的错误输出到控制台
  
136     }
  
137 }
  
138
  
139 //TextInputFormat是hadoop默认的输入格式,这个类继承自FileInputFormat,使用这种输入格式,每个文件都会单独作为Map的输入,每行数据都会生成一条记录,每条记录会表示成<key,value>的形式。
  
140 //key的值是每条数据记录在数据分片中的字节偏移量,数据类型是LongWritable.
  
141 //value的值为每行的内容,数据类型为Text。
  
142 //
  
143 //实际上InputFormat()是用来生成可供Map处理的<key,value>的。
  
144 //InputSplit是hadoop中用来把输入数据传送给每个单独的Map(也就是我们常说的一个split对应一个Map),
  
145 //InputSplit存储的并非数据本身,而是一个分片长度和一个记录数据位置的数组。
  
146 //生成InputSplit的方法可以通过InputFormat()来设置。
  
147 //当数据传给Map时,Map会将输入分片传送给InputFormat(),InputFormat()则调用getRecordReader()生成RecordReader,RecordReader则再通过creatKey()和creatValue()创建可供Map处理的<key,value>对。
  
148 //
  
149 //OutputFormat()
  
150 //默认的输出格式为TextOutputFormat。它和默认输入格式类似,会将每条记录以一行的形式存入文本文件。它的键和值可以是任意形式的,因为程序内部会调用toString()将键和值转化为String类型再输出。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-425342-1-1.html 上篇帖子: ubuntu14.04 Hadoop单机开发环境搭建MapReduce项目 下篇帖子: Hadoop HDFS编程 API入门系列之HdfsUtil版本2(七)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表