设为首页 收藏本站
查看: 755|回复: 0

[经验分享] 解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.exam

[复制链接]

尚未签到

发表于 2015-7-13 08:36:50 | 显示全部楼层 |阅读模式
  原文:http://tonymomo.pixnet.net/blog/post/62329497



1 package org.apache.hadoop.examples;
2
3 import java.io.File;
4 import java.io.FileInputStream;
5 import java.io.FileOutputStream;
6 import java.io.IOException;
7 import java.net.URL;
8 import java.net.URLClassLoader;
9 import java.util.ArrayList;
10 import java.util.List;
11 import java.util.jar.JarEntry;
12 import java.util.jar.JarOutputStream;
13 import java.util.jar.Manifest;
14
15 public class EJob {
16
17     // To declare global field
18     private static List classPath = new ArrayList();
19
20     // To declare method
21     public static File createTempJar(String root) throws IOException {
22         if (!new File(root).exists()) {
23             return null;
24         }
25         Manifest manifest = new Manifest();
26         manifest.getMainAttributes().putValue("Manifest-Version", "1.0");
27         final File jarFile = File.createTempFile("EJob-", ".jar", new File(
28                 System.getProperty("java.io.tmpdir")));
29
30         Runtime.getRuntime().addShutdownHook(new Thread() {
31             public void run() {
32                 jarFile.delete();
33             }
34         });
35
36         JarOutputStream out = new JarOutputStream(
37                 new FileOutputStream(jarFile), manifest);
38         createTempJarInner(out, new File(root), "");
39         out.flush();
40         out.close();
41         return jarFile;
42     }
43
44     private static void createTempJarInner(JarOutputStream out, File f,
45             String base) throws IOException {
46         if (f.isDirectory()) {
47             File[] fl = f.listFiles();
48             if (base.length() > 0) {
49                 base = base + "/";
50             }
51             for (int i = 0; i < fl.length; i++) {
52                 createTempJarInner(out, fl, base + fl.getName());
53             }
54         } else {
55             out.putNextEntry(new JarEntry(base));
56             FileInputStream in = new FileInputStream(f);
57             byte[] buffer = new byte[1024];
58             int n = in.read(buffer);
59             while (n != -1) {
60                 out.write(buffer, 0, n);
61                 n = in.read(buffer);
62             }
63             in.close();
64         }
65     }
66
67     public static ClassLoader getClassLoader() {
68         ClassLoader parent = Thread.currentThread().getContextClassLoader();
69         if (parent == null) {
70             parent = EJob.class.getClassLoader();
71         }
72         if (parent == null) {
73             parent = ClassLoader.getSystemClassLoader();
74         }
75         return new URLClassLoader(classPath.toArray(new URL[0]), parent);
76     }
77
78     public static void addClasspath(String component) {
79
80         if ((component != null) && (component.length() > 0)) {
81             try {
82                 File f = new File(component);
83
84                 if (f.exists()) {
85                     URL key = f.getCanonicalFile().toURL();
86                     if (!classPath.contains(key)) {
87                         classPath.add(key);
88                     }
89                 }
90             } catch (IOException e) {
91             }
92         }
93     }
94
95 }
  mian方法中添加:
File jarFile = EJob.createTempJar("bin");
EJob.addClasspath("/usr/hadoop/conf");
ClassLoader classLoader = EJob.getClassLoader();
Thread.currentThread().setContextClassLoader(classLoader);
。。。
((JobConf) job.getConfiguration()).setJar(jarFile.toString());

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-85955-1-1.html 上篇帖子: hadoop mapreduce 优化 下篇帖子: Hadoop学习笔记—11.MapReduce中的排序和分组
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表