设为首页 收藏本站
查看: 805|回复: 0

[经验分享] 【转载】编译 Hadoop 1.0.2 eclipse插件

[复制链接]

尚未签到

发表于 2015-7-13 10:34:40 | 显示全部楼层 |阅读模式
  以下内容经测试在Hadoop 1.0.3 中成功。
  新手一下午+一晚上+一早晨的探索,为后续新手留下经验如下:
  1、在eclipse里新建一个java项目,名字随意。
  2、把hadoop 1.0.2解压目录\src\contrib\eclipse-plugin下所有文件直接拖拽到项目中。\src\contrib目录下的build-contrib.xml也拖拽到项目中。hadoop根目录下的所有jar文件拖拽到eclipse项目中bin目录下。(Linux下:需要更改下src中的包名,可以把src\java\org文件夹拖拽到eclipse项目的src中;不用复制hadoop根目录下的jar包至bin目录,因为根本就没有bin…改为添加user library就行;项目名上右键,build path - add libraries 选择 plugin dependencies - next -finish)
  3、修改build-contrib.xml:找到修改location为hadoop1.0.2实际解压目录,在其下添加
  
      
  具体位置需要改为你的,注意location里的斜杠方向。
  4、修改build.xml:找到,改为。
  5、在hadoop解压目录下复制两个jar,没有目录就新建这些目录。分别是:\hadoop-core-1.0.2.jar 到 \build\hadoop-core-1.0.2.jar;\lib\commons-cli-1.2.jar到\build\ivy\lib\Hadoop\common\commons-cli-1.2.jar。(如果没有后面那个jar包先按步骤6运行下build.xml,会自动下载)
  6、右键eclipse里的build.xml选择run as - ant build。等待一小会就好了。编译后的文件在:\build\contrib 中的 hadoop-eclipse-plugin-1.0.2.jar。(linux下:按我之前拖org文件夹的方法,此处会报错。类似:BUILD FAILED /home/darkylin/Workspace/Contrib/build.xml:62: srcdir "/home/darkylin/Workspace/Contrib/src/java" does not exist! 修改build-contrib.xml 中),去掉location最后面的/java;如此处报编译错误,提示“软件包org.apache.hadoop.fs 不存在”见附录1)
  7、这个jar包还不行,虽然能创建视图,新建location,但是连接的时候会各种报错。缺少hadoop的jar包,【引用参考1】将/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.8.8.jar 和 jackson-mapper-asl-1.8.8.jar 等5个包复制到hadoop-eclipse-plugin-1.0.2.jar的lib目录下(用winRAR打开hadoop-eclipse-plugin-1.0.2.jar,拖进去就行)。然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为一下内容:
  Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar。
  8、至此,这个插件就算编译完成了。推荐使用link方式挂载到eclipse中。【参考3】
  9、使用可参考:http://hi.baidu.com/geogre_jsj/blog/item/f5bd4065fb99b1c081cb4a88.html#0
  10、注意9中引用的“10. 在弹出来的对话框里,根据core-site.xml 和 mapred-site.xml里的端口,进行填写:”port端口号的填写顺序:先是mappred-site.xml配置的端口号,后是core-site.xml中配置的。【参考2】
  
  
  参考:1、http://blog.iyunv.com/matraxa/article/details/7182382
  2、http://www.360doc.com/content/10/0803/13/2159920_43357680.shtml
  3、http://hi.baidu.com/zlhxinxi83/blog/item/67456f33ed9590fe1a4cff99.html
  
  附录1:
  在build.xml中添加:
  
        
         
         
      
  在中添加:
  
  原帖:http://blog.iyunv.com/yundixiaoduo/article/details/7451753

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-86218-1-1.html 上篇帖子: Hadoop 下Kmeans分析 下篇帖子: ubuntu 12.04配置hadoop(一)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表