设为首页 收藏本站
查看: 738|回复: 0

[经验分享] Linux下Hadoop Eclipse插件编译安装

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2018-10-31 07:51:13 | 显示全部楼层 |阅读模式
  转载自:http://www.cnblogs.com/kinuxroot/archive/2013/05/06/linux_hadoop_eclipse_plugin.html
  在RedHat,hadoop1.1.2下测试通过。有些地方注明详细了。
  刚刚开始研究Hadoop,在写Map Reduce程序的时候觉得用vim不够用,于是想在Eclipse下面配置一下相关的环境。
  按照Hadoop in Action的说法,本来想用Hadoop Studio,但是发现现在只有30天的试用版,于是找了一下,发现Hadoop本身有带Eclipse的插件,于是觉得可以用一下。 不过又发现Hadoop的Eclipse插件现在没有二进制版直接提供,只能自己编译。不过要注意,一定要下载Hadoop的src包,不然是不带源代码的。
  编译部署中间碰到了一点问题,记录下来。
  首先,讲一下系统环境,Linux的发行版是Linux Mint 14,Hadoop版本是1.1.2。
  我的hadoop安装在/home/kinuxroot/apps/hadoop-1.1.2下面(hadoop的根路径),所以源代码的目录是hadoop根路径下的src/contrib/eclipse-plugin。
  Eclipse安装路径是/home/kinuxroot/apps/eclipse。
  接下来我们来讲一下具体如何编译。
  我们进入hadoop根路径下的src/contrib/eclipse-plugin,然后修改一下build.xml。
  具体做如下修改:
  1.先要加入eclipse的设定和hadoop的版本设定,我的eclipse安装在/home/kinuxroot/apps/eclipse下,所以我们要修改为:
  这一步,location中的路径请大家根据各自的实际路径进行修改。
  2.我们需要引用hadoop的一些包,但是默认的classpath没有这些包(我们没有从头编译)。所以需要修改classpath
  定位,加入:
  3.代码中使用了一些遗留功能,所以我们要修改deprecation的设定。
  打开hadoop根路径下面的src/contrib/build-contrib.xml,定位
  然后修改成
  4.修改includeantruntime设置。定位compile的target,修改javac的设置,加入一个选项
  includeantruntime="on"
  也就是将javac修改成

  5.jar打包的时候需要hadoop的一些jar文件,但是我们没有编译生成它,所以我们需要修改一下jar这个target。
  另外,有几个jar是我们需要用到,而build.xml里面没有自动包含的,如果不包含它们,Eclipse连接Hadoop会出现failure to login错误,其实就是找不到类
  找到
  我们修改成

  6.但是这样,我们的jar文件还是不会自动部署到eclipse中,你可以手动复制,但是我们希望ant帮我们自动部署进去。
  我们新建一个target,用来部署:
  然后修改project的默认target,也就是将project修改成:
  7.接下来一步我们要修改Hadoop根目录下的src/contrib/eclipse-plugin/META-INF,修改这个jar的classpath。
  找到这个文件的Bundle-ClassPath这一行,然后,修改成

  Bundle-ClassPath:>  8.执行ant,代码就会被编译,插件会被自动安装到eclipse的plugins目录中,打开eclipse就可以使用了(如果没有安装ant,
  请去apache观望下载ant的二进制编译版)。另外编译时会自动联网下载需要的包,所以请保证网络通畅。
  注:在src/contrib/eclipse-plugin/目录下执行:
  /usr/local/apache-ant-1.9.3/bin/ant
  一定是要root根用户权限下执行上面的ant命令!
  最后,我把我的build.xml贴在下面,大家可以参考:


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-628669-1-1.html 上篇帖子: hadoop Unable to load native-hadoop library for your platform-monkey的linux小路 下篇帖子: Google后Hadoop时代的新“三驾马车”
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表