设为首页 收藏本站
查看: 587|回复: 0

[经验分享] Cygwin下Eclipsef运行Hadoop遇到的问题

[复制链接]

尚未签到

发表于 2016-12-11 07:30:13 | 显示全部楼层 |阅读模式
  下午终于在Eclispe下面调通hasoop的WordCount例子了,期间碰到了很多的问题,有些是环境的问题,有些是配制问题。这里分享一下我碰到的问题。
  0.我的系统环境:
  win7操作系统
  Cygwin
  Hadoop-0.20.2
  Eclipse:3.3
  1.Cygwin和hadoop的安装。这个问题网上有很多的BLOG,具体步骤可以参考他们。
  推荐的BLOG:
  Cygwin的安装:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/8832551c7598551f314e15c2.html
  Hadoop的设置:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/a0ebb1db953a772033fa1c9a.html
  2.Eclipse的安装:网上也有很多的BLOG对此进行十分详细的描述。他们有些是用Unbantu,有些是用Cygwin的,但在Ecilipse这方面,是十分相似的。所以可以参考他们。
  推荐的两个BLOG:
  http://blog.csdn.net/yanical/article/details/4474830
  http://phz50.iyunv.com/blog/932373
  我就是根据这两篇配置出来的。
  3. 遇到的问题
  1) run as -> run on hadoop 运行没有效果。
  就是run on hadoop不会弹出对话框,开始时我用的是galleo的Eclipse,运行不能弹出对话,选择版本小于等3.3的Eclipse。
  2) hadoop Cannot run program "chmod": CreateProcess error=2, ????????? 错误的问题
  具体报的错误忘了,这个错误的解决方法就是,cygwin\bin的路径加入到path中
  3)
org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x

  
               方法:
   
打开插件“Map/Reduce Location”,选中一个Location,打开“Advance parameters” Tab,找到"hadoop.job.ugi",可以看到我这里设置是:“test,Tardis”,修改为“hadoop, Tardis”,保存。

  
    此外还有其他的方法,说什么扩大权限什么的,我试过了不行。不知道是我路径的问题还是其他什么的。要是按上面不行的话,你们可以试试,那边文章源地址是台湾地区的一个论坛。
  
  4)运行参数问题,即运行传入args的参数的问题
  在这个问题上,好像有很多种答案。我最开始是按照(Eclipse的安装)两篇BLOG来设置的,结果很统一,都是找不到相应路径。然后按照网上其他方法的来也不行,无论是以hdfs://loclhost开头还是直接以/user/....开头的设置方法。
  我的解决方法:
  HDFS的结构: DSC0000.jpg
  参数的设置:
DSC0001.jpg

  这样设置以后就可以了。
  上面的问题是我调试的过程中,遇到的印象比较深刻的问题。当然,在调试的过程遇到各种问题都是正常的。下面是几篇我参考过的BLOG,现在贴出来,希望对你们有用。
  http://www.huomo.cn/developer/article-dd15.html
  http://gongwanlu.iyunv.com/blog/841356
  http://heipark.iyunv.com/blog/786302

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-312472-1-1.html 上篇帖子: 分布式计算nuclear bomb hadoop--性能篇 下篇帖子: Hadoop中常出现的错误以及解决方法zz
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表