设为首页 收藏本站
查看: 652|回复: 0

[经验分享] Make Hadoop 1.2.1 run, my first try

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2015-7-15 10:38:31 | 显示全部楼层 |阅读模式
  经历两天努力,8月25日下午2点40分,终于让hadoop1.2.1跑起来。
  用的是《Hadoop实战第2版》(陆嘉恒)里面的WordCount例子,虽然书是2013年出的,但用的例子还是hadoop1.0.1版本,有点旧。
  不怕,关键问题不在于hadoop版本,其实是java的版本和hostname设置。
  我用的环境:虚拟机vmplayer上跑的opensuse12.3,java一开始用自带的1.7*版本(事实证明不好用,导致编译后不能运行jar包,老说class not found,具体原因不明白),hadoop下载了最新的1.2.1,本来以为最新的java+hadoop应该可以,估计是那个自带版本的java问题。
  后来花了好一阵时间从oracle下载了一个1.6的jdk(发现原来下载java挺慢的,不知道有没有更快的方式,当然要官方下载,其他国内网站不算),重新编译后能运行起来,但用1.6的jdk反而跑不起hadoop,这个时候才把一直看到的hostname与localhost不一致提上解决问题议程(虽然之前就觉得奇怪)。
  opensuse的hostname修改方式是直接编辑/etc/HOSTNAME(注意是全大写),重启(可能强制当时修改hostname也是可以,偷懒用了最没有技巧的方式),再启动hadoop。Yeah,前所未有的正常,服务跑的妥妥的,mapreduce显示running,hdfs的空间不再报100% used,Great!
DSC0000.png
  再运行编译好的jar包的WordCount,开始的时候运行完成,但结果为空。经检查是第一次用dfs put测试文件上去hdfs时失败了,put了两个空文件,当然结果为空。马上用dfs -rm删掉原来的垃圾,重新上传测试文件,再跑,Good!结果出来了而且正确。
DSC0001.png
  这就是我第一次安装配置好一个hadoop运行环境并跑成功第一个mapreduce程序。Cheers!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-86864-1-1.html 上篇帖子: zabbix搭建并结合mikoomi插件监控hadoop集群 下篇帖子: 《Hadoop管理五》MapReduce类型常用的InputFormat
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表