设为首页 收藏本站
查看: 1009|回复: 0

[经验分享] 在mac上安装hadoop

[复制链接]

尚未签到

发表于 2016-5-17 11:53:32 | 显示全部楼层 |阅读模式
  最近在学习分布式计算,想在自己的mac电脑上安装hadoop试一下,经历了两天终于搞定,中间遇到很多问题,如下一一说明。      
  开发环境:OS X 10.9.2   
Hadoop版本:hadoop-0.20.2
  java版本:java 1.6
Eclipse版本: Myeclipse 10.0
  
  首先在安装之前先说明一下为什么使用老版本的hadoop。现在最新的hadoop版本是hadoop-2.2.0,本人是hadoop新手,网上的很多教程都是针对老版本的比较多,容易上手,目前0.20.2版本apache已经归档了。
  其次,新版本的hadoop和老版本的差别比较大,之前的jobtracker,tasktracker结构现在改成了Yarn结构。
  http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn  有一篇ibm对hadoop yarn架构的讲解,可以拜读一下。
  步入正题
  第一步:下载adoop及配置Hadoop
下载地址:http://hadoop.apache.org/common/releases.html#Download 
   
  将下载的Hadoop压缩文件解压缩,找到conf目录,打开core-site.xml,修改代码如下所示:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>fs.default.name</name>  
<value>hdfs://localhost:9000</value>  
</property>  
</configuration>

  找到mapred-site.xml修改代码如下所示:
  
  

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>mapred.job.tracker</name>  
<value>localhost:9001</value>  
</property>  
</configuration>

   找到hdfs-site.xml修改代码如下所示:
  

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>dfs.replication</name>  
<value>1</value>  
</property>  
</configuration>
   找到hadoop-env.sh打开,加入以下配置
  
  export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home 

export HADOOP_INSTALL=/Users/{用户名}/hadoop-0.22.0 

export PATH=$PATH:$HADOOP_INSTALL/bin 
  
  具体的目录根据你的实际情况配置。
  这里要说明一下:老版本的hadoop是在conf目录下对配置文件进行修改,现在版本没有conf,而是在hadoop-2.3.0/etc/hadoop目录下。同时新版本不需要配置mapred-site.xml文件,需要配置yarn.xml文件,具体配置参见上面的链接。
  第二步:配置SSH 
mac系统下,打开“系统偏好设置”,找到共享,勾选远程登录,如下图所示: 
  
  
DSC0000.png
 第三步:运行Hadoop 
  打开mac终端,cd到Hadoop目录输入以下命令
  格式化namenode
  bin/hadoop namenode -format 
  然后输入
  bin/start-all.sh 
  启动了datanode、jobtracker、tasktracker
  说明一下:运行Hadoop时候,老版本的hadoop命令行下输入bin/start-all.sh,新版本的现在应该改成sbin/start-all.sh
  第四步:检查启动 
  http://localhost:50070 主页面
  http://localhost:50030 jobtracker页面
  至此,Hadoop配置成功。
  第五步:安装eclipse的hadoop插件

  说明一下:老版本的hadoop的src文件下面已经编译好的hadoop-eclipse-plugin.jar的包,但是这个只适用于eclipse3.6之前的版本,而且jar包必须要与haddop版本匹配上,否则会报错。

  Hadoop Eclipse Server IPC version 5 cannot communicate with client version 3
  而新版本的hadoop就需要自己编译了,请下载ant自行编译,具体操作google之。
  将jar包放在eclipse的dropins目录,重启eclipse,在windows下面Open Perspective就会出现Map/Reduce,
  打开windows下show view目录中的Map/Reduce,可以对hadoop的location进行配置了。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-218235-1-1.html 上篇帖子: mac常用快捷键 下篇帖子: 显示和隐藏mac文件
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表