在mac上安装hadoop
最近在学习分布式计算，想在自己的mac电脑上安装hadoop试一下，经历了两天终于搞定，中间遇到很多问题，如下一一说明。开发环境：OS X 10.9.2
Hadoop版本：hadoop-0.20.2
java版本：java 1.6
Eclipse版本: Myeclipse 10.0
首先在安装之前先说明一下为什么使用老版本的hadoop。现在最新的hadoop版本是hadoop－2.2.0，本人是hadoop新手，网上的很多教程都是针对老版本的比较多，容易上手，目前0.20.2版本apache已经归档了。
其次，新版本的hadoop和老版本的差别比较大，之前的jobtracker，tasktracker结构现在改成了Yarn结构。
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn 有一篇ibm对hadoop yarn架构的讲解，可以拜读一下。
步入正题
第一步：下载adoop及配置Hadoop
下载地址：http://hadoop.apache.org/common/releases.html#Download
将下载的Hadoop压缩文件解压缩，找到conf目录，打开core-site.xml，修改代码如下所示：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
找到mapred-site.xml修改代码如下所示：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
找到hdfs-site.xml修改代码如下所示：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
找到hadoop-env.sh打开，加入以下配置
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
export HADOOP_INSTALL=/Users/｛用户名｝/hadoop-0.22.0
export PATH=$PATH:$HADOOP_INSTALL/bin
具体的目录根据你的实际情况配置。
这里要说明一下：老版本的hadoop是在conf目录下对配置文件进行修改，现在版本没有conf，而是在hadoop-2.3.0/etc/hadoop目录下。同时新版本不需要配置mapred-site.xml文件，需要配置yarn.xml文件，具体配置参见上面的链接。
第二步：配置SSH
mac系统下，打开“系统偏好设置”，找到共享，勾选远程登录，如下图所示：
第三步：运行Hadoop
打开mac终端，cd到Hadoop目录输入以下命令
格式化namenode
bin/hadoop namenode -format
然后输入
bin/start-all.sh
启动了datanode、jobtracker、tasktracker
说明一下：运行Hadoop时候，老版本的hadoop命令行下输入bin/start-all.sh，新版本的现在应该改成sbin/start-all.sh
第四步：检查启动
http://localhost:50070 主页面
http://localhost:50030 jobtracker页面
至此，Hadoop配置成功。
第五步：安装eclipse的hadoop插件
说明一下：老版本的hadoop的src文件下面已经编译好的hadoop-eclipse-plugin.jar的包，但是这个只适用于eclipse3.6之前的版本，而且jar包必须要与haddop版本匹配上，否则会报错。
Hadoop Eclipse Server IPC version 5 cannot communicate with client version 3
而新版本的hadoop就需要自己编译了，请下载ant自行编译，具体操作google之。
将jar包放在eclipse的dropins目录，重启eclipse，在windows下面Open Perspective就会出现Map/Reduce,
打开windows下show view目录中的Map/Reduce，可以对hadoop的location进行配置了。
页:
[1]