在mac上安装hadoop

w881r32xg7

　　最近在学习分布式计算，想在自己的mac电脑上安装hadoop试一下，经历了两天终于搞定，中间遇到很多问题，如下一一说明。      
　　开发环境：OS X 10.9.2   
Hadoop版本：hadoop-0.20.2
　　java版本：java 1.6
Eclipse版本: Myeclipse 10.0
　　
　　首先在安装之前先说明一下为什么使用老版本的hadoop。现在最新的hadoop版本是hadoop－2.2.0，本人是hadoop新手，网上的很多教程都是针对老版本的比较多，容易上手，目前0.20.2版本apache已经归档了。
　　其次，新版本的hadoop和老版本的差别比较大，之前的jobtracker，tasktracker结构现在改成了Yarn结构。
　　http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn  有一篇ibm对hadoop yarn架构的讲解，可以拜读一下。
　　步入正题
　　第一步：下载adoop及配置Hadoop
下载地址：http://hadoop.apache.org/common/releases.html#Download 
　　 
　　将下载的Hadoop压缩文件解压缩，找到conf目录，打开core-site.xml，修改代码如下所示：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>fs.default.name</name>  
<value>hdfs://localhost:9000</value>  
</property>  
</configuration>

　　找到mapred-site.xml修改代码如下所示：
　　
　　

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>mapred.job.tracker</name>  
<value>localhost:9001</value>  
</property>  
</configuration>

　　 找到hdfs-site.xml修改代码如下所示：
　　

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>  
<property>  
<name>dfs.replication</name>  
<value>1</value>  
</property>  
</configuration>
　　 找到hadoop-env.sh打开，加入以下配置
　　
　　export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home 

export HADOOP_INSTALL=/Users/｛用户名｝/hadoop-0.22.0 

export PATH=$PATH:$HADOOP_INSTALL/bin 
　　
　　具体的目录根据你的实际情况配置。
　　这里要说明一下：老版本的hadoop是在conf目录下对配置文件进行修改，现在版本没有conf，而是在hadoop-2.3.0/etc/hadoop目录下。同时新版本不需要配置mapred-site.xml文件，需要配置yarn.xml文件，具体配置参见上面的链接。
　　第二步：配置SSH 
mac系统下，打开“系统偏好设置”，找到共享，勾选远程登录，如下图所示： 
　　
　　

 第三步：运行Hadoop 
　　打开mac终端，cd到Hadoop目录输入以下命令
　　格式化namenode
　　bin/hadoop namenode -format 
　　然后输入
　　bin/start-all.sh 
　　启动了datanode、jobtracker、tasktracker
　　说明一下：运行Hadoop时候，老版本的hadoop命令行下输入bin/start-all.sh，新版本的现在应该改成sbin/start-all.sh
　　第四步：检查启动 
　　http://localhost:50070 主页面
　　http://localhost:50030 jobtracker页面
　　至此，Hadoop配置成功。
　　第五步：安装eclipse的hadoop插件

　　说明一下：老版本的hadoop的src文件下面已经编译好的hadoop-eclipse-plugin.jar的包，但是这个只适用于eclipse3.6之前的版本，而且jar包必须要与haddop版本匹配上，否则会报错。

　　Hadoop Eclipse Server IPC version 5 cannot communicate with client version 3
　　而新版本的hadoop就需要自己编译了，请下载ant自行编译，具体操作google之。
　　将jar包放在eclipse的dropins目录，重启eclipse，在windows下面Open Perspective就会出现Map/Reduce,
　　打开windows下show view目录中的Map/Reduce，可以对hadoop的location进行配置了。