Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群

bco

　　Win7下MyEclipse远程连接到Mac/Linux中Hadoop集群
　　（也可访问该网页查看：http://tn.51cto.com/article/562  ）
　　所需软件：
　　（1）下载Hadoop2.5.1到Win7系统下，并解压缩
　　Hadoop2.5.1下载地址：Indexof/dist/hadoop/core/hadoop-2.5.1
　　http://archive.apache.org/dist/hadoop/core/hadoop-2.5.1/

　　说明:Win7中下载的是Hadoop2.5.1，Mac中的Hadoop版本是Hadoop2.5;版本不一致，但测试的时候，结果没有错误，但有的人测试时说版本最好一样，此处可以留意下。
　　（2）Hadoop运行在Linux系统下的，在windows下eclipse中运行hadoop程序，要首先安装Windows下运行的支持插件hadoop2.2-common-bin.zip,下载地址如下：https://github.com/srccodes/hadoop-common-2.2.0-bin
　　说明:这里使用的是hadoop2.2-common-bin.zip,和Hadoop版本不一致，但结果没有错误且没有报异常。不配置该插件运行Hadoop会报异常：
　　Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
　　（3）配置hadoop环境变量（与Java的环境配置有些相似）
　　windows环境变量配置：右键“我的电脑” –>属性 ->高级环境变量配置 –>高级选项卡 ->环境变量 -> 单击新建HADOOP_HOME->配置下载的Hadoop路径。

　　（4）下载hadoop-eclipse-plugin-2.2.0.jar，MyEclipse/Eclipse中开发Hadoop所需插件。下载并拷贝它到MyEclipse安装路径的如下位置；

　　（5）重启MyEclipse或Eclipse会出现右侧“蓝色大象”所示图标，表示插件hadoop插件安装成功。

　　(6)eclipse环境配置:点击“菜单Window”-->Preference-->Hadoop Map/Reduce进行配置，如下图所示：

　　(7)出现下图所示view，表示配置成功。

　　(8) 切换到配置文件并修改
　　① cd hadoop/hadoop2.5/etc/hadoop
　　② cat core-site.xml
　　配置hadoop伪分布时一般使用localhost做为namenode的标识，如图所示。

　　这里需要修改成Linux的主机名或IP地址，否则windows下的Hadoop程序不能连接到Linux或者Mac中的Hadoop上进行运行，且报错。

　　如图所示，表示连接失败：

　　说明：如果使用主机名进行连接，需要配置主机名到IP的映射。
　　如图所示：

　　（9）启动Mac或者Linux中的hadoop,使用jps命令观察是否运行成功。

　　（10）配置hdfs，新建New Hadooop location或者Edit Hadoop location

　　具体配置说明：

　　（11）测试：在Mac或者Linux中查看是否能够访问到Hdfs.如下图所示：

　　上图，显示了hdfs中有一个文件。