windows下用eclipse连接linux中的hadoop,并执行mr

gtdfe

    1. 准备：

    linux上已经安装好hadoop集群或者单机；

    windows上有个hadoop-0.20.2文件夹；

    Eclipse Europa 3.3.2
    (勿使用其他版本，测试没通过)下载地址： http://www.eclipse.org/downloads/packages/release/europa/winter

2. 安装eclipse插件：

    把hadoop-0.20.2/contrib/eclipse-plugin下的hadoop-0.20.2-eclipse-plugin.jar文件拷到eclipse 的plugins目录下，重启eclipse，在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。如果没有的话，把eclipse下的 configuration/org.eclipse.update文件夹删了，再重启eclipse。






3. 配置环境：


启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值
    * Location Name -- localhost
    * Map/Reduce Master  (mapred.job.tracker中配置的jobtracker地址和端口)
          o Host -- 10.125.50.20
          o Port -- 50021
    * DFS Master (fs.default.name中配置的host和端口)
          o Host -- hd021-test.nh.sdo.com
          o Port -- 8020
    * User name -- lxw (用来提交mr任务的用户名)






4. 上传文件到hdfs:

   hadoop fs -put 10.125.50.20.pub /user/lxw/input/
   这时，在eclipse的Project explorer的DFS location中，应该能反应变化，没有的话，reconnect一下

   



5. 创建Map/Reduce Project：

   右键点击  Project Explorer 窗口，选择 New -> Project.. 找到 Map/Reduce Project， 点Next，输入名字。

   点击下面的Config Hadoop Install Directiory，输入Hadoop的目录，如：D:hadoop-0.20.2

   

6. 新建mr程序：

右键点击新创建的 Hadoop 工程，选择  New -> Other 转到 Map/Reduce 文件夹, 选择 MapReduceDriver 然后点击 Next，输入名字，点击Finish。

这样会自动生成一些代码，不用管，直接删掉，然后写自己的mr程序即可；

7. 运行mr程序：

选择 Run As --> Run on Hadoop. 弹出以下窗口：



选择 "Choose existing hadoop location" , 然后选择刚才创建的hadoop配置信息，点击fihish即可开始运行；