Working with Hadoop under Eclipse

shenhp

　　1. Eclipse3.6 SVN plugininstallation---subversive，我的环境是Ubuntu10.10，Eclipse 3.6.2 helio。下面是安装步骤：
　　Eclipse-->'help'--'install newsoftware'
　　Subversive的URL是已经内置在helio里的，只不过是给Disable掉了。
　　选'availablesoftware sites', 然后过滤Subversive，把Subversive的URL给Enable，再回到安装界面，就可以选择Subversive的插件了。安装完成后重新启动。
　　2. 重新启动完成后，打开SVN repositories视图。因为还没有Connector安装上，所以会自动弹出一个窗口，里面列出了Subversive Connector Plugin，有SVNKit，还有JavaHL，我选择的是SVNKit最高版本。安装完成重新启动。
　　3. 下载Hadoop源代码
　　Hadoop 源代码共包括 common、hdfs（分布式文件系统）、mapred（MapReduce） 三部分，各自的 SVN 地址如下：
　　http://svn.apache.org/repos/asf/hadoop/common
　　http://svn.apache.org/repos/asf/hadoop/hdfs
　　http://svn.apache.org/repos/asf/hadoop/mapreduce
　　【注意】三个项目有依赖关系，common 是后两者的公共组件，mapred 则是基于 hdfs，但这些依赖关系已经处理好，无需开发者关心，三个项目可分别独立下载、编译。下载的时候路径后面都要加上/trunk。
　　*在 eclipse 中，单击菜单 File > Import，选择 SVN > 从 SVN 检出项目，单击 Next 按钮进入下一步；
　　*选中“创建新的资源库位置”，单击 Next 按钮后输入上述对应部分的地址，然后只选中 trunk 文件夹；
　　*下一步选择“作为新项目检出，并使用新建项目向导进行配置”，不要选择“作为工作空间中的项目检出”，因为无法选择项目类型；点击 Finish 按钮进入 New Project 向导；
　　*选择项目类型为 Java Project，取好项目名称，JRE最好选1.6，点击 Next 按钮，进入 Java Setting 窗口；
　　*将 Default output folder 由 .../bin 更改为.../build/eclipse-classes（或其他），以免 eclipse 自动清空 bin 文件夹下手工编写的文件；点击 Finish 按钮等待下载完成。
　　此时会有很多文件标有红色叉号，属正常现象，后面我们使用 ant 编译出配套的 eclipse 项目文件则可消除这些错误。
　　4. 设置使用 Ant Builder 进行编译
　　以 MapReduce部分为例，设上步新建的项目为 MapReduce.
　　*右键单击该项目（或从 Project 菜单下）选择 Properties，找到 Builders 选项卡，取消勾选 Java Builder，单击 New 按钮选择 Ant Builder，进入 Edit Configuration 窗口；
　　*初始为 Main 选项卡，Name栏可设置名称 MapReduce_Builder（或其他），Buildfile栏通过 Browse Workspace 按钮选择 MapReduce 项目下的 build.xml 文件；
　　*而后切换到 Targets 选项卡，单击 Manual Build 栏的 Set Targets 按钮，除了默认选项 compile 外，勾选 compile-test-system 和 eclipse（不选择的话package目录结构与java文件就不对应了，参考A）（自动生成eclipse项目文件）；如果查找不便可勾选下方 Sort targets（按名称字母序）和 Hide internal targets。
　　确认后项目即开始进行编译（时间较长），可以看到控制台（Console）有各种输出，期间会自动下载若干文件。完成后右键单击项目，选择 Refresh（或按 F5 键），可以看到项目组织结构发生了变化，原有的红色叉号也消失了。
　　【注意】由于项目规模较大，在第一边编译完成后，可在 Project 菜单下取消勾选 Build Automatically。
　　【参考】
　　A. Hadoop 项目SVN地址：
　　http://svn.apache.org/repos/asf/hadoop/
　　B. hadoop Eclipse环境搭建指南：
　　http://wiki.apache.org/hadoop/EclipseEnvironment