Windows下使用ant编译hadoop的各种小问题

inushome

　　

      之前有同学已经写过非常详细的windows下如何编译hadoop的文档（参见《Hadoop开发者入门专刊》）。

　　         

1、关于hadoop的SVN下载。用给匿名用户（Anonymous Access (read-only)）使用的SVN库的URL（

http://svn.apache.org/repos/asf/hadoop/common/

）去check out副本，始终无法成功。

可以使用开发者用户（

Committer Access (read-write)

）的库下载副本，下载后的内容是一样的。其URL是：

https://svn.apache.org/repos/asf/hadoop/common/

当然最好还是只下载trunk中的内容，否则下载的东西太多了。。

         

2、hadooprelease的jar包（如

hadoop-0.20.2.tar.gz

）中会包含所有编译需要的source。但若自己通过svn下载source，则需要分别下载common、hdfs、mapreduce、zookeeper几个不同的库，没办法一次性获得所有source，（当然如果不用trunk的话也可以，但是下载内容巨多...）。

         

3、0.20版的hadoop和0.21版的hadoop结构有了较大的改变。用两个release解压后的包中的内容作比较。0.20版的hadoop根目录下有一个ant使用的build.xml可以直接编译出

hadoop-0.20.2-core.jar

包。而0.21版的hadoop的根目录下已经没有这个build.xml文件了，其转而需要分别编译三个必须的jar包：

hadoop-common-0.21.0.jar、hadoop-hdfs-0.21.0.jar、hadoop-mapred-0.21.0.jar

.

         

4、在eclipse中用ant编译hadoop有两个方法，方法一：《Hadoop开发者入门专刊》中方法：新建ant的编译选项进行手工编译。方法二：将ant用的build.xml文件加入ant视图中，选择相应的参数进行编译。

编译过程中遇到的问题：

　　          问题1：

设置好用ant编译有如下错误提示（可能JAVA_HOME没有设置）BUILD FAILEDH:\FromApache\hadoop-0.20.2\build.xml:415: Unable to find a javac compiler;com.sun.tools.javac.Main is not on the classpath.Perhaps JAVA_HOME does not point to the JDK.It is currently set to "C:\Program Files (x86)\Java\jre6"但是实际上JAVA_HOME在操作系统环境变量里已经设置好了。其实关键这里提示是在eclipse中ant的classpath没有设置好，解决办法是在eclipse中：window->preferences->ant->runtime->classpath->global entries中，将jdk中的tools.jar加入。

          问题2

：提示警告：tty_list::allocate: No tty allocated 这个警告可以忽略。但是不知道为什么有些时候编译会再次提示后自动终止，原因不明。可能是修改过build.xm产生的错误。。（不纠缠了。。浪费太多时间 。。）

          问题3

:sh无法再cygwin下使用的问题，导致编译的错误。错误提示是： [javac] H:\FromApache\hadoop-0.20.2-new\build\src\org\apache\hadoop\package-info.java:5: 未结束的字符串字面值 [javac] user="***...在上述路径中打开package-info.java文件，发现其是由saveVersion.sh生成的。但是在cygwin下是无法使用sh的shell脚本的。所以，将build.xml中的以下内容注释掉，在windows上的这个问题就可以回避了。<!-- <exec executable="sh"> <arg line="src/saveVersion.sh ${version}"/> </exec>-->但是注意，这个问题很奇怪，在eclipse中用方法一第一次编译时，不是上面的错误提示，而是提示：“src\contrib\eclipse-plugin\src\java\org\apache\hadoop\eclipse\launch\HadoopApplicationLaunchShortcut.java*:35: cannot find symbol 。。。这样一组错误。但是，在命令行下，到hadoop根目录中执行：

ant jar

，则给出了最开始的提示。按这个提示注释掉saveVersion.sh后，再回到eclipse中按方法一编译就没有问题了。。（所以，目前来看最可靠的方法是在命令行下用ant加参数进行编译。。。）

　　          问题4

：在不同目录层次上创建java工程导致编译的问题：使用方法二在ant视图中点击jar参数运行，发生错误：BUILD FAILEDH:\FromApache\hadoop-0.20.2\src\build.xml:152: Source resource does not exist: H:\FromApache\hadoop-0.20.2\src\ivy\libraries.properties。其实打开工程目录会发现，ivy\libraries.properties不在src目录下，而是在hadoop-0.20.2根目录下。造成这个的错误原因在于build.xml文件会按环境变量拼接编译过程中需要使用的配置文件的路径（具体可参看build.xml）。我创建hadoop工程时，选择的源文件路径是...\hadoop-0.20.2\src，这就导致在工程里没有build.xml文件（该文件原始路径是在hadoop-0.20.2根目录下）。后来为了使用方法二编译，通过import导入这个文件，导入的文件实际上是从hadoop-0.20.2根目录下复制到...\hadoop-0.20.2\src目录下的一个副本，然后将此副本加入ant视图，用方法二编译时，其实build.xml的执行路径就变成了\hadoop-0.20.2\src目录而不是\hadoop-0.20.2\目录，所以，拼接的路径名就发生了错误。所以，创建工程时，选择的源文件路径注意要能包含build.xml这种ant编译文件，才能用方法二来进行编译。

          问题5

：编译出的文件名问题这个编译出的文件名可能和你下载的release版本名不一致，这个名字其实完全是由build.xml中设定的，所以，不必在意，如果需要用你自己修改代码后编译出的jar来替换原始的hadoop运行环境中的jar包。就把名字改的和原始hadoop运行环境中的jar包名一样然后替换即可。

          补充问题

：如果不用ant编译，则，需要为工程手工添加很多jar来保证工程编译。如果用ant，其会自动根据需要从网上下载相应的jar包，非常方便。当然，手工添加也不是很麻烦，因为这下jar包，基本都在release包中的lib目录下。偷懒的话，一次性全部加入即可。

　　

更多信息请查看

 java进阶网

 

http://www.javady.com