第一节：编译自定义的Hadoop核心包，去除用户权限检查

jacky4955

　　本文参考eclipse连接远程hadoop集群开发时0700问题解决方案整理得来。

在window 下的eclipse开发map reduce时连接远程hadoop集群环境时会报错

错误信息：
　　Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
　　解决方案（CentOS 6.4 + hadoop1.2.1 + jdk1.7编译成功，并复制到window下，成功生成eclipse plugin文件）。
　　1、

1.首先到官网上把该版本hadoop的tar包下载下来，并解压到$HADOOP_HOME目录下

 

2.修改hadoop-1.2.0\src\core\org\apache\hadoop\fs下的FileUtil.java类

private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
if (!rv) {
throw new IOException("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
}
 将这个抛异常操作注释掉或者把throw new IOException改为LOG.warn

我是改为LOG.warn：

  private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
if (!rv) {
//throw new IOException("Failed to set permissions of path: " + p +
//                      " to " +
//                      String.format("%04o", permission.toShort()));
LOG.warn("Failed to set permissions of path: " + p +
" to " +
String.format("%04o", permission.toShort()));
}
}
 

3.进入到$HADOOP_HOME/src目录中，修改saveVersion.sh文件，因为原saveVersion.sh生成的package-info.java有问题。更正内容为：

user=`whoami` #此处修改成固定值，如user=jialin

3、修改$HADOOP_HOME\build.xml，搜索autoreconf，移除匹配的6个executable="autoreconf"的exec配置 ，如： <exec executable="autoreconf"
          dir="${c++.task-controller.src}"
          searchpath="yes" failonerror="yes">
      <arg value="-i"/>
    </exec>
   
   共有6处，将该语言块删除

4、 修改hadoop安装目录下的\build.xml   指定java版本<property name="javac.version" value="1.6"/>   如是1.7就改为1.7

5、在命令行切换到$HADOOP_HOME，执行ant

6、用新生成的$HADOOP_HOME\build\hadoop-core-1.*.*-SNAPSHOT.jar替换$HADOOP_HOME目录下的hadoop-core-*.*.*.jar

7、然后把CentOS 6.4环境下编译好的hadoop-core-1.*.*-SNAPSHOT.jar复制到window环境下并覆盖window环境下的%HADOOP_HOME%\hadoop-core-*.*.*.jar

8、使用 第二节：win 7下编译eclispe hadoop plugin