Mac OS部署Hadoop注意事项

car.3205

　　Mac OS版本：10.9.1
　　Hadoop版本：2.2.0
　　
　　部署过程参考了 http://www.micmiu.com 中的大量资料，原作者写的非常清晰，感恩。
　　1、hadoop-env.sh中需要配置JAVA_HOME，否则可能会引用到不是你所期望的JAVA环境；
　　2、start-dfs.sh失败，原因是官方部署包中只有32位的native 库，需要自己手工编译64位库；
　　3、编译native库花了较长时间，采用maven编译，首次使用maven会进行大量下载，
　　遇到下载不流畅的情况，可以Ctrl + C中断然后继续；
　　4、编译之前需要安装cmake, protoc;
　　5、如果本机没有/usr/include，可通过执行xcode-select install安装；
　　6、Mac OS推荐安装brew，进一步可以安装wget，谁用谁知道；
　　7、官方2.2.0源码包有3个bug，一个是已知问题，需要patch HADOOP-9648.v2.patch，
　　    第二个是hadoop-auth/pom.xml中需要新增org.mortbay.jetty对jetty-util的依赖项，
　　    第三个是自己遇到的，编译hdfs时失败，核查DEBUG信息，发现是posix_util.c无法找到PATH_MAX定义，
　　    PATH_MAX是在/usr/include/sys/syslimits.h中定义的，在posix_util.c中#include <limits.h>即可;
　　8、编译完成后，将编译出的native库，替换官方包里的原有native库即可；
　　9、库替换完成后，再次启动start-dfs.sh，仍然发现namenode/datanode没有启动，此时需要重新format hdfs;