Hadoop,HBase,Zookeeper源码编译并导入eclipse

wooyun

　　基本理念：尽可能的参考官方英文文档
　　Hadoop:  http://wiki.apache.org/hadoop/FrontPage
　　HBase:  http://hbase.apache.org/book.html  
　　Zookeeper:  https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index
　　环境介绍
　　Ubuntu 14.04LTS, 32位
　　接下来则按照Hadoop，HBase，Zookeeper顺序来进行源码编译，建立文件夹~/code用于存放源码
　　
　　Hadoop
　　首先去Apache Hadoop官网下载源码，作者下载的是2.6.0版本，即hadoop-2.6.0-src.tar.gz
　　然后解压，并改下文件夹名（为了方便。。。）



$ tar -zxvf hadoop-2.6.0-src.tar.gz
$ mv hadoop-2.6.0 hadoop
　　在进行编译前，有一些软件包是需要必须安装的，查看Hadoop官方文档，必备软件如下：
　　1、JDK. 推荐orcale JDK 7，或者系统自带的OpenJDK
　　2、ProtocolBuffer 2.5.0，这个需要用源码安装，命令有./configur, make && make install. 注意使用protoc --version查看版本
　　3、Apache Maven版本3或以上，使用apt-get install即可
　　4、为了创建native libraries，还需要LZO headers,zlib headers, gcc, OpenSSL headers, cmake, protobuf dev tools, and libtool, and the GNU autotools (automake, autoconf, etc).



$ apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev libfuse-dev
　　在有了上面的准备之后，便可以编译Hadoop源码并导入eclipse了
　　首先需要安装hadoop-maven-plugins



$ cd hadoop-maven-plugins
$ mvn install
　　然后回到hadoop解压后的源码目录，生成eclipse需要的工程文件



$ mvn eclipse:eclipse -DskipTests
　　最后打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择hadoop解压后的根目录，导入
　　导入时注意由于hadoop下面子工程较多，可以选择自己感兴趣的工程进行导入，如hadoop-common，hadoop-hdfs，hadoop-yarn-common
　　
　　HBase
　　同样HBase也得先去官方下载源码，作者下载的是0.94.11，即hbase-0.94.11.tar.gz，解压并更改文件夹名



$ tar -zxvf hbase-0.94.11.tar.gz
$ mv hbase-0.94.11 hbase
　　参考HBase官方文档进行操作，进入hbase目录，首先进行Build，然后生成eclipse所需的工程文件



$ mvn clean install -DskipTests
$ mvn eclipse:eclipse
　　最后打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择hbase解压后的根目录，导入
　　
　　Zookeeper
　　作者下载的版本为3.4.6，即zookeeper-3.4.6.tar.gz，解压并更改文件夹名



$ tar -zxvf zookeeper-3.4.6.tar.gz
$ mv zookeeper-3.4.6 zookeeper
　　由于zookeeper需要使用ant进行编译，所以进入zookeeper目录后使用如下命令生成eclipse所需的工程文件



$ ant eclipse
　　打开eclipse，[File]->[Import]->[General]->[Existing Projects into Workspace]，选择zookeeper解压后的根目录，导入
　　
　　至此，便可以使用eclipse来学习Hadoop,HBase,Zookeeper的源码了
　　需要说明的是作者下载的均不是各个项目的最新版代码，可使用如下命令获取源码



$ git clone git://git.apache.org/hadoop.git
$ git clone git://git.apache.org/hbase.git
$ git clone git://git.apache.org/zookeeper.git