Apache Flume 1.7.0 源码编译 导入Eclipse

色魔王子7

前言
　　最近看了看Apache Flume，在虚拟机里跑了一下flume + kafka + storm + mysql架构的demo，功能很简单，主要是用flume收集数据源（http上报信息），放入到kafka队列里，然后用storm消费kafka里的资源，计算结果并存入到mysql中；
　　在这期间遇到了很多问题，也学到了一些知识，打算做个笔记吧，帮助自己也帮助别人；
　　先从Flume源码的编译开始；

下载
　　下载源码很简单，去官网或者去github下载，Apache Flume 1.7.0的github源码地址如下：
　　https://github.com/apache/flume/tree/release-1.7.0

Maven编译安装
　　在mvn install之前，最好先设置下maven的国内镜像地址，加快依赖的下载速度，时间还是很宝贵的，别浪费在无聊的等待上，
　　打开maven的setting.xml配置文件，添加如下镜像即可：
　　

  <mirrors>　　
<!-- mirror
　　
| Specifies a repository mirror site to use instead of a given repository. The repository that

　　
| this mirror serves has an>　　
| for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
　　
|
　　
<mirror>
　　
<id>mirrorId</id>
　　
<mirrorOf>repositoryId</mirrorOf>
　　
<name>Human Readable Name for this Mirror.</name>
　　
<url>http://my.repository.com/repo/path</url>
　　
</mirror>
　　
-->
　　

　　
<mirror>
　　
<id>alimaven</id>
　　
<name>aliyun maven</name>
　　
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
　　
<mirrorOf>central</mirrorOf>        
　　
</mirror>
　　

　　
</mirrors>
　　

　　在控制台输入如下命令，后面的参数表示跳过单元测试
　　mvn install -Dmaven.test.skip=true
　　很快就开始下载依赖了，骚等片刻：

　　遗憾的是报错了，坑爹，又是国外的网络不能访问，ping下maven.twttr.com，果真不行，哎，，，

[ERROR] Failed to execute goal on project flume-ng-morphline-solr-sink: Could not resolve dependencies for project org.apache.flume.flume-ng-sinks:flume-ng-morphline-solr-sink:jar:1.7.0: Failed to collect dependencies at org.kitesdk:kite-morphlines-all:pom:1.0.0 -> org.kitesdk:kite-morphlines-useragent:jar:1.0.0 -> ua_parser:ua-parser:jar:1.3.0: Failed to read artifact descriptor for ua_parser:ua-parser:jar:1.3.0: Could not transfer artifact ua_parser:ua-parser:pom:1.3.0 from/to maven-twttr (http://maven.twttr.com): maven.twttr.com: Unknown host maven.twttr.com -> [Help 1]
　　网上找了半天解决方案，搞什么代理啊 VPN什么的，有点麻烦，好在找到了一个ip，添加到hosts里即可，如下：
　　

199.16.156.89 maven.twttr.com　　

　　添加完host后，继续执行mvn install -Dmaven.test.skip=true，耐心等待...
　　结果等了半天，还是不行，卡在这，又是坑爹的天朝网络，速度真的太慢了，没办法。。。。。conjars.org的访问速度真心太慢...
　　Downloading: http://conjars.org/repo/eigenbase/eigenbase-properties/1.1.4/eigenbase-properties-1.1.4.pom
　　多试几次吧，反正我是试了好几次，最后终于成功了，也可以尝试在父pom.xml加个repository，如下，实在不行，真的只能代理了，或者把别人已经下好的依赖拷贝到自己的maven本地仓库。
　　

  <repositories>　　
<repository>
　　
<id>nexus.axiomalaska.com</id>
　　
<url>http://nexus.axiomalaska.com/nexus/content/repositories/public</url>
　　
</repository>
　　
</repositories>
　　

导入Eclipse
　　这个没啥好说的，直接导入maven工程即可，遗憾的是flume-ng-core工程还是报错，如下：
　　TransferStateFileMeta cannot be resolved to a type
　　仔细看看源码，发现确实没有定义TransferStateFileMeta 这个类，这就尴尬了，在检查下，发现pom.xml有错误，需要安装，execution元素那边报错了，鼠标放上去，提示需要安装相应插件，那就安装吧，骚等片刻，终于安装好了，update下maven工程，pom.xml也没报错了。。。
　　坑爹的是发现还是报那个错误
　　TransferStateFileMeta cannot be resolved to a type
　　不过发现问题还是出在pom.xml里的build-helper-maven-plugin这个插件的配置上，好像原因是DurablePositionTracker引用的TransferStateFileMeta这个类是自动生成的，查看target目录，确实找到了这个类，但是为什么还是报错，仔细观察，原来是source没配对，因为TransferStateFileMeta类是在generated-sources的avro目录下的，那就增加个目录呗，在sources节点增加<source>target/generated-sources/avro</source>，如下所示。。
　　

            <executions>　　
<execution>
　　
<id>add-source</id>
　　
<phase>generate-sources</phase>
　　
<goals>
　　
<goal>add-source</goal>
　　
</goals>
　　
<configuration>
　　
<sources>
　　
<source>target/generated-sources/java</source>
　　<source>target/generated-sources/avro</source>
　　
</sources>
　　
</configuration>
　　
</execution>
　　
</executions>
　　

　　update下工程，终于Ok了，没报任何错误。。。(如果还有错的话，试着先执行mvn eclipse:eclipse命令后再导入)