日志收集框架 Flume 简介

zyllf2009

　　最近接触了Flume这个日志框架，还蛮不错的，当今大数据遍不天下，采集数据，变得尤为珍贵。
　　Flume框架优点：
1、它是一个分布式，高可用的日志采集框架，很多公司都应用它进行二次改造，进行日志收集。
2、应用了事务机制保证消息的可靠性传递。
3、特别喜爱它的一点是，它是Java开发，很容易进行二次开发，或线上出现问题了，很容易找到问题的所在，而且配置文件可配置JVM。
4、最后、功能组件模块分的清楚，很容易上手。
　　Flume基本组件以及基础概念：
Sources：采集源，也是数据来源，就是说你要采集的目标。
Channels：数据通道，Sources数据采集到这里，暂存，直到给Sink组件
Sink：目标地，数据采集到了最终要传递到一个地方，Sink是干这个工作的。
Events：事件，Flume整个流程中，Events是贯穿整个流程，是最小的事件单位，
Agent：一个agent对应一个java进程，它使用JVM启动，可配置JVM参数。
　　Flumes运行流程：
sources监听到特定的source type数据来源，存入到channels通道，它保存的都是以事件为单位的数据，等待sink来消费，sink负责将channels里存入的event事件推送到目标地。
　　Flume常用的模型（来自官网）
地址：http://flume.apache.org/FlumeUserGuide.html#
　　模型一：

　　模型二：
　　模型三：

　　模型四：
　　后续还在学习中，如有不对的地方，可一起学习。