Apache Flume

dsfdsf

        这篇文章是关于Flume HDFSSink的，以Flume-1.3.1版为依据。Flume设计目标是：高效收集聚合大量的日志数据。Fluem是一个可靠的、可用的、分布式日志收集聚合系统。Flume体系结构基于流式数据流设计。其中Flume Sink主要承担将数据传输到下一跳或最终目的的任务。               HDFSSink用来将数据写入Hadoop分布式文件系统（HDFS）中。支持创建text和sequence文件。支持这2种文件类型的压缩。支持文件周期性滚动（就是关闭当前文件在建立一个新的），滚动可以基于时间、数据大小、事件数量。也支持通过event hearder属性timestamp或host分割数据。HDFS目录路径或文件名支持格式化封装，相应的封装串在HDFSSink生成目录或文件时被恰当的替换。使用HDFSSink需要首先安装hadoop，HDFSSink是通过hadoop jar和HDFS集群通信的。注意Hadoop版本需要支持sync().

                 以下是HDFS支持的封装串：                  

      使用中的文件以".tmp"结尾，一旦文件关闭，这个扩展名将被移除。这样我们就可以排除没有完成的文件。时间相关的封装串都依赖于event的header中的timestamp属性。HDFSSink的属性如下：

　　配置示例：
　　log-collector.sources=screen
　　log-collector.sinks=screen
　　log-collector.channels=screen

　　# Describe the source
　　略
　　
　　# Describe the sink
　　log-collector.sinks.screen.type = hdfs
　　#日志保存路径，这里按天存放
　　log-collector.sinks.screen.hdfs.path=hdfs://nn.uusee.com:9000/user/flume/original/screen/%Y/%m/%d
　　#文件前缀，也可以使用封装串
　　log-collector.sinks.screen.hdfs.filePrefix=screen-%Y%m%d-%H0000000
　　#使用LZO压缩算法，注意这里有一个bug，使用LzopCodec时文档没有说明
　　log-collector.sinks.screen.hdfs.codeC=LzopCodec
　　log-collector.sinks.screen.hdfs.fileType=CompressedStream
　　#每10分钟滚动
　　log-collector.sinks.screen.hdfs.rollInterval=600
　　#不根据文件大小滚动
　　log-collector.sinks.screen.hdfs.rollSize=0
　　#不根据事件条数滚动
　　log-collector.sinks.screen.hdfs.rollCount=0
　　log-collector.sinks.screen.hdfs.writeFormat=Text
　　#批量保存大小，需要和channel的匹配
　　log-collector.sinks.screen.hdfs.batchSize=1000
　　log-collector.sinks.screen.hdfs.threadsPoolSize=15
　　#hadoop集群响应时间较长时需要配置
　　log-collector.sinks.screen.hdfs.callTimeout=30000
　　
　　
　　# Describe the channel
　　log-collector.channels.screen.type = file
　　log-collector.channels.screen.checkpointDir = /data0/flume-ng-channel/log/screen/checkpoint
　　log-collector.channels.screen.dataDirs = /data0/flume-ng-channel/log/screen/data
　　log-collector.channels.screen.capacity = 2000000
　　log-collector.channels.screen.transactionCapacity = 1000
　　
　　# Bind the source and sink to the channel
　　log-collector.sources.screen.channels = screen
　　log-collector.sinks.screen.channel = screen