flume-ng 使用spool source 传输文件到hdfs

坏气十足

　　
Flume 1.4.0 User Guide 地址：http://archive.cloudera.com/cdh4/cdh/4/flume-ng-1.4.0-cdh4.6.0/FlumeUserGuide.html
　　本文档主要用来记录如何在日志服务器和hdfs服务器端利用flume-ng将已经写好的日志传输到hdfs。
　　一 安装与环境配置
　　下载地址  http://archive.cloudera.com/cdh4/cdh/4/flume-ng-latest.tar.gz ，使用chd4版本。
　　解压到服务器目录。
　　配置JAVA_HOME和PATH (具体路径参考实际情况)
　　declare -x JAVA_HOME="/usr/java/default"
　　export PATH=$JAVA_HOME:$PATH
　　export PATH=/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/bin:$PATH
　　
　　二   程序参数配置
　　flume-ng的程序参数主要通过修改各种配置文件实现。 (具体路径参考实际情况)
　　1 flume-ng默认程序最大内存为20m，打开解压文件路径下的/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/flume-env.sh.template文件
　　修改如下一行

#JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote"

　　改为

JAVA_OPTS="-Xms64m -Xmx300m -Dcom.sun.management.jmxremote"

　　将flume-env.sh.template重命名为flume-env.sh使配置生效。
　　2 配置source channel sink。
　　服务器端的配置文件conf.properties


日志服务器端的配置文件conf.properties

#define agent1 agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = spooldir # source 读取源日志的路径 agent1.sources.source1.spoolDir = /home/dongxiao.yang/flumespool   #agent1.sources.source1.fileHeader =true #Describe the sink #agent1.sinks.sink1.type = logger agent1.sinks.sink1.type = avro #avro sink 发送数据的地址和端口 agent1.sinks.sink1.hostname= 218.241.157.74 agent1.sinks.sink1.port = 10000 # avro 数据发送前会进行压缩，共有1到9个级别的压缩 agent1.sinks.sink1.compression-type = deflate #Describe the channel agent1.channels.channel1.type = file #file channle checkpoint文件的路径 agent1.channels.channel1.checkpointDir = /home/dongxiao.yang/checkpoint # file channel data文件的路径 agent1.channels.channel1.dataDirs = /home/dongxiao.yang/data # file channel 每次传输事件的个数 agent1.channels.channel1.transactionCapacity = 10000 #file channel 最多储存事件的个数 agent1.channels.channel1.capacity= 10000000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1

hdfs端的conf.properties

#define agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = avro # avro source 监听的地址和端口 agent1.sources.source1.bind = 0.0.0.0 agent1.sources.source1.port = 10000 # avro source 读取的数据是压缩过的，类型必须与 前一个 avro sink相同 agent1.sources.source1.compression-type =deflate #Describe the sink agent1.sinks.sink1.type = hdfs # 写入hdfs的路径 agent1.sinks.sink1.hdfs.path = /tmp/flume # 文件前缀 agent1.sinks.sink1.hdfs.filePrefix = test agent1.sinks.sink1.hdfs.rollCount = 0 agent1.sinks.sink1.hdfs.rollInterval=0 agent1.sinks.sink1.hdfs.rollSize=0 agent1.sinks.sink1.hdfs.batchSize=5000 #文件在完全没有流写入后60s关闭 agent1.sinks.sink1.hdfs.idleTimeout=60 #数据写入hdfs时进行压缩 agent1.sinks.sink1.hdfs.fileType = CompressedStream #数据写入hdfs时压缩的种类 agent1.sinks.sink1.hdfs.codeC = gzip # Use a channel which buffers events in memory agent1.channels.channel1.type = memory agent1.channels.channel1.capacity = 100000 agent1.channels.channel1.transactionCapacity = 5000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1

　　
　　
　　三 启动程序
　　运行程序位于解压文件/bin目录下。运行前需要先为flume-ng赋予可执行权限：chmod 777 flume-ng。
　　在bin目录下运行命令 ,程序即可执行。
　　
flume-ng agent --conf /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf --conf-file /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/conf.properties
　　--name agent1 -Dflume.root.logger=INFO,DAILY -Duser.timezone=UTC+8
　　
　　其中 --conf 对应的是配置文件目录
　　--conf-file 对应配置文件
　　--name 对应配置文件内的angent的名字
　　-D对应日志以及运行时区