flume-ng 使用spool source 传输文件到hdfs
Flume 1.4.0 User Guide 地址：http://archive.cloudera.com/cdh4/cdh/4/flume-ng-1.4.0-cdh4.6.0/FlumeUserGuide.html
本文档主要用来记录如何在日志服务器和hdfs服务器端利用flume-ng将已经写好的日志传输到hdfs。
一 安装与环境配置
下载地址http://archive.cloudera.com/cdh4/cdh/4/flume-ng-latest.tar.gz ，使用chd4版本。
解压到服务器目录。
配置JAVA_HOME和PATH (具体路径参考实际情况)
declare -x JAVA_HOME="/usr/java/default"
export PATH=$JAVA_HOME:$PATH
export PATH=/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/bin:$PATH
二 程序参数配置
flume-ng的程序参数主要通过修改各种配置文件实现。 (具体路径参考实际情况)
1 flume-ng默认程序最大内存为20m，打开解压文件路径下的/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/flume-env.sh.template文件
修改如下一行
#JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote" 改为
JAVA_OPTS="-Xms64m -Xmx300m -Dcom.sun.management.jmxremote" 将flume-env.sh.template重命名为flume-env.sh使配置生效。
2 配置source channel sink。
服务器端的配置文件conf.properties
日志服务器端的配置文件conf.properties
#define agent1
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1
#Describe the source
agent1.sources.source1.type = spooldir
# source 读取源日志的路径
agent1.sources.source1.spoolDir = /home/dongxiao.yang/flumespool
#agent1.sources.source1.fileHeader =true
#Describe the sink
#agent1.sinks.sink1.type = logger
agent1.sinks.sink1.type = avro
#avro sink 发送数据的地址和端口
agent1.sinks.sink1.hostname= 218.241.157.74
agent1.sinks.sink1.port = 10000
# avro 数据发送前会进行压缩，共有1到9个级别的压缩
agent1.sinks.sink1.compression-type = deflate
#Describe the channel
agent1.channels.channel1.type = file
#file channle checkpoint文件的路径
agent1.channels.channel1.checkpointDir = /home/dongxiao.yang/checkpoint
# file channel data文件的路径
agent1.channels.channel1.dataDirs = /home/dongxiao.yang/data
# file channel 每次传输事件的个数
agent1.channels.channel1.transactionCapacity = 10000
#file channel 最多储存事件的个数
agent1.channels.channel1.capacity= 10000000
#Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1
hdfs端的conf.properties
#define
agent1.sources = source1
agent1.channels = channel1
agent1.sinks = sink1
#Describe the source
agent1.sources.source1.type = avro
# avro source 监听的地址和端口
agent1.sources.source1.bind = 0.0.0.0
agent1.sources.source1.port = 10000
# avro source 读取的数据是压缩过的，类型必须与 前一个 avro sink相同
agent1.sources.source1.compression-type =deflate
#Describe the sink
agent1.sinks.sink1.type = hdfs
# 写入hdfs的路径
agent1.sinks.sink1.hdfs.path = /tmp/flume
# 文件前缀
agent1.sinks.sink1.hdfs.filePrefix = test
agent1.sinks.sink1.hdfs.rollCount = 0
agent1.sinks.sink1.hdfs.rollInterval=0
agent1.sinks.sink1.hdfs.rollSize=0
agent1.sinks.sink1.hdfs.batchSize=5000
#文件在完全没有流写入后60s关闭
agent1.sinks.sink1.hdfs.idleTimeout=60
#数据写入hdfs时进行压缩
agent1.sinks.sink1.hdfs.fileType = CompressedStream
#数据写入hdfs时压缩的种类
agent1.sinks.sink1.hdfs.codeC = gzip
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 100000
agent1.channels.channel1.transactionCapacity = 5000
#Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
三 启动程序
运行程序位于解压文件/bin目录下。运行前需要先为flume-ng赋予可执行权限：chmod 777 flume-ng。
在bin目录下运行命令 ,程序即可执行。
flume-ng agent --conf /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf --conf-file /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/conf.properties
--name agent1 -Dflume.root.logger=INFO,DAILY -Duser.timezone=UTC+8
其中 --conf 对应的是配置文件目录
--conf-file 对应配置文件
--name 对应配置文件内的angent的名字
-D对应日志以及运行时区
页:
[1]