flume配置文件

iyth888

　　转载自博客园张淼的博客-- 原文地址：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050443.html
　　Flume配置文件(flume-site.conf)
　　
　　1、 watchdog
　　watchdog.restarts.max
　　watchdog每分钟重启的最大数???
　　
　　
　　2、 common node
　　flume.config.heartbeat.period
　　node发送心跳周期,默认5000(毫秒)
　　flume.node.status.port
　　node web端口
　　flume.node.heartbeat.backoff.ceiling
　　node向master发送心跳之后等待反馈的最大时长,默认60000(毫秒)
　　flume.node.http.autofindport
　　如果已有node启动，允许第二个node自动选择一个未使用的端口做web服务。多个node的界面端口从35862、35863向后延续
　　
　　
　　3、agent
　　flume.agent.logdir
　　agent日志路径
　　flume.agent.logdir.maxage
　　当前处于打开状态agent日志文件收集信息的时长,在这之后该日志文件将会被关闭，并将数据发送到网络，默认10000(毫秒)
　　flume.agent.logdir.retransmit
　　在end-to-end模式下agent向collector发送数据失败后再次发送的间隔时长，默认60000(毫秒)，建议至少是flume.collector.roll.millis的两倍
　　flume.agent.failover.backoff.initial
　　当primary sink(可以认为是第一collector)故障后，重启primary sink的一个延迟时间，在此期间，agent将把数据发送到secondary sink(可能是第二collector)
　　flume.agent.failover.backoff.max
　　在一定时限内尝试链接故障节点失败后，agent将把数据转发向备用节点
　　
　　
　　4、collector
　　flume.collector.event.host
　　默认collector地址
　　flume.collector.port
　　默认collector端口
　　flume.collector.dfs.dir
　　最终数据发向目录(默认)，可以是本地，可以是hdfs，默认是/tmp
　　flume.collector.dfs.compress.codec
　　压缩格式GzipCodec, DefaultCodec (deflate), BZip2Codec，默认是None
　　flume.collector.roll.millis
　　hdfs文件切换(关闭后新建)的时长
　　flume.collector.output.format
　　collector发送数据格式avro, avrojson(默认), avrodata…
　　
　　
　　5、master
　　flume.master.servers
　　用逗号分隔多个master地址列表
　　flume.master.store
　　master配置存储方式(zookeeper/memory) zookeeper保证master的配置在多master节点之间同步，memory则保存在内存中，其配置随着master宕机而丢失
　　flume.master.serverid
　　master的唯一标识
　　flume.master.http.port
　　http端口
　　flume.master.heartbeat.missed.max
　　判断节点失效的最大未达心跳数
　　flume.master.savefile
　　当前flume配置文件的路径，默认conf/current.flume
　　flume.master.savefile.autoload
　　启动时是否加载current.flume，默认false
　　flume.master.gossip.period
　　master通信周期(毫秒)
　　flume.master.heartbeat.rpc
　　THRIFT/AVRO
　　flume.event.rpc
　　THRIFT/AVRO
　　flume.report.server.rpc.type
　　THRIFT/AVRO
　　
　　
　　6、zookeeper
　　flume.master.zk.logdir
　　zookeeper日志路径
　　
　　
　　7、thrift
　　flume.thrift.socket.timeout.ms
　　thrift网络连接超时时间(毫秒)
　　

　　
　　command shell(flume command)
　　
　　help
　　帮助
　　connect master:port
　　登录master
　　config logicalnode source sink
　　为逻辑节点配置一个source到sink的映射
　　getnodestatus
　　获得节点状态(HELLO, CONFIGURING, ACTIVE, IDLE, ERROR, DECOMMISSIONED, LOST )
　　HELLO, node启动时
　　CONFIGURING, node被配置后
　　ACTIVE, 一个event从source送达到sink
　　IDLE, source中所有evnet发送完毕后
　　ERROR, 节点故障退出，数据没有flush
　　DECOMMISSIONED, node被master移除
　　LOST, master长时间未收到node心跳
　　getconfigs
　　获得配置
　　getmappings [physical node]
　　如果physical node参数被省略，将显示所有logical node到physical node的映射关系
　　exec
　　同步执行命令
　　Source file
　　执行脚本.
　　submit
　　异步执行命令
　　wait ms [cmdid]
　　设定一个时间，周期检查命令进程的状态(success or failure)
　　waitForNodesActive ms node1 [node2 […]]
　　设定一个时间，检查node是否处于使用(configuring, active)状态
　　waitForNodesDone ms node1 [node2 […]]
　　设定一个时间，检查node是否处于未用(IDLE, ERROR, LOST)状态
　　quit
　　退出
　　
　　
　　command shell(exec & submit command)
　　双引号
　　包含转义字符的java string
　　单引号
　　能引住除单引号之外的所有字符
　　noop
　　touch master, 不做操作
　　config logicalnode source sink
　　为逻辑节点配置source到sink的映射
　　multiconfig flumespec
　　unconfig logicalnode
　　取消逻辑节点的配置，影响master调整故障转移列表(failover list)
　　refreshAll logicalnode
　　刷新
　　save filename
　　保存current configuration到master硬盘
　　load filename
　　从master中加载current configuration
　　map physicalnode logicalnode
　　配置物理节点到逻辑节点的映射关系，master的配置将被同步到logicalnode
　　spawn physicalnode logicalnode
　　恢复
　　decommission logicalnode
　　unmap physicalnode logicalnode
　　取消映射
　　unmapAll
　　全部取消
　　purge logicalnode
　　清除状态，类似重启一个logical node, 适用于(DECOMMISSIONED、 LOST)状态
　　purgeAll
　　清除所有logical node的状态
　　
　　Flume Source
　　
　　
　　1、Flume’s Tiered Event Sources
　　collectorSource[(port)]
　　Collector source，监听端口汇聚数据
　　autoCollectorSource
　　通过master协调物理节点自动汇聚数据
　　logicalSource
　　逻辑source，由master分配端口并监听rpcSink
　　
　　
　　
　　2、Flume’s Basic Sources
　　null
　　console
　　监听用户编辑历史和快捷键输入，只在node_nowatch模式下可用
　　stdin
　　监听标准输入，只在node_nowatch模式下可用，每行将作为一个event source
　　rpcSource(port)
　　由rpc框架(thrift/avro)监听tcp端口
　　text("filename")
　　一次性读取一个文本，每行为一个event
　　tail("filename"[, startFromEnd=false])
　　每行为一个event。监听文件尾部的追加行，如果startFromEnd为true，tail将从文件尾读取，如果为false，tail将从文件开始读取全部数据
　　multitail("filename"[, file2 [,file3… ] ])
　　同上，同时监听多个文件的末尾
　　tailDir("dirname"[, fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]])
　　监听目录中的文件末尾，使用正则去选定需要监听的文件（不包含目录），recurseDepth为递归监听其下子目录的深度
　　seqfile("filename")
　　监听hdfs的sequencefile，全路径
　　syslogUdp(port)
　　监听Udp端口
　　syslogTcp(port)
　　监听Tcp端口
　　syslogTcp1(port)
　　只监听Tcp端口的一个链接
　　execPeriodic("cmdline", ms)
　　周期执行指令，监听指令的输出，整个输出都被作为一个event
　　execStream("cmdline")
　　执行指令，监听指令的输出，输出的每一行被作为一个event
　　exec("cmdline"[, aggregate=false[,restart=false[,period=0]]])
　　执行指令，监听指令的输出，aggregate如果为true，整个输出作为一个event如果为false，则每行作为一个event。如果restart为true，则按period为周期重新运行
　　synth(msgCount,msgSize)
　　随即产生字符串event,msgCount为产生数量，msgSize为串长度
　　synthrndsize(msgCount,minSize,maxSize)
　　同上，minSize – maxSize
　　nonlsynth(msgCount,msgSize)
　　asciisynth(msgCount,msgSize)
　　Ascii码字符
　　twitter("username","pw"[,"url"])
　　尼玛twitter的插件啊
　　irc("server",port, "nick","chan")
　　scribe[(+port)]
　　Scribe插件
　　report[(periodMillis)]
　　生成所有physical node报告为事件源
　　
　　Flume Sinks
　　
　　
　　1、Flume’s Collector Tier Event Sinks
　　collectorSink( "fsdir","fsfileprefix",rollmillis)
　　collectorSink，数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录，fsfileprefix为文件前缀码
　　
　　2、Flume’s Agent Tier Event Sinks
　　agentSink[("machine"[,port])]
　　Defaults to agentE2ESink，如果省略，machine参数，默认使用flume.collector.event.host与flume.collector.event.port作为默认collecotr（以下同此）
　　agentE2ESink[("machine"[,port])]
　　执着的agent，如果agent发送event没有收到collector成功写入的状态码，该event将被agent重复发送，直到接到成功写入的状态码
　　agentDFOSink[("machine" [,port])]
　　本地热备agent，agent发现collector节点故障后，不断检查collector的存活状态以便重新发送event，在此间产生的数据将缓存到本地磁盘中
　　agentBESink[("machine"[,port])]
　　不负责的agent，如果collector故障，将不做任何处理，它发送的数据也将被直接丢弃
　　agentE2EChain("m1[:_p1_]" [,"m2[:_p2_]"[,…]])
　　指定多个collector提高可用性。 当向主collector发送event失效后，转向第二个collector发送，当所有的collector失败后，它会非常执着的再来一遍...
　　agentDFOChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])
　　同上，当向所有的collector发送事件失效后，他会将event缓存到本地磁盘，并检查collector状态，尝试重新发送
　　agentBEChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])
　　同上，当向所有的collector发送事件失效后，他会将event丢弃
　　autoE2EChain
　　无需指定collector, 由master协调管理event的流向
　　autoDFOChain
　　同上
　　autoBEChain
　　同上
　　
　　
　　3、Flume’s Logical Sinks
　　logicalSink("logicalnode")
　　
　　4、Flume’s Basic Sinks
　　在不使用collector收集event的情况下，可将source直接发向basic sinks
　　null
　　null
　　console[("formatter")]
　　转发到控制台
　　text("txtfile" [,"formatter"])
　　转发到文本文件
　　seqfile("filename")
　　转发到seqfile
　　dfs("hdfspath")
　　转发到hdfs
　　customdfs("hdfspath"[, "format"])
　　自定义格式dfs
　　+escapedCustomDfs("hdfspath", "file", "format")
　　rpcSink("host"[, port])
　　Rpc框架
　　syslogTcp("host"[,port])
　　发向网络地址
　　irc("host",port, "nick", "chan")