设为首页 收藏本站
查看: 1314|回复: 0

[经验分享] Flume

[复制链接]

尚未签到

发表于 2017-5-21 13:56:29 | 显示全部楼层 |阅读模式
安装Flume
  1,到官网下载Flume,下载地址:http://flume.apache.org/download.html
  2 ,[iyunv@bicloud77 home]# tar zxvf apache-flume-1.5.2-bin.tar.gz
  3, [iyunv@bicloud77 home]#cd apache-flume-1.5.2-bin
  4,[iyunv@bicloud76 apache-flume-1.5.2-bin]# bin/flume-ng version

Flume 1.5.2

Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

Revision: 229442aa6835ee0faa17e3034bcab42754c460f5

Compiled by hshreedharan on Wed Nov 12 12:51:22 PST 2014

From source with checksum 837f81bd1e304a65fcaf8e5f692b3f18

5,安装成功
  6,启动命令:bin/flume-ng agent -c conf -f conf/flume-conf -n a1 -Dflume.root.logger=DEBUG,console


Flume启动参数

[iyunv@bicloud77 bin]# ./flume-ng
Error: Unknown or unspecified command ''
Usage: ./flume-ng <command> [options]...
commands:
help                  display this help text
agent                 run a Flume agent
avro-client           run an avro Flume client
version               show Flume version info
global options:
--conf,-c <conf>      use configs in <conf> directory
--classpath,-C <cp>   append to the classpath
--dryrun,-d           do not actually start Flume, just print the command
--plugins-path <dirs> colon-separated list of plugins.d directories. See the
plugins.d section in the user guide for more details.
Default: $FLUME_HOME/plugins.d
-Dproperty=value      sets a Java system property value
-Xproperty=value      sets a Java -X option
agent options:
--conf-file,-f <file> specify a config file (required)
--name,-n <name>      the name of this agent (required)
--help,-h             display help text
avro-client options:
--rpcProps,-P <file>   RPC client properties file with server connection params
--host,-H <host>       hostname to which events will be sent
--port,-p <port>       port of the avro source
--dirname <dir>        directory to stream to avro source
--filename,-F <file>   text file to stream to avro source (default: std input)
--headerFile,-R <file> File containing event headers as key/value pairs on each new line
--help,-h              display help text
Either --rpcProps or both --host and --port must be specified.
Note that if <conf> directory is specified, then it is always included first
in the classpath.
命令


参数


描述


help


打印帮助信息


agent


运行一个Flume Agent


avro-client


运行一个Avro Flume 客户端


version


显示Flume版本。


全局选项


参数


描述


--conf,-c <conf>


在<conf>目录使用配置文件。指定配置文件放在什么目录


--classpath,-C <cp>


追加一个classpath


--dryrun,-d


不真正运行Agent,而只是打印命令一些信息。


--plugins-path <dirs>


插件目录列表。默认:$FLUME_HOME/plugins.d

-Dproperty=value 设置一个JAVA系统属性值。
-Xproperty=value 设置一个JAVA -X的选项。

Agent选项


参数


描述


--conf-file,-f <file>


指定配置文件,这个配置文件必须在全局选项的--conf参数定义的目录下。(必填)


--name,-n <name>


Agent的名称(必填)


--help,-h


帮助


Avro客户端选项


参数


描述


--rpcProps,-P <file>


连接参数的配置文件。


--host,-H <host>


Event所要发送到的Hostname。


--port,-p <port>


Avro Source的端口。


--dirname <dir>


Avro Source流到达的目录。

--filename,-F <file> Avro Source流到达的文件名。
--headerFile,-R <file> 设置一个JAVA -X的选项。
  启动Avro客户端要么指定--rpcProps,要么指定--host和--port。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-379633-1-1.html 上篇帖子: 用flume 采集log4j 日志 到hdfs 下篇帖子: Flume写数据换行
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表