3. 修改配置文件
a) $FLUME_HOME/conf目录下本身有flume-conf.xml和flume-site.xml.template两个文件,flume-conf.xml是默认的配置文件,虽说也可以修改,但不建议修改,用户配置应该在flume-site.xml(由flume-site.xml.template改名而成)文件中(即相当于覆盖flume-conf.xml文件中的原有配置)。flume-site.xml文件应该是针对节点在集群中的不同角色而做不同的修改(详细的配置参数可以参考flume-conf.xml,针对不同角色做了分门别类,一目了然),这里就不具体描述了,可参考http://blog.csdn.net/rzhzhz/article/details/7457956。
b) Collector和Agent的用户配置文件中flume-site.xml必须指定master的地址flume.master.servers,如下:
4. 启动zookeeper集群
a) 这里zookeeper集群会在master的配置文件里配置。
<property>
<name>flume.master.zk.use.external</name>
<value>true</value>
</property>
<property>
<name>flume.master.zk.servers</name>
<value>master:2181,collector:2181,agent:2181</value>
</property> flume.master.zk.use.external 是否使用外部zookeeper集群 flume.master.zk.servers zookeeper集群地址
b) 如果不配置则使用flume内部提供的zookeeper。flume使用使用zookeeper进行管理和负载均衡.
c) 关于zookeeper保存的master的配置数据是可以配置(flume.master.store)的,可以选择存在zookeeper中(zookeeper),也可以选择存储在内存中(memory) 5. 启动master,collector,Agent
a) 启动master: flume master
b) 启动node(collector): flume node_nowatch
c) 启动node(agent): flume node_nowatch
后两者的启动方式是一样的,只是在配置参数中有所差异
启动node的时候可以选择指定node的名字的参数 -n ,默认为主机名
如(flume node_nowatch –n node1) 6. 查看
a) Web查看
Master :
http://master:35871/flumemaster.jsp
可以在master页面查看和配置node参数
node :
http://collector:35862/flumeagent.jsp
http://agent:35862/flumeagent.jsp
单机部署的时候,如果启动了多个node,则端口以此增加(如35863,35864)
b) Shell连接(简略介绍下,更详细的命令请参考help)
flume shell
collect master 7. 在master修改节点配置
a) 这里我们其实可以这样先易后难,不要一开始就弄复杂的配置,这样很难定位错误,还有flume本身的错误基本就是在控制台输出,这与我们的调试思路有点违背,我们一般的查错首先都会想到日志文件,但它的日志文件实在是没什么东西
b) 配置界面大致如下