Flume Avro 两台机器间进行数据传输的方式

wxsheng

　　flume 通过avro方式在两台机器之间进行数据传输
　　


　　比如要在192.168.17.18 上把数据传到 192.168.17.17
　　1 首先要再两台机器上都部署 flume
　　2 在 17 flume下这样配置 avro-flume.conf
　　agent3.channels = ch1
agent3.sources = avro-source1
agent3.sinks = log-sink1
agent3.sources.avro-source1.channels = ch1
agent3.sources.avro-source1.type = avro
agent3.sources.avro-source1.bind = 0.0.0.0
agent3.sources.avro-source1.port = 12343
agent3.channels.ch1.type = memory
agent3.sinks.log-sink1.channel = ch1
agent3.sinks.log-sink1.type = logger
　　3 在17上运行

bin/flume-ng agent --conf ./conf/ -f conf/avro-flume.conf -Dflume.root.logger=DEBUG,console -n agent3
　　


　　在18上运行

bin/flume-ng avro-client -c ./conf -H 192.168.17.17 -p 12343 -F logs/test_data.log
　　


　　这样会把 18 上的logs/test_data.log 的数据直接在 17上打印出来
　　


　　注： 18上不用配置任何conf文件，只要在 conf目录下留有 flume-env.sh 和 log4j.properties 就行了，18上用的只是flume的avro-client客户端，也就是相当于模拟了一个avro客户端，把18上的数据发到17上