flume部署

lilingjie2015

　　                                                    storm
　　一.storm:实时版的Hadoop
　　  1.部署zookeeper
　　(1).useradd shaka
　　   passwd shaka
　　 （2）.  su shaka
　　 mkdir zookeeper
　　把zookeeper包放到该目录，并解压
　　tar -xvf zookeeper.jar包
　　ifconfig获得本机IP
　　修改zookeeper配置文件zoo.cfg
　　a.dataDir=/文件路径/data
　　b.dataLogDir=/文件路径/logs
　　c.server=本机IP或者127.0.0.1
　　(3).启动zookeeper
　　   bin/zkZookeeper.sh start
　　    查看状态(停止stop 重启restart)
　　  bin/zkZookeeper.sh status
　　    启动zookeeper客户端
　　  bin/zkCli.sh  -server 127.0.0.1:2181
　　   zookeeper客户端命令：
　　 ls   ls2   create  get   set   delete   quit    help
　　     2.storm 依赖包
　　(1).shaka下：
　　mkdir dependence
　　cd denpence
　　把俩个依赖文件放到该目录下，解压
　　cd zeromq-4.0.4 ->./configure
　　cd jzmq ->./configure
　　(2)root权限下，
　　yum install python-devel     ->./configure(make make install在root下操作)
　　   3.storm
　　(1).解压storm包
　　     vim ~/.bash_profile
　　            export STORM_HOME=/文件路径
　　           export PATH=$PATH:$STORM_HOME/bin
　　     重载环境变量 :  .   ~/.bash_profile
　　(2).修改storm配置文件storm.yaml
　　     storm.zookeeper.servers:
　　          自己IP或者127.0.0.1
　　          nimbus.host:"ip或127.0.0.1"
　　         storm.local.dir:"原后加/topology"
　　         ui.port:"8080"
　　(3).启动storm
　　     storm nuimbus &
　　     storm supervisor &
　　     storm ui &
　　 可通过http://127.0.0.1:8080查看
　　    4.应用 starter.jar
　　       修改文件中内容：String host="127.0.0.1";
　　                                    String db="test";
　　                                    String user="root";
　　                                    String passwd="root";
　　    在该目录下ant,且在starter下：storm jar dist/togology-0.0.1.jar starter.WordCountTopology
　　 5.给mysql换权限：grant  all privileges on *.*  to `myuser`@`127.0.0.1` identified by 'mypasswd';
  6.flume简介：
        flume是Cloudera提供的一个分布式，可靠，和高可用的海量日志的采集，聚合与传输的日志收集系统，支持在日志系统中定制各类数据的发送方，用于收集数据。同时，flume提供对数据进行简单处理，并写到各种数据接收方的能力。
　　        flume的特性：1可靠 2可伸缩 3高性能 4可延伸  5开源社区的支持
　　        flume的处理单元为event。flume的数据流图：source-》channel-》sinks
　　        flume的部署：
　　(1).拷贝flume的jar包到shaka下
　　(2).配置flume的配置文件：
　　 vim flume-source.properties: (添加如下配置)
　　      source.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
      source.sinks.sink1.topic = topic-003
      source.sinks.sink1.brokerList = localhost:9092
      source.sinks.sink1.requiredAcks = 1
      source.sinks.sink1.batchSize = 20
　　(3).启动：sbin/start-flume.sh
　　  7.kafka简介：
　　    consumer/prodecer生产者与发送者
　　   kafka部署：
　　(1).解压 打开配置文件修改：
　　conf/server.properties:
　　 broker.id=0;
　　host.name=127.0.0.1;
　　zookeeper.connect=127.0.0.1:2181;
　　(2).在启动zookeeper的条件下：
　　 启动kafka:bin/kafka-server-start.sh config/server.properties &
　　  查看kafka的list:bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
　　  创建topic：bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication 1 --topic topic-003
　　  删除topic:bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic topic-003 --zookeeper 127.0.0.1:2181
　　(3).启动customer:
　　       bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic-003
　　      启动producer:
　　      bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-003