flume部署
storm一.storm:实时版的Hadoop
1.部署zookeeper
(1).useradd shaka
passwd shaka
（2）.su shaka
mkdir zookeeper
把zookeeper包放到该目录，并解压
tar -xvf zookeeper.jar包
ifconfig获得本机IP
修改zookeeper配置文件zoo.cfg
a.dataDir=/文件路径/data
b.dataLogDir=/文件路径/logs
c.server=本机IP或者127.0.0.1
(3).启动zookeeper
bin/zkZookeeper.sh start
查看状态(停止stop 重启restart)
bin/zkZookeeper.sh status
启动zookeeper客户端
bin/zkCli.sh-server 127.0.0.1:2181
zookeeper客户端命令：
ls ls2 createget set delete quit help
2.storm 依赖包
(1).shaka下：
mkdir dependence
cd denpence
把俩个依赖文件放到该目录下，解压
cd zeromq-4.0.4 ->./configure
cd jzmq ->./configure
(2)root权限下，
yum install python-devel ->./configure(make make install在root下操作)
3.storm
(1).解压storm包
vim ~/.bash_profile
export STORM_HOME=/文件路径
export PATH=$PATH:$STORM_HOME/bin
重载环境变量 :. ~/.bash_profile
(2).修改storm配置文件storm.yaml
storm.zookeeper.servers:
自己IP或者127.0.0.1
nimbus.host:"ip或127.0.0.1"
storm.local.dir:"原后加/topology"
ui.port:"8080"
(3).启动storm
storm nuimbus &
storm supervisor &
storm ui &
可通过http://127.0.0.1:8080查看
4.应用 starter.jar
修改文件中内容：String host="127.0.0.1";
String db="test";
String user="root";
String passwd="root";
在该目录下ant,且在starter下：storm jar dist/togology-0.0.1.jar starter.WordCountTopology
5.给mysql换权限：grantall privileges on *.*to `myuser`@`127.0.0.1` identified by 'mypasswd';
6.flume简介：
flume是Cloudera提供的一个分布式，可靠，和高可用的海量日志的采集，聚合与传输的日志收集系统，支持在日志系统中定制各类数据的发送方，用于收集数据。同时，flume提供对数据进行简单处理，并写到各种数据接收方的能力。
flume的特性：1可靠 2可伸缩 3高性能 4可延伸5开源社区的支持
flume的处理单元为event。flume的数据流图：source-》channel-》sinks
flume的部署：
(1).拷贝flume的jar包到shaka下
(2).配置flume的配置文件：
vim flume-source.properties: (添加如下配置)
source.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
source.sinks.sink1.topic = topic-003
source.sinks.sink1.brokerList = localhost:9092
source.sinks.sink1.requiredAcks = 1
source.sinks.sink1.batchSize = 20
(3).启动：sbin/start-flume.sh
7.kafka简介：
consumer/prodecer生产者与发送者
kafka部署：
(1).解压 打开配置文件修改：
conf/server.properties:
broker.id=0;
host.name=127.0.0.1;
zookeeper.connect=127.0.0.1:2181;
(2).在启动zookeeper的条件下：
启动kafka:bin/kafka-server-start.sh config/server.properties &
查看kafka的list:bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
创建topic：bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication 1 --topic topic-003
删除topic:bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic topic-003 --zookeeper 127.0.0.1:2181
(3).启动customer:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic-003
启动producer:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-003
页:
[1]