kafka学习记录
http://blog.运维网.com/e/u261/themes/default/images/spacer.gif消息系统
kafka：支持协议仿AMQP，动态扩容（支持zk），支持负载均衡、集群。
（事物：多个全部提交，要么全部成功，要么全部失败。）
AMQP： 高级消息队列 advanced messagequeueprotocol。
三个组件：
broker即为一个实例
http://blog.运维网.com/e/u261/themes/default/images/spacer.gif
kafka0.8 ：增加备份功能。
官方文档：kafka.apache.org/documentation.html#quickstart
kafka集群搭建：
1、搭建
2、配置文件介绍
软件环境：linux ，需要有zookeeper集群，版本选择0.8.1 ，kafka_源码包
配置文件：
server.properties
(不推荐使用默认的zookeeper)
broker.id=0 实例id 集群中的唯一标示
prot=9092
host.name=2.2.2.2(把配置的话 ，会进行dns解析，会产生文件句柄数泄露，导致故障)
message.max.byte=5M每条消息最大5M
log.dirs=dir1,dir2 消息
default.replication.factor=2 默认副本数
replica.fethc.max.bytes=5M
zookeeper.connect=1.1.1.1:2188，1.1.1.2:2188,1.1.1.3:2188（zookeeper集群）
log.retention.hours=168 默认存储7天。
log.segment.bytes=111111111文件大小
log.cleaner.enable=false log压缩功能
consumer.properties
group.id=test1group
producer.properties
producer.type=sync 同步 发送方式
compression.codec 压缩方式
日志：
server.log运行日志
controler.log控制机器日志
启动：
kafka-server-start.sh-daemon .../config/server.properties
以后台进程方式启动
创建一个topic：
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2--partitions 1 --topic test
查看topic：
./kafka-topic.sh --list --zookeeper localhost:2181
启动comsumer.sh程序(消息订阅)
./kafka-console-consumer.sh --zookeeper localhost:2181--topictest--from-beginning
启动producer程序 (消息发送)
./kafka-console-producer.sh --broker-list 2.2.2.2:9092 --topic test
查询topic：
页:
[1]