kafka 文档 （二）用途和快速启动

noel0217

use cases （用途）
use cases （用途）
messaging
　　卡夫卡作为传统的消息代理代替者。broker用于各种原因（解耦数据生产者，缓冲未处理的消息等）。相比于大多数的消息传递系统中卡夫卡有更好的吞吐量，内置的分区，复制，和容错性使得大规模的信息处理应用的一个很好的解决方案。
　　在我们的经验中消息使用往往较低的吞吐量，但可能需要较低的端到端延迟，往往依赖于有保证的卡夫卡提供了保证。
　　在这一领域kafka与传统的消息系统ActiveMQ or RabbitMQ.竞争
Website Activity Tracking(网站活动跟踪)
　　卡夫卡原来使用是重建一个用户活动跟踪管道,作为是一套实时发布订阅的系统。这意味着站点的活动（页面浏览，搜索，或用户可能采取其他行动）被发送到中央的主题-活动类型上。提供这些资料是可用于一系列的使用情况，包括实时处理，订阅实时监测，和装载到Hadoop或离线数据仓库系统的离线处理和报告。
　　活动跟踪往往是非常大的量，每个用户的页面视图生成许多活动消息
Metrics（度量）
　　卡夫卡经常被用于监测运行数据。这涉及汇总统计的分布式应用程序的生产操作数据。
Log Aggregation(聚合日志)
　　很多人使用卡夫卡作为一个日志聚合的解决方案。日志聚合通常收集服务器的物理日志文件并放在中心位置（文件服务器和HDFS也许）处理。卡夫卡抽象了文件的细节和提供一个更清洁的消息流抽象的日志或事件数据。这允许低延迟和多个数据源处理,分布的消费者也更容易支持。与中心日志记录系统如Scribe, Flume，卡夫卡提供了同样良好的性能，更强的可靠性，和较低的端到端延迟。
Stream Processing(流式处理)
　　许多用户做完阶段性的处理的数据，经过汇总，丰富，或转化为新的卡夫卡主题的进一步处理。例如，一个文章推荐的处理流程可以抓取的文章内容从RSS和发布的“articles”主题；进一步的处理可能有助于规范或去重此内容到一个清洁的文章内容的主题；最后一个阶段可能会尝试匹配的内容给用户。这将创建一个实时的流流向不同的用户。Storm和samza是实现这种转换流行的框架。
Event Sourcing(寻源)
　　寻源是记录合适状态改变并记录一个按时间排序的log。卡夫卡的支持非常大的存储日志数据，是建立在这种应用良好的后台。
Commit Log(日志提交)
　　卡夫卡可以作为一种外部提交日志的分布式系统。日志可以复制节点和行为之间的数据,用来提供重新同步机制给失败的节点来恢复他们的数据。卡夫卡的log compaction特性有助于支持这种用法。此处kafka 类似Apache BookKeeper.
Quick Start
Download the code
　　下载代码，解压
> tar -xzf kafka_2.9.2-0.8.1.tgz　　
> cd kafka_2.9.2-0.8.1
Start the server
　　Kafka使用zookeeper ,所以先启动zookeeper
> bin/zookeeper-server-start.shconfig/zookeeper.properties　　接下来启动kafka
> bin/kafka-server-start.shconfig/server.propertiesCreate a topic（建立主题）
> bin/kafka-topics.sh --create--zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test　　上面的命令将创建一个名叫test的单分区,只有一个副本的topic
> bin/kafka-topics.sh --list --zookeeperlocalhost:2181　　上面的命令显示出localhost:2181 zookeeper 下包含的topic
　　可以设置broker 自动创建topic 在当前topic不存在时.
Send some messages(发送消息)
　　Kafka提供一个命令行的消息产生功能.
> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic test　　
This is a message
　　
This is another message
Start a consumer
　　Kafka同样提供了一个命令行的消费者。
> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --topic test --from-beginning　　
This is a message
　　
This is another message
Setting up a multi-broker cluster（建立分布式集群）
　　到现在位置，我们一直运行的一直是单一的breoker，对于卡夫卡，一个broker是大小为1的集群，所以启动了几个实例没有什么太大的变化。让我们扩展我们的集群到三个节点（还是我们所有的本地计算机上）。
　　为每一个broker 建立配置文件
> cp config/server.propertiesconfig/server-1.properties　　
> cp config/server.propertiesconfig/server-2.properties
　　编辑下面的文件
　　config/server-1.properties:
　　broker.id=1
　　port=9093
　　log.dir=/tmp/kafka-logs-1
　　config/server-2.properties:
　　broker.id=2
　　port=9094
　　log.dir=/tmp/kafka-logs-2
　　broker.id 属性在集群中是唯一且永久的。我们重写了端口和日志文件的目录防止记录被重写。
　　我们已经启动过一次kafka了，之后只需要在启动两个.
>bin/kafka-server-start.sh config/server-1.properties &　　
...
　　
>bin/kafka-server-start.sh config/server-2.properties &
　　
...
　　此时我们新建一个topic并指定一个为3的复制因子
bin/kafka-topics.sh --create --zookeeperlocalhost:2181 --replication-factor 3 --partitions 1 --topicmy-replicated-topic　　
(译者注：目前的命令为/kafka-create-topic.sh -zookeeperlocalhost:2181 -partition 3 -replica3 -topic test)
　　此时我们拥有了一个集群了，但是我们如何了解那个broker在运作呢？我们可以使用describe topic command
　　
>bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topicmy-replicated-topic
　　
     (译者注：目前的命令为/kafka-list-topic.sh-zookeeperlocalhost:2181)
　　
　　Topic:my-replicated-topic      PartitionCount:1       ReplicationFactor:3    Configs:
　　Topic: my-replicated-topic     Partition: 0   Leader: 1      Replicas:1,2,0Isr: 1,2,0
　　其中leader 是当前分区的领导节点。Leader节点负责所有的读写操作。
　　Replicas是当前分区的复制节点。
　　Isr“in-sync”是当前存货的并且可以跟上领导者的节点.
　　我们开始向新建立的topic发送消息:
> bin/kafka-console-producer.sh--broker-list localhost:9092 --topic my-replicated-topic　　
...
　　
my test message 1
　　
my test message 2
　　
^C
　　此时我们启动消费者:
> bin/kafka-console-consumer.sh--zookeeper localhost:2181 --from-beginning --topic my-replicated-topic　　
...
　　
my test message 1
　　
my test message 2
　　
^C
　　此时我们测试容错性。我们关闭leader节点broker1
> ps | grep server-1.properties7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java...> kill -9 7564　　此时leader转换到它其中的一个slaves上，此时node 1 不在同步in-sync 中
> bin/kafka-topics.sh --describe --zookeeper localhost:218192 --topic my-replicated-topicTopic:my-replicated-topic      PartitionCount:1       ReplicationFactor:3    Configs:        Topic: my-replicated-topic     Partition: 0   Leader: 2      Replicas: 1,2,0Isr: 2,0　　此时消息依旧可以消费
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic...my test message 1my test message 2^C