kafka详解一、Kafka简介
kafka详解一、Kafka简介分类： Kafka2014-08-18 10:45 375人阅读 评论(0) 收藏 举报
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
[*]如何收集这些巨大的信息
[*]如何分析它
[*]如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。
从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。
Kafka诞生：由 linked-in 开源
kafka-即是解决这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。
kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)
Kafka特性：它形容自己的设计是独一无二的，先看一下它有如何过人之处：
[*]快：单个kafka服务每秒可处理数以千计客户端发来的几百MB数据。
[*]可扩展性：一个单一集群可作为一个大数据处理中枢，集中处理各种类型业务
[*]持久化：消息被持久化到磁盘（可处理TB数据级别数据但仍保持极高数据处理效率），并且有备份容错机制
[*]分布式：着眼于大数据领域，支持分布式，集群可处理每秒百万级别消息
[*]实时性：生产出的消息可立即被消费者消费
消息顺序性：
Kafka是如何确保消息消费的顺序性的呢？前面讲到过Partition，消息在一个Partition中的顺序是有序的，但是Kafka只保证消息在一个Partition中有序，如果要想使整个topic中的消息有序，那么一个topic仅设置一个Partition即可。
页:
[1]