kafka详解一、Kafka简介

5d6d网

 kafka详解一、Kafka简介

分类： Kafka2014-08-18 10:45 375人阅读 评论(0) 收藏 举报
背景：
     当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：

• 如何收集这些巨大的信息
  
• 如何分析它       
  
• 如何及时做到如上两点
  

     以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。
     从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。
 
Kafka诞生：由 linked-in 开源
 
kafka-即是解决这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。
kafka-高产出的分布式消息系统(A high-throughput distributed messaging system)
Kafka特性：它形容自己的设计是独一无二的，先看一下它有如何过人之处：

 

• 快：单个kafka服务每秒可处理数以千计客户端发来的几百MB数据。
  
• 可扩展性：一个单一集群可作为一个大数据处理中枢，集中处理各种类型业务
  
• 持久化：消息被持久化到磁盘（可处理TB数据级别数据但仍保持极高数据处理效率），并且有备份容错机制
  
• 分布式：着眼于大数据领域，支持分布式，集群可处理每秒百万级别消息
  
• 实时性：生产出的消息可立即被消费者消费
  

   
消息顺序性：
     Kafka是如何确保消息消费的顺序性的呢？前面讲到过Partition，消息在一个Partition中的顺序是有序的，但是Kafka只保证消息在一个Partition中有序，如果要想使整个topic中的消息有序，那么一个topic仅设置一个Partition即可。