004.Kafka消息存储和处理

zsyzhou

Message存储：
    Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。
    每个Segment存储多个Message，Message的offset决定存储位置。
    Broker接收到Message会顺序追加到最后一个Segment中，当Segment的Message达到阈值时(大小或条数)，
    Segment会将Message写入磁盘中，只有flush到磁盘中的消息才能够被订阅和消费，当Segment达到一定大小时将不会再写入数据，
    Broker会生成新的Segment。
    
    每个Partition在内存中对应一个index，记录每个Segment的第一个消息的offset。
 
Message处理：
    Producer生产Message并推（push）到Broker中，Consumer消费Message从Broker中拉（pull），并将消费过的消息的offset存储在Zookeeper中，在Consumer宕机重启时，能够从最近的offset开始继续消费Message。
    Producer将消息push到Broker上，Kafka采用的是at least once最少发送一次，发送失败将多次发生，达到阈值时，将不再发送；
    Consumer

从Broker中pusll

消息

消费

时，使用ack机制，并将消息的消费状态保持在zookeeper中。
    Kafka通过

at least once和ack保证Message的事务性。

 
    Broker只负责消息存储，不负责消息消费状态维护，有

Consumer主机维护。

   

Broker对消息的删除，采用时间机制，默认保留7天，否则删除过期消息。