kafka集群维护

hongleimi

　　kafka集群基本信息实时查看和修改：
　　集群信息实时查看（topic工具)
　　kafka-topics,sh --list --zookeeper x.x.x.x
　　kafka-topics.sh --describe --zookeeper x.x.x.x --topic topic_name
　　集群信息实时修改(topic工具）
　　提高topic并发，通过增加topic的partition数来解决。
　　现在我们搭建了一个集群，怎么知道每个节点的信息呢？运行“"describe topics”命令就可以了：

• 　　> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
  
• 　　
  
  
• 　　Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:
  
• 　　Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
  

　　

　　下面解释一下这些输出。第一行是对所有分区的一个描述，然后每个分区都会对应一行，因为我们只有一个分区所以下面就只加了一行。
　　leader：负责处理消息的读和写，leader是从所有节点中随机选择的.
　　replicas：列出了所有的副本节点，不管节点是否在服务中.
　　isr：是正在服务中的节点.
　　

　　

　　kafka集群leader 平衡机制
　　集群机器会上下线
　　集群分区日志迁移：
　　1、写jason文件，将需要迁移的topic写入。
　　疑问：
　　  1个topic有多个分区，是否每个分区都都是一份完整的日志。
　　partitions的设计目的有多个.最根本原因是kafka基于文件存储.通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.(具体原理参见下文).
　　个人理解：  producer生成日志并推送到对应topic上，topic 按照partition将日志分散。
　　每个topic有一个broker 作为leader，负责读写，同时其他机器从leader进行同步。
　　
　　 2、   broker 为集群中的机器实例，对应topic的 leader 值为broker机器的id，负责读写操作。