关于kafka更改消费者对应分组下的offset值

fish3129

　　kafka的offset保存位置分为两种情况  0.9.0.0版本之前默认保存在zookeeper当中
0.9.0.0版本之后保存在broker对应的topic当中
　　1.如何辨别你启用的consumer的offset保存位置
进入zookeeper的命令行当中    zkCli.sh localhost:2181  用  ls  /  查看目录
如果你在代码中定义的group id  没有在 /consumers     这个文件夹中，代表offset保存在broker的topic中
前提是consumer确实已经创建并启动
如果group ID 在/consumers 目录下存在则 offset的保存位置是 /consumers/{group}/offsets/{topic}/{partition}
反之 offset的保存位置则是  /broker/topic/__consumer_offsets  当中
　　2.如何查看自己消费者分组 对应的 topic 的offset  
第一种方式
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --topic test-topic  --zookeeper zookeeper:2181 --group group名字
第二种方式
kafka-consumer-offset-checker --zookeeper localhost :2181/kafka --group test-consumer-group  --topic test  
第三种方式
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  --topic test  --zookeeper 10.0.10.10:2181 --group test-consumer-group
第四种方式
bin/kafka-consumer-groups.sh  --bootstrap-server dbnode4:9092,dbnode5:9092,dbnode6:9092  --group test-consumer-group --describe
　　3.更改指定消费者分组对应topic的offset
第一种情况offset信息保存在topic中
bin/kafka-consumer-groups.sh  --bootstrap-server dbnode4:9092,dbnode5:9092,dbnode6:9092  --group test-consumer-group --topic test  --execute --reset-offsets --to-offset  10000
参数解析： --bootstrap-server 代表你的kafka集群 你的offset保存在topic中
--group 代表你的消费者分组
--topic 代表你消费的主题
--execute 代表支持复位偏移
--reset-offsets  代表要进行偏移操作
--to-offset 代表你要偏移到哪个位置 是long类型数值，只能比前面查询出来的小
还有其他的--to- **  方式可以自己验证  本人验证过--to-datetime   没有成功
　　第二种方式offset信息保存在zookeeper当中
bin/kafka-consumer-groups.sh  --zookeeper z1:2181,z2:2181,z3:2181  --group test-consumer-group --topic test  --execute --reset-offsets --to-offset  10000
--zookeeper   和   --bootstrap-server  只能选一种方式

修改offset之前保证要修改的consumer 是不活动状态就是得先停应用