0022

懂ni

　　温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

　　1.问题描述
　　使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。
　　2.问题复现
　　1.登录Kafka集群所在的服务器，创建一个test的topic
　　[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

　　2.查看新创建的topic
　　[root@cdh1 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

　　3.通过如下命令删除新建的topic
　　[root@cdh1 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

　　此处显示“Topic test is marked for deletion”
　　4.尝试重新创建一个test的Topic
　　[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

　　提示该Topic已存在，说明在第3步操作的删除并没有真正的将Topic删除。
　　3.问题原因
　　默认情况下Kafka是禁用了删除Topic的操作，所以在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。可以通过修改Kafka服务的配置参数启用。
　　4.解决方法
　　4.1方法1
　　在kafka服务配置delete.topic.enable=false的情况下，如果需要永久删除topic则需要做如下操作：

• 通过kafka命令删除相应的topic
  
• 在zookeeper中删除相应的topic
  
• 在topic所在的broker节点上删除topic的log数据
  

　　操作如下：
　　1.查看topic的描述信息，命令如下
　　kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

　　上图标注部分为topic对应的数据存放节点
　　2.通过kafka命令删除，命令如下：
　　kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

　　3.通过zookeeper客户端删除topic，命令如下
　　zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181
　　ls /brokers/topics
　　rmr /brokers/topics/test
　　注：标红部分为topic的名称

　　4.登录到第1步中列出的对应节点的topic的log数据目录，此处我们Kafka的log.dirs目录配置为/var/local/kakfa，执行命令
　　[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

　　5.验证是否生效
　　创建一个名称为“test”的Topic，可以正常创建

　　注意：此处将topic为test的日志目录（/var/local/kafka/test-0）删除后，新创建的topic为test的日志目录不存在，重启Kafka服务后正常，目录能正常显示。
　　4.2方法2
　　在Kafka服务已配置delete.topic.enable=true的情况下，永久删除topic需要做如下操作：

• 使用kafka命令删除topic
  

　　操作如下：

• 删除前数据查看：
  

　　kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

　　各个数据节点的信息：

　　Zookeeper信息：

　　2.通过kafka命令删除需要删除的topic，命令如下
　　kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

　　3.查看Zookeeper客户端topic信息
　　[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

　　4.查看brober节点上topic的日志数据

　　5.删除后成功后，验证是否能创建名称为test的Topic

　　注意：
　　如果Kafka服务配置了delete.topic.enable=true，直接通过命令行删除，未能删除Topic则可以通过zookeeper-client来进行删除。
　　如果Kafka服务未配置delete.topic.enable=true，直接通过delete命令删除topic，删除时只会将topic标记为“marked for deletion”，然后通过zookeeper-client进行删除是不会删除topic的data.log数据目录的，需要将相应的broker服务器上的data.log目录下相应的topic目录删除，data.log目录获取，可以通过CM界面查看：

　　建议：Kafka服务开启delete.topic.enable=true，开启方式如下：

　　开启后需要重启Kafka服务。

　　醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

　　欢迎关注Hadoop实操，第一时间，分享更多Hadoop干货，喜欢请关注分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操