kafka0.8在linux上的单点及集群环境搭建与配置

关3695

KAFKA0.8与0.7安装过程大同小异
将kafka包放到linux后，执行以下命令：
1.tar xzf kafka-<VERSION>.tgz>
2.cd kafka-<VERSION>>
3. ./sbt update>
4../sbt package>
5../sbt assembly-package-dependency
这个过程kafka会下载他的依赖包，并进行打包工作
执行完这些命令后kafka的准备工作就结束了，可以进行启动：
1.首先启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
2.然后启动kafka
bin/kafka-server-start.sh config/server.properties


kafka0.8跟0.7在启动上没有什么区别，但是如果想发送消息，则跟0.7的步骤不同
首先需要创立一个主题：

bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
创立后我们可以查看当前到底有哪些主题

bin/kafka-list-topic.sh --zookeeper localhost:2181
之后就可以和0.7一样，用console版的producer和consumer去发送消息了，命令如下：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
然后在producer里边写消息，在另一个terminal里打开kafka根目录，并输入命令：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
这样就可以查看到刚才producer里边的消息了


注：0.8中如果我们已经创立了消息，然后停掉了所有的server，再次打开server，然后创立主题，如果该出题曾经创立过，就会提示主题已经存在。
将kafka进行了broker的单点配置后，就可以考虑开始集群配置broker
1.首先复制server.properties的配置文件为多个，并修改名字：
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties



2.修改server-1.properties和server-2.properties的配置文件

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/tmp/kafka-logs-1

config/server-2.properties:
    broker.id=2
    port=9094
    log.dir=/tmp/kafka-logs-2

其中broker.id必须是独一无二的，而重写端口号和日志地址是为了避免不同的broker在记录日志时刷掉对方的数据。

3.然后我们可以启动另外两个broker了
JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
leader：负责当前指定分区的读写的借点。任意节点会被随机的选取为当前读写部分的leader。
replicas：是负责当前分区日志读写的节点的列表，无论当前节点是否存活。
isr：是当前正存活的replicas，并且是和leader同步的replicas。
我们可以看到“test”只有一个副本，而“my-replicas-topic”有三个副本。
6.接下来我们可以用console去测试当前的主题的连通性了：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
然后输入消息

在另一个terminal里边敲击命令:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
就可以看到刚才的消息了
7.现在把刚才作为leader的那个broker杀掉，同时杀掉broker0,，然后查看针对当前主题的leader是谁，

pkill -9 -f server-1.properties

bin/kafka-list-topic.sh --zookeeper localhost:2181


也就是说，kafka0.8会自动选取新的节点作为leader。
然后查看原来的消息还在不在，以便确定当某个broker挂掉，信息是否会保存。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic

结果是都还在。