kafka0.7在linux上的单点及集群环境搭建与配置

荆8957

IT业的小白，最近用了消息对了，研究了下kafka，并且研究了在kafka基础上进行了二次开发的淘宝rocketMQ，打算写下安装与配置环境，和初级demo。有用过的大家一起交流。这个过程参考了frankHui博客里的的安装配置过程。

kafka0.8版本比0.7版本增加了一些功能，先说下0.7版本的单点搭建和配置。

kafka的搭建需要zookeeper的支持，所以如果你的服务器还没有安装zookeeper，请先安装。

1.去apache官网把kafka7.0版本down下来。这个过程就不详细说了，百度下kafka就能找到下载地址。将下载下来的kafka上传到linux上，并解压。
命令tar -zxvf 文件名。

2. 接下来就是下载kafka的依赖包和构建kafka的环境。注意，这一步需要服务器可以上网。具体命令就是在kafka解压后的一级目录下，执行两个命令，分别是

命令 ./sbt update
命令 ./sbt package。
上面的步骤都执行完了，环境算是好了，下面我们要测试下是否能成功运行kafka：

3.启动zookeeper server：
./bin/zookeeper-server start.sh  ../config/zookeeper.properties  &
(用&是为了能退出命令行)

4.启动kafka server:
./bin/kafka-server-start.sh   ../config/server.properties  &

5. Kafka为我们提供了一个console来做连通性测试，下面我们先运行producer：
./bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test
这是相当于开启了一个producer的命令行。命令行的参数我们一会儿再解释。

6.接下来运行consumer，新启一个terminal：
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

7.执行完consumer的命令后，你可以在producer的terminal中输入信息，马上在consumer的terminal中就会出现你输的信息。有点儿像一个通信客户端。

如果你能看到7执行了，说明你单机版部署成功了。下面解释下两条命令中参数的意思。--zookeeper localhost:2181 这个说明了去连本机2181端口的zookeeper server，--topic test，在kafka里，消息按topic来区分，我们这里的topic叫test，所以不管是consumer还是producer都指向了test。

这样kafka7.0的单点安装已经结束。集群安装和单点相似。具体过程如下：

我们还是按照那kafka单点配置的几个步骤来做。我们假设server1的IP是192.168.10.11 server2的IP是192.168.10.10：

1.在server1上启动zookeeper server ：
./bin/zookeeper-server-start.sh  ../config/zookeeper.properties  &
(用&是为了能退出命令行)

2.在server2上启动kafka服务：
./ bin/kafka-server-start.sh ../config/server.properties  &

3.修改kafka配置文件在server1上找到kafka的config目录，目前本机的目录地址为：/application/search/kafkatest/kafka-0.7.2-incubating-src/config。找到server.properties文件，找到一行“hostname=“。
在等号后边加上启动了KAFKA服务的机器的ip，即192.168.10.11

4.server1上启动producer服务
./bin/kafka-console-producer.sh --zookeeper 192.168.10.11:2181 --topic test

5.运行consumer，
在server1上启动一个consumer
./ bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning

在server2启动一个consumer
./ bin/kafka-console-consumer.sh --zookeeper 192.168.10.11:2181 --topic test --from-beginning

6．运行完consumer的命令后，你可以在producer的terminal中输入信息，马上在两个consumer的terminal中就会出现你输的信息。