安装zookeeper+kafka

liukaida

1、准备工作
1.1、机器准备
server1:10.40.33.11
server2:10.40.33.12
server3:10.40.33.131.2、端口占用情况
zookeeper：2181,3888,4888
kafka：90921.3、软件准备
jdk1.7.0_51（最新版本的kafka-0.8.2.1建议使用1.7及以上版本的jdk）
zookeeper3.4.5（及以上版本）
kafka_2.11-0.8.2.1（最新版本）2、安装
2.1、安装zookeeper
1.下载zookeeper
    下载地址：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
2.安装zookeeper
    server1,server2,server3分别执行a,b,c步骤。
    假设安装目录为：$ZOOKEEPER_HOME=/home/sinova/zookeeper-3.4.6
    a.解压
        tar -zxvf zookeeper-3.4.6.tar.gz
    b.配置
        将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg，也放在conf目录下。然后按照如下值修改其中的配置：
            tickTime=2000
            initLimit=10
            syncLimit=5
            dataDir=/disk0/var/zookeeper/datas
            dataLogDir=/disk0/var/zookeeper/logs
            clientPort=2181
            server.1=10.40.33.11:3888:4888
            server.2=10.40.33.12:3888:4888
            server.3=10.40.33.13:3888:4888
    c.创建myid文件
    命令：
        cd dataDir(/disk0/var/zookeeper/datas)
        echo 1 > myid
    注：1为zookeeper实例的id，serverX中的X为myid的值。
3.依次启动server1，server2,server3的zookeeper实例
启动命令：      
    $ZOOKEEPER_HOME/bin/zkServer.sh start
停止命令：
    $ZOOKEEPER_HOME/bin/zkServer.sh stop
4.测试zookeeper是否正常工作，在server1上执行以下命令
    a.jps查看是否有QuorumPeerMain进程
    b.$ZOOKEEPER_HOME/bin/zkCli.sh -server 192.168.0.2:2181安装kafka
1.下载kafka
    下载地址：http://mirror.bit.edu.cn/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
2.安装kafka
    server1,server2,server3分别执行a,b步骤。
    假设安装目录为：$KAFKA_HOME=/home/sinova/kafka_2.11-0.8.2.1
    a.解压
        tar -zxvf kafka_2.11-0.8.2.1.tgz
    b.配置
        修改$KAFKA_HOME/conf/server.properties文件，按照如下配置进行修改。
            broker.id=0#保证该id在集群唯一
            port=9092
            num.network.threads=2
            num.io.threads=8
            socket.send.buffer.bytes=1048576
            socket.receive.buffer.bytes=1048576
            socket.request.max.bytes=104857600
            log.dirs=/disk0/var/kafka/logs#保证该目录存在
            num.partitions=2
            log.retention.hours=168
            log.segment.bytes=536870912
            log.retention.check.interval.ms=60000
        zookeeper.connect=10.40.33.11:2181,10.40.33.12:2181,10.40.33.13:2181/kafka
            log.cleaner.enable=false
            zookeeper.connection.timeout.ms=1000000
            delete.topic.enable=true
            queue.buffering.max.ms=5000ms
            queue.buffering.max.message=5000
    注：broker.id为serverX中的X值即可，保证集群中唯一即可。
3.依次启动server1，server2,server3的kafka实例
    启动命令：
        cd $KAFKA_HOME
        nohup bin/kafka-server-start.sh config/server.properties &
    停止命令：
        cd $KAFKA_HOME
        bin/kafka-server-stop.sh
4.测试zookeeper是否正常工作，在server1上执行以下命令
    a.jps查看是否有kafka的进程
    b.测试创建topic
    命令：
        cd $KAFKA_HOME
        bin/kafka-topics.sh --create --zookeeper 10.40.33.11:2181,10.40.33.12:2181,10.40.33.13:2181/kafka --replication-factor 1 --partitions 1 --topic test