安装zookeeper+kafka

kjfhgds

1、准备工作1.1、机器准备server1:10.40.33.11server2:10.40.33.12server3:10.40.33.131.2、端口占用情况zookeeper：2181,3888,4888kafka：90921.3、软件准备jdk1.7.0_51（最新版本的kafka-0.8.2.1建议使用1.7及以上版本的jdk）zookeeper3.4.5（及以上版本）kafka_2.11-0.8.2.1（最新版本）2、安装2.1、安装zookeeper1.下载zookeeper    下载地址：http://mirror.bit.edu.cn/apache/ ... eper-3.4.6.tar.gz2.安装zookeeper    server1,server2,server3分别执行a,b,c步骤。    假设安装目录为：$ZOOKEEPER_HOME=/home/sinova/zookeeper-3.4.6    a.解压        tar -zxvf zookeeper-3.4.6.tar.gz    b.配置        将conf/zoo_sample.cfg拷贝一份命名为zoo.cfg，也放在conf目录下。然后按照如下值修改其中的配置：            tickTime=2000            initLimit=10            syncLimit=5            dataDir=/disk0/var/zookeeper/datas            dataLogDir=/disk0/var/zookeeper/logs            clientPort=2181            server.1=10.40.33.11:3888:4888            server.2=10.40.33.12:3888:4888            server.3=10.40.33.13:3888:4888    c.创建myid文件    命令：        cd dataDir(/disk0/var/zookeeper/datas)        echo 1 > myid    注：1为zookeeper实例的id，serverX中的X为myid的值。3.依次启动server1，server2,server3的zookeeper实例启动命令：           $ZOOKEEPER_HOME/bin/zkServer.sh start停止命令：    $ZOOKEEPER_HOME/bin/zkServer.sh stop4.测试zookeeper是否正常工作，在server1上执行以下命令    a.jps查看是否有QuorumPeerMain进程    b.$ZOOKEEPER_HOME/bin/zkCli.sh -server 192.168.0.2:2181安装kafka1.下载kafka    下载地址：http://mirror.bit.edu.cn/apache/ ... _2.11-0.8.2.1.tgz2.安装kafka    server1,server2,server3分别执行a,b步骤。    假设安装目录为：$KAFKA_HOME=/home/sinova/kafka_2.11-0.8.2.1    a.解压        tar -zxvf kafka_2.11-0.8.2.1.tgz    b.配置        修改$KAFKA_HOME/conf/server.properties文件，按照如下配置进行修改。            broker.id=0#保证该id在集群唯一            port=9092            num.network.threads=2            num.io.threads=8            socket.send.buffer.bytes=1048576            socket.receive.buffer.bytes=1048576            socket.request.max.bytes=104857600            log.dirs=/disk0/var/kafka/logs#保证该目录存在            num.partitions=2            log.retention.hours=168            log.segment.bytes=536870912            log.retention.check.interval.ms=60000        zookeeper.connect=10.40.33.11:2181,10.40.33.12:2181,10.40.33.13:2181/kafka            log.cleaner.enable=false            zookeeper.connection.timeout.ms=1000000            delete.topic.enable=true            queue.buffering.max.ms=5000ms            queue.buffering.max.message=5000    注：broker.id为serverX中的X值即可，保证集群中唯一即可。3.依次启动server1，server2,server3的kafka实例    启动命令：        cd $KAFKA_HOME        nohup bin/kafka-server-start.sh config/server.properties &    停止命令：        cd $KAFKA_HOME        bin/kafka-server-stop.sh4.测试zookeeper是否正常工作，在server1上执行以下命令    a.jps查看是否有kafka的进程    b.测试创建topic    命令：        cd $KAFKA_HOME        bin/kafka-topics.sh --create --zookeeper 10.40.33.11:2181,10.40.33.12:2181,10.40.33.13:2181/kafka --replication-factor 1 --partitions 1 --topic test