docker容器搭建kafka集群

nics

Docker搭建kafka集群
Ø  需求说明：
公司目前有三个环境，生产环境，测试和演示环境，再包括开发人员还有开发的环境，服务器上造成了一定的资源浪费，因为环境需要依赖zookeeper和kafka，redis这些服务，只要搭一个环境，所有东西都要重新搭一遍，所以搭建kafka集群，让大部分环境都连接一个集群，把单个的服务变成公共的，稳定并易于管理
Ø  Kafka集群管理和状态保存是通过zookeeper来实现的，要先部署zk集群
Ø  环境说明：
centos系统安装docker，通过docker启动容器搭建集群
第1章 部署zookeeper集群
利用dockerfile制作zookeeper镜像
mkdir /opt/docker-file/zookeeper –p
mkdir /opt/docker-file/kafka –p
编写dockerfile文件
[root@jhkj66 zookeeper]# cat Dockerfile
#at 2018-08-03
FROM centos-ssh
MAINTAINER byjiang

# copy install package files from localhost.
ADD ./zookeeper-3.3.6.tar.gz /opt/

# Create zookeeper data and log directories
RUN mkdir -p /opt/zkcluster/zkconf && \
    mv /opt/zookeeper-3.3.6 /opt/zkcluster/zookeeper && \
    yum install -y java-1.7.0-openjdk*
CMD /usr/sbin/init
[root@jhkj66 zookeeper]# pwd
/opt/docker-file/zookeeper
[root@jhkj66 zookeeper]# ll
total 11564
-rw-r--r-- 1 root root      332 Aug 4 02:05 Dockerfile
-rw-r--r-- 1 root root 11833706 Oct 31  2014 zookeeper-3.3.6.tar.gz
[root@jhkj66 zookeeper]# docker build -t zookeeper-3.3.6 .
查看镜像是否创建成功
[root@jhkj66 zookeeper]# docker images
REPOSITORY               TAG                 IMAGE ID            CREATED             SIZE
zookeeper-3.3.6          latest              a176ce9ee8be        4 minutes ago       665MB

启动容器：
docker run -d -p 12888:2888 -d -p 13888:3888 -d -p 12181:12181 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-1 zookeeper-3.3.6
docker run -d -p 12889:2889 -d -p 13889:3889 -d -p 12182:12182 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-2 zookeeper-3.3.6
docker run -d -p 12890:2890 -d -p 13890:3890 --privileged=true -v /home/data/zookeeper/:/opt/zkcluster/zkconf/ --name zkNode-3 zookeeper-3.3.6
查看容器运行是否成功：
docker ps -a
CONTAINER ID       IMAGE               COMMAND                  CREATED             STATUS              PORTS                                             NAMES
7c918ef10214       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   7 seconds ago       Up 5 seconds        0.0.0.0:12890->2890/tcp, 0.0.0.0:13890->3890/tcp   zkNode-3
d46b3dde46b2       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   16 seconds ago      Up 13 seconds       0.0.0.0:12889->2889/tcp, 0.0.0.0:13889->3889/tcp   zkNode-2
e721b33946e1       zookeeper-3.3.6     "/bin/sh -c /usr/sbi…"   2 minutes ago       Up 2 minutes        0.0.0.0:12888->2888/tcp, 0.0.0.0:13888->3888/tcp   zkNode-1
修改zookeeper配置文件
docker exec -it zkNode-1 /bin/sh
sh-4.2# cd /opt/zkcluster/zookeeper/
sh-4.2# mkdir zkdata
sh-4.2# mkdir zkdatalog
sh-4.2# cp conf/zoo_sample.cfg conf/zoo.cfg
sh-4.2# vi /opt/zkcluster/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/zkdata
dataLogDir=/opt/zookeeper/zkdatalog
clientPort=12181
server.1=172.17.0.2:2888:3888
server.2=172.17.0.3:2889:3889
server.3=172.17.0.4:2890:3890
#如果不知道容器的ip可以这样查看，虽然有点笨
sh-4.2# cat /etc/hosts
127.0.0.1      localhost
172.17.0.2     e721b33946e1
#server.1 这个1是服务器的标识也可以是其他的数字，表示这个是第几号服务器，用来标识服务器，这个标识要写到快照目录下面myid文件里
#172.17.0.x为集群里的IP地址，第一个端口是master和slave之间的通信端口，默认是2888，第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888
每个节点分别创建myid文件
echo "1" > /opt/zookeeper/zkdata/myid
echo "2" > /opt/zookeeper/zkdata/myid
echo "3" > /opt/zookeeper/zkdata/myid
目录说明：
sh-4.2# ls
zkconf zookeeper
sh-4.2# pwd
/opt/zkcluster
zkconf：用来存放脚本等文件，在启动容器时使用-v挂载宿主机目录
zookeeper：即zookeeper的项目目录
zookeeper下有两个手动创建的目录zkdata和zkdatalog
zkdata      #存放快照日志
zkdatalog   #存放事物日志
配置文件说明：
#tickTime：
这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime 时间就会发送一个心跳。
#initLimit：
这个配置项是用来配置Zookeeper 接受客户端（这里所说的客户端不是用户连接Zookeeper 服务器的客户端，而是Zookeeper 服务器集群中连接到Leader 的Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过5个心跳的时间（也就是tickTime）长度后Zookeeper服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是5*2000=10 秒
#syncLimit：
这个配置项标识Leader与Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个tickTime 的时间长度，总的时间长度就是5*2000=10秒
#dataDir：
快照日志的存储路径
#dataLogDir：
事物日志的存储路径，如果不配置这个那么事物日志会默认存储到dataDir制定的目录，这样会严重影响zk的性能，当zk吞吐量较大的时候，产生的事物日志、快照日志太多
#clientPort：
这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。修改他的端口改大点
启动zookeeper服务，每个zk节点均为相同操作：
进入zk的bin目录下,启动zk服务
sh-4.2# ./zkServer.sh start
说明：由于zk版本和部署方式，在启动的时候报错比较多，不过查看zookeeper.out的日志文件都可以解决的
查看每个节点zk的状态
zkNode-1 节点：
sh-4.2# ./zkServer.sh status
JMX enabled by default
Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg
Mode: follower
zkNode-2 节点：
sh-4.2# ./zkServer.sh status
JMX enabled by default
Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg
Mode: leader
zkNode-3 节点：
sh-4.2# ./zkServer.sh status
JMX enabled by default
Using config: /opt/zkcluster/zookeeper/bin/../conf/zoo.cfg
Mode: follower
容器化的zk集群部署成功
第2章 下面开始部署kafka集群：
2.1利用dockerfile制作镜像
上传软件包并编写dockerfile文件
cd /opt/docker-file/kafka/
ls
Dockerfile kafka_2.11-1.0.1.tgz
cat Dockerfile
#at 2018-08-03
FROM centos-ssh
MAINTAINER byjiang

# copy install package files from localhost.
ADD ./kafka_2.11-1.0.1.tgz /opt/

# Create kafka and log directories
RUN mkdir -p /opt/kafkacluster/kafkalog && \
    mkdir -p /opt/kafkacluster/kafkaconf && \
    mv /opt/kafka_2.11-1.0.1 /opt/kafkacluster/kafka && \
    yum install -y java-1.7.0-openjdk*
CMD /usr/sbin/init
构建kafka镜像
docker build -t kafka-2.11 .
2.2启动三个kafka节点：
docker run -d -p 19092:9092 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-1 kafka:2.11
docker run -d -p 19093:9093 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-2 kafka:2.11
docker run -d -p 19094:9094 -v /home/data/kafka:/opt/kafkacluster/kafkaconf --name kafkaNode-3 kafka:2.11
2.3修改kafka配置文件
修改server.properties文件，同样，三个节点相同操作,注意修改端口和ip地址
cd /opt/kafkacluster/kafka/config/
vi server.properties
broker.id=1
host.name=172.17.0.5
port=9092
log.dirs=/opt/kafkacluster/kafkalog
zookeeper.connect=172.17.0.2:2181,172.17.0.3:2181,172.17.0.4:2181
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
配置文件说明：
broker.id=0  #当前机器在集群中的唯一标识，和zookeeper的myid性质一样
port=9092 #当前kafka对外提供服务的端口默认是9092
host.name=172.17.0.13 #这个参数默认是关闭的，在0.8.1有个bug，DNS解析问题，失败率的问题。
num.network.threads=3 #这个是borker进行网络处理的线程数
num.io.threads=8 #这个是borker进行I/O处理的线程数
log.dirs=/opt/kafkacluster/kafkalog/ #消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个
socket.send.buffer.bytes=102400 #发送缓冲区buffer大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能
socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小，当数据到达一定大小后在序列化到磁盘
socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数，这个值不能超过java的堆栈大小
num.partitions=1 #默认的分区数，一个topic默认1个分区数
log.retention.hours=168 #默认消息的最大持久化时间，168小时，7天
message.max.byte=5242880  #消息保存的最大值5M
default.replication.factor=2  #kafka保存消息的副本数，如果一个副本失效了，另一个还可以继续提供服务
replica.fetch.max.bytes=5242880  #取消息的最大直接数
log.segment.bytes=1073741824 #这个参数是：因为kafka的消息是以追加的形式落地到文件，当超过这个值的时候，kafka会新起一个文件
log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间（log.retention.hours=168 ），到目录查看是否有过期的消息如果有，删除
log.cleaner.enable=false #是否启用log压缩，一般不用启用，启用的话可以提高性能
zookeeper.connect=192.168.7.100:12181,192.168.7.101:12181,192.168.7.107:1218 #设置zookeeper的连接端口
启动kafka服务：
cd /opt/kafkacluster/kafka
./bin/kafka-server-start.sh -daemon ./config/server.properties
测试kafka：
在任意kafka节点进行操作：
./bin/kafka-topics.sh --create --zookeeper 172.17.0.3:12181 --replication-factor 1 --partitions 1 --topic SMSMessage
这里的zk节点也可以是三个zk节点的任意节点，创建成功后，在换一个zk节点查看主题：
./bin/kafka-topics.sh --list --zookeeper 172.17.0.2:12181
IMMessage
SMSMessage
UserRegister
VerifyCode
pushMsg
./bin/kafka-topics.sh --list --zookeeper 172.17.0.4:12181
IMMessage
SMSMessage
UserRegister
VerifyCode
pushMsg
这样我的kafka集群主题就创建成功了