基于zookeeper的Swarm集群搭建

2980315

简介
　　Swarm：docker原生的集群管理工具，将一组docker主机作为一个虚拟的docker主机来管理。
　　对客户端而言，Swarm集群就像是另一台普通的docker主机。
　　Swarm集群中的每台主机都运行着一个swarm节点代理，每个代理将该主机上的相关Docker守护进程注册到集群中。和节点代理相对应的是Swarm管理者，用于对集群进行管理。
　　运行Swarm的所有Docker节点必须运行着同一个版本的Docker。

基于zookeeper的Swarm集群搭建

1. 拉取Swarm镜像
　　

docker pull swarm　　

2. 创建swarm集群
　　有多种方式可以创建swarm集群，不同的方式本质是基于不同的集群发现后端（discovery backend）。常见的有如下几种方式：

　　a. 使用默认的Docker Hub：在Docker Hub注意一个集群，然后返回专属的token
　　b. 使用etcd：将swarm agent信息注册到etcd
　　c. 使用静态文件：将所有agent信息写入manager节点上的某个文本文件中（不易扩展）
　　d. 使用Consul：与etcd类似
　　e. 使用zookeeper：与etcd类似
　　f. 用户自定义集群创建方式：实现DiscoveryService接口

　　下面重点介绍下使用我们最熟悉的zookeeper来搭建swarm集群：
　　首先需要搭建一套zookeeper集群，关于zookeeper集群的搭建见之前的文章。然后通过zkClient创建一个zk节点/swarm-agent用于后续存储swarm agent的信息。
　　使用该zookeeper集群创建新的swarm集群：
　　在一台swarm agent机器上执行如下命令：
　　

docker run --name swarm-agent --net zknetwork -d swarm join --addr=10.120.196.36:2375 zk://zkServer1:2181,zkServer2:2181,zkServer3:2181/swarm-agent　　

　　其中addr参数是告诉zookeeper本台swarm agent的docker守护进程服务的ip和host。zk://<zk_addr>/<path>则为zookeeper协调服务的数据节点。
　　此处，因为我们agent所在机器与部署zookeeper集群的容器属于同一台宿主机，所以直接将该swarm agent的容器挂载到zk网络下，后面zk的地址直接写了容器的名字。实际上，尝试过用zk://10.120.196.36:2181,10.120.196.36:2182,10.120.196.36:2183/swarm-agent的方式来连接zookeeper，从日志中看到无法连接上zookeeper端口。而在下面另一台节点使用该<zk_addr>/<path>的时候，可以连接上。
　　查看swarm agent容器中的log信息：
　　

root@hadoop985:~# docker logs swarm-agent1  -f　　
time="2017-10-24T09:35:10Z" level=info msg="Initializing discovery without TLS"
　　
time="2017-10-24T09:35:10Z" level=info msg="Registering on the discovery service every 1m0s..." addr="10.120.196.36:2375" discovery="zk://zkServer1:2181,zkServer2:2181,zkServer3:2181/swarm-agent"
　　
2017/10/24 09:35:10 Connected to 192.168.16.3:2181

　　
2017/10/24 09:35:10 Authenticated:>　　
2017/10/24 09:35:10 Re-submitting `0` credentials after reconnect
　　
time="2017-10-24T09:36:10Z" level=info msg="Registering on the discovery service every 1m0s..." addr="10.120.196.36:2375" discovery="zk://zkServer1:2181,zkServer2:2181,zkServer3:2181/swarm-agent"
　　
......
　　

　　可以看到，agent节点已经连上了zk集群，且每隔一段时间agent会重新注册到dicovery service（这里写的"every 1m0s"不知道是什么意思，《第一本Docker书》和《Docker容器与容器云》中介绍的都是默认25秒发送一次心跳信息。）
　　类似的，再在另一台swarm agent机器上执行命令（此处因为是不同的机器，需使用不同的<zk_addr>/<path>）：
　　

docker run --name swarm-agent -d swarm join --addr=10.120.196.37:2375 zk://10.120.196.36:2181,10.120.196.36:2182,10.120.196.36:2183/swarm-agent　　

　　查看容器的日志确定其连接成功：
　　

root@hadoop986:~/docker# docker logs swarm-agent -f　　
time="2017-10-24T09:50:03Z" level=info msg="Initializing discovery without TLS"
　　
time="2017-10-24T09:50:03Z" level=info msg="Registering on the discovery service every 1m0s..." addr="10.120.196.37:2375" discovery="zk://10.120.196.36:2181,10.120.196.36:2182,10.120.196.36:2183/swarm-agent"
　　
2017/10/24 09:50:03 Connected to 10.120.196.36:2181

　　
2017/10/24 09:50:03 Authenticated:>　　
2017/10/24 09:50:03 Re-submitting `0` credentials after reconnect
　　
......
　　

　　我们再看下zookeeper中的节点信息：
　　

WatchedEvent state:SyncConnected type:None path:null　　
ls /
　　
[zookeeper, swarm-agent]
　　
[zk: localhost:2181(CONNECTED) 1] ls /swarm-agent
　　
[docker]
　　
[zk: localhost:2181(CONNECTED) 2] ls /swarm-agent/docker
　　
[swarm]
　　
[zk: localhost:2181(CONNECTED) 3] ls /swarm-agent/docker/swarm
　　
[nodes]
　　
[zk: localhost:2181(CONNECTED) 4] ls /swarm-agent/docker/swarm/nodes
　　
[10.120.196.36:2375, 10.120.196.37:2375]
　　

　　可以看到两台节点都成功注册到了zookeeper。
　　还可以通过swarm list的方式来查看节点信息：
　　

root@hadoop986:~/docker# docker run --rm swarm list zk://10.120.196.36:2181,10.120.196.36:2182,10.120.196.36:2183/swarm-agent　　
time="2017-10-24T09:55:40Z" level=info msg="Initializing discovery without TLS"
　　
2017/10/24 09:55:40 Connected to 10.120.196.36:2183

　　
2017/10/24 09:55:40 Authenticated:>　　
2017/10/24 09:55:40 Re-submitting `0` credentials after reconnect
　　
10.120.196.36:2375
　　
10.120.196.37:2375
　　

　　其中，--rm参数是让容器退出后自动清理容器内部的文件系统（--rm选项不能与-d同时使用，即只能自动清理foreground容器，不能自动清理detached容器）。

3. 创建swarm manager
　　在hadoop986机器上执行命令：
　　

docker run --name swarm-manage -d -p 2380:2375 swarm manage zk://10.120.196.36:2181,10.120.196.36:2182,10.120.196.36:2183/swarm-agent　　

　　然后可以通过docker info查看swarm集群的信息：
　　

root@hadoop986:~/docker# docker -H tcp://localhost:2380 info　　
Containers: 0
　　Running: 0
　　Paused: 0
　　Stopped: 0
　　
Images: 0
　　
Server Version: swarm/1.2.8
　　
Role: primary
　　
Strategy: spread
　　
Filters: health, port, containerslots, dependency, affinity, constraint, whitelist
　　
Nodes: 2
　　(unknown): 10.120.196.36:2375

　　└>　　└ Status: Pending
　　└ Containers: 0
　　└ Reserved CPUs: 0 / 0
　　└ Reserved Memory: 0 B / 0 B
　　└ Labels:
　　└ Error: Cannot connect to the Docker daemon at tcp://10.120.196.36:2375. Is the docker daemon running?
　　└ UpdatedAt: 2017-10-24T10:42:31Z
　　└ ServerVersion:
　　(unknown): 10.120.196.37:2375

　　└>　　└ Status: Pending
　　└ Containers: 0
　　└ Reserved CPUs: 0 / 0
　　└ Reserved Memory: 0 B / 0 B
　　└ Labels:
　　└ Error: Cannot connect to the Docker daemon at tcp://10.120.196.37:2375. Is the docker daemon runnindog?
　　└ UpdatedAt: 2017-10-24T10:42:31Z
　　└ ServerVersion:
　　
Plugins:
　　Volume:
　　Network:
　　
Swarm:
　　NodeID:
　　Is Manager: false
　　Node Address:
　　
Kernel Version: 3.16.0-4-amd64
　　
Operating System: linux
　　
Architecture: amd64
　　
CPUs: 0
　　
Total Memory: 0 B
　　
Name: d66603b3a60a
　　
Docker Root Dir:
　　
Debug Mode (client): false
　　
Debug Mode (server): false
　　
WARNING: No kernel memory limit support
　　
Experimental: false
　　
Live Restore Enabled: false
　　

　　可以看到，当前两个node都处于Pending未连接状态：
　　

Error: Cannot connect to the Docker daemon at tcp://10.120.196.37:2375. Is the docker daemon runnindog?　　

　　

　　这是因为我们的agent机器上的docker守护进程，默认不支持tcp socket访问。
　　需要修改/etc/default/docker文件开启tcp socket连接的功能：
　　

DOCKER_OPTS="$DOCKER_OPTS -H 0.0.0.0:2375 -H unix:///var/run/docker.sock"　　

　　默认的配置在/lib/systemd/system下：
　　

root@hadoop985:/lib/systemd/system# ls -l | grep docker　　
-rw-r--r-- 1 root root 1037 Jan 17  2017 docker.service
　　
-rw-r--r-- 1 root root  197 Jan 17  2017 docker.socket
　　

　　修改完/etc/default/docker后，需要重启docker守护进程：
　　

/etc/init.d/docker restart　　

　　注意：对于debian8的系统，存在一个bug，致使经过上述操作后，2375端口仍没有起来，是因为/etc/default/docker中的DOCKER_OPTS配置并没有生效。解决的办法可以参考：http://blog.csdn.net/jcjc918/article/details/46564891
　　经过上述修改后，重新查看docker info信息，可以发现节点成功连接：
　　

root@hadoop986:~#  docker -H tcp://localhost:2380 info　　
Containers: 10
　　Running: 10
　　Paused: 0
　　Stopped: 0
　　
Images: 5
　　
Server Version: swarm/1.2.8
　　
Role: primary
　　
Strategy: spread
　　
Filters: health, port, containerslots, dependency, affinity, constraint, whitelist
　　
Nodes: 2
　　hadoop985: 10.120.196.36:2375

　　└>　　└ Status: Healthy
　　└ Containers: 5 (5 Running, 0 Paused, 0 Stopped)
　　└ Reserved CPUs: 0 / 4
　　└ Reserved Memory: 0 B / 33.02 GiB
　　└ Labels: kernelversion=3.16.0-4-amd64, operatingsystem=Debian GNU/Linux 8 (jessie), ostype=linux, storagedriver=aufs
　　└ UpdatedAt: 2017-10-25T01:41:30Z
　　└ ServerVersion: 1.13.0
　　hadoop986: 10.120.196.37:2375

　　└>　　└ Status: Healthy
　　└ Containers: 5 (5 Running, 0 Paused, 0 Stopped)
　　└ Reserved CPUs: 0 / 4
　　└ Reserved Memory: 0 B / 33.02 GiB
　　└ Labels: kernelversion=3.16.0-4-amd64, operatingsystem=Debian GNU/Linux 8 (jessie), ostype=linux, storagedriver=aufs
　　└ UpdatedAt: 2017-10-25T01:41:54Z
　　└ ServerVersion: 1.13.0
　　
Plugins:
　　Volume:
　　Network:
　　
Swarm:
　　NodeID:
　　Is Manager: false
　　Node Address:
　　
Kernel Version: 3.16.0-4-amd64
　　
Operating System: linux
　　
Architecture: amd64
　　
CPUs: 8
　　
Total Memory: 66.05 GiB
　　
Name: d66603b3a60a
　　
Docker Root Dir:
　　
Debug Mode (client): false
　　
Debug Mode (server): false
　　
WARNING: No kernel memory limit support
　　
Experimental: false
　　
Live Restore Enabled: false
　　

4. 在swarm集群中创建容器
　　后续对swarm集群的使用，完全可以将整个swarm集群当作一台普通的docker主机来对待。通过
　　

docker -H tcp://localhost:2380 run -d --name zkserver zookeeper　　

　　就可以在集群中创建一个运行zookeeper镜像的容器，默认地，swarm会按照“平铺策略”来让所有容器比较平均地分配到每个节点。
　　相应地，查看集群中运行着的容器：
　　

docker -H tcp://localhost:2380 ps