虚拟化技术—docker容器—PIPEWORK解读与实践

231211

本文通过3个样例 —— 将Docker容器配置到本地网络环境中、单主机Docker容器的VLAN划分、多主机Docker容器的VLAN划分，演示了如何使用pipework帮助我们进行复杂的网络设置，以及pipework是如何工作的。
1、pipework的使用以及源码分析
Docker自身的网络功能比较简单，不能满足很多复杂的应用场景。因此，有很多开源项目用来改善Docker的网络功能，如pipework、weave、flannel等。这里，就先介绍一下pipework的使用和工作原理。
pipework是由Docker的工程师Jérme Petazzoni开发的一个Docker网络配置工具，由200多行shell实现，方便易用。下面用三个场景来演示pipework的使用和工作原理。

1.1、将Docker容器配置到本地网络环境中
为了使本地网络中的机器和Docker容器更方便的通信，我们经常会有将Docker容器配置到和主机同一网段的需求。这个需求其实很容易实现，我们只要将Docker容器和主机的网卡桥接起来，再给Docker容器配上IP就可以了。
下面我们来操作一下，我主机A地址为192.168.137.100/24,网关为192.168.137.1,需要给Docker容器的地址配置为192.168.137.150/24。在主机A上做如下操作：

#安装pipework
git clone https://github.com/jpetazzo/pipework
cp ~/pipework/pipework /usr/local/bin/
#启动Docker容器。
docker run -itd --name test1 centos /bin/bash
#配置容器网络，并连到网桥br0上。网关在IP地址后面加@指定。若主机环境中存在dhcp服务器，也可以通过dhcp的方式获取IP
#pipework br0 test1 dhcp
pipework br0 test1 192.168.137.150/24@192.168.137.1
#将主机eth0桥接到br0上，并把eth0的IP配置在br0上。这里由于是远程操作，中间网络会断掉，所以放在一条命令中执行。
ip addr add 192.168.137.100/24 dev br0; \
    ip addr del 192.168.137.100/24 dev eth0; \
    brctl addif br0 eth0; \
    ip route del default; \
ip route add default gw 192.168.137.1 dev br0

这时可以ifconfig看一下：（截取不完，只截取需要的）


2.2、单主机Docker容器VLAN划分
pipework不仅可以使用Linux bridge连接Docker容器，还可以与OpenVswitch结合，实现Docker容器的VLAN划分。为了演示隔离效果，我们将4个容器放在了同一个IP网段中。但实际他们是二层隔离的两个网络，有不同的广播域。
#在主机A上创建4个Docker容器，test1、test2、test3、test4
docker run -itd --name test1 centos /bin/bash
docker run -itd --name test2 centos /bin/bash
docker run -itd --name test3 centos /bin/bash
docker run -itd --name test4 centos /bin/bash
#将test1，test2划分到一个vlan中，vlan在mac地址后加@指定，此处mac地址省略。
pipework ovs0 test1 192.168.137.150/24 @100
pipework ovs0 test2 192.168.137.151/24 @100
#将test3，test4划分到另一个vlan中
pipework ovs0 test3 192.168.137.152/24 @200
pipework ovs0 test4 192.168.137.153/24 @200

完成上述操作后，使用docker attach连到容器中，然后用ping命令测试连通性，发现test1和test2可以相互通信，但与test3和test4隔离。这样，一个简单的VLAN隔离容器网络就已经完成。

2.3、多主机Docker容器的VLAN划分
为了实现这个目的，我们把宿主机上的网卡桥接到各自的OVS网桥上，然后再为容器配置IP和VLAN就可以了。我们实验环境如下，主机A和B各有一块网卡eth0，IP地址分别为192.168.137.100/24，192.168.137.101/24。在主机A上创建两个容器test1、test2，分别在VLAN 100和VLAN 200上。在主机B上创建test3、test4，分别在VLAN 100和VLAN 200 上。最终，test1可以和test3通信，test2可以和test4通信。
#在主机A上
#创建Docker容器
docker run -itd --name test1 centos /bin/bash
docker run -itd --name test2 centos /bin/bash
#划分VLAN
pipework ovs0 test1 192.168.137.150/24 @100
pipework ovs0 test2 192.168.137.151/24 @200
#将eth0桥接到ovs0上
ip addr add 192.168.137.100/24 dev ovs0; \
    ip addr del 192.168.137.100/24 dev eth0; \
    ovs-vsctl add-port ovs0 eth0;\
    ip route del default; \
    ip route add default gw 192.168.137.1dev ovs0

#在主机B上
#创建Docker容器
docker run -itd --name test3 centos /bin/bash
docker run -itd --name test4 centos /bin/bash
#划分VLAN
pipework ovs0 test3 192.168.137.152/24 @100
pipework ovs0 test4 192.168.137.153/24 @200
#将eth0桥接到ovs0上
ip addr add 192.168.137.101/24 dev ovs0; \
    ip addr del 192.168.137.101/24 dev eth0; \
    ovs-vsctl add-port ovs0 eth0;\
    ip route del default; \
ip route add default gw 192.168.137.1 dev ovs0

完成上面的步骤后，主机A上的test1和主机B上的test3容器就划分到了一个VLAN中，并且与主机A上的test2和主机B上的test4隔离（主机eth0网卡需要设置为混杂模式，连接主机的交换机端口应设置为trunk模式，即允许VLAN 100和VLAN 200的包通过）。

除此之外，pipework还支持使用macvlan设备、设置网卡MAC地址等功能。不过，pipework有一个缺陷，就是配置的容器在关掉重启后，之前的设置会丢失。