OpenvSwitch实现Docker容器跨宿主机互联

9780j

1. OpenvSwitch简介

    Open vSwitch（下面简称为 OVS）是由 Nicira Networks 主导的，运行在虚拟化平台（例如 KVM，Xen）上的虚拟交换机。在虚拟化平台上，OVS可以为动态变化的端点提供 2 层交换功能，很好的控制虚拟网络中的访问策略、网络隔离、流量监控等等。主要实现代码为可移植的C代码。
    它的目的是让大规模网络自动化可以通过编程扩展，同时仍然支持标准的管理接口和协议（例如NetFlow,sFlow,SPAN,RSPAN,CLI,LACP,802.1ag）。此外，它被设计为支持跨越多个物理服务器的分布式环境，类似于vmware的vmnetwork分布式switch或cisconexus 1000v。Open vSwitch支持多种Linux虚拟化协议，包括Xen/Xen Server,KVM,和VirtualBox。
2. 通过VxLAN方式实现容器跨宿主机通信
    本次测试通过OpenvSwitch的VxLAN网络，实现两台物理主机容器能够跨宿主机互访。
2.1 拓扑图

2.2 配置ovs
  （1）这里通过两个脚本来配置host10和host11两台主机的OpenvSwitch部分。如下:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

#host10 [iyunv@host10 ~]# cat vsctl-add.sh #!/bin/bash ovs-vsctl add-br br0  #新建两个虚拟交换机 ovs-vsctl add-br br1 ifconfig eth0 0 up    #将物理主机ip赋值给br1 ifconfig br1 192.168.1.10/24 up route add default gw 192.168.1.1 ovs-vsctl add-port br1 eth0  #将eth0加入br1 ovs-vsctl add-port br0 docker0  #将docker0加入br0 ifconfig br0 172.17.0.2/24 up  #配置br0和docker0的IP ifconfig docker0 172.17.0.1/24 up #host11 [iyunv@host11 ~]# cat vsctl-add.sh #!/bin/bash ovs-vsctl add-br br0   ovs-vsctl add-br br1 ifconfig eth0 0 up ifconfig br1 192.168.1.11/24 up route add default gw 192.168.1.1 ovs-vsctl add-port br1 eth0 ovs-vsctl add-port br0 docker0 ifconfig br0 172.17.0.4/24 up ifconfig docker0 172.17.0.3/24 up 提示：以上两个脚本在物理主机上通过ssh执行时通过 nohup ./vsctl-add.sh & 方式执行，否则会出现网络断掉执行不成功的情况。

（2）配置VxLAN实现跨主机互联

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

#host10 ovs-vsctl add-port br0 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.1.11 #host11 ovs-vsctl add-port br0 vx1 -- set interface vx1 type=vxlan options:remote_ip=192.168.1.10 #执行完毕后查看 [iyunv@host10 ~]# ovs-vsctl show a8251e22-bb31-4ee6-8321-49fbd0f1b735     Bridge "br0"         Port "vx1"             Interface "vx1"                 type: vxlan                 options: {remote_ip="192.168.1.11"}         Port "veth1pl5407"             Interface "veth1pl5407"         Port "br0"             Interface "br0"                 type: internal         Port "docker0"             Interface "docker0"         Port "veth1pl4977"             Interface "veth1pl4977"     Bridge "br1"         Port "eth0"             Interface "eth0"         Port "br1"             Interface "br1"                 type: internal

2.3 创建四个容器

这里通过pipework固定容器IP地址，以后加入到/etc/rc.local里面实现开机启动自动配置。

1 2 3 4 5 6 7 8 9 10 11

#host10 docker run -itd --net=none --name test1 centos:6 /bin/bash docker run -itd --net=none --name test2 centos:6 /bin/bash pipework br0 test1 172.17.0.101/24@172.17.0.1 pipework br0 test2 172.17.0.102/24@172.17.0.1 #host11 docker run -itd --net=none --name test3 centos:6 /bin/bash docker run -itd --net=none --name test4 centos:6 /bin/bash pipework br0 test3 172.17.0.103/24@172.17.0.3 pipework br0 test4 172.17.0.104/24@172.17.0.3

2.4 测试
从test1容器访问另外三个容器可以正常通讯。

3. 总结
通过这个配置可以看到OpenvSwitch的强大之处，ovs不仅仅用于docker容器，还可以应用虚拟主机网络。通过软件定义网络，极大的简化了网络配置。docker在1.9版本之后加入overlay网络，运用的也是ovs技术。