docker技术剖析--docker网络（一）

lukyjyt

一、Docker 中的网络功能介绍
  默认情况下，容器可以建立到外部网络的连接，但是外部网络无法连接到容器。
  Docker 允许通过外部访问容器或容器互联的方式来提供网络服务
  外部访问容器:
  容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过 -P 或 -p 参数来指定端口映射。
  练习环境：运行一个容器，提供web服务和ssh服务
  宿主机启用路由转发（net.ipv4.ip_forward=1）
  通过docker commit或dockerfile生成一个web应用的镜像，这里我通过docker dockerfile构建镜像模板
  1） 创建一个sshd_dockerfile工作目录
  
  编辑run.sh文件
  
  在主机上生成ssh秘钥对，并创建authorized_keys文件
  
  
  
  在sshd_dockerfile目录下，使用docker build命令来创建镜像，注意：在最后还有一个”.”，表示使用当前目录中的dockerfile
  
  执行docker images查看新生成的镜像
  
  当使用–P(大写)标记时，Docker 会随机映射一个随机的端口到内部容器开放的网络端口。
  注：-P使用时需要指定--expose选项或dockerfile中用expose指令容器要暴露的端口，指定需要对外提供服务的端口
  使用 docker ps 可以看到，本地主机的32770被映射到了容器的22端口，本地主机的32769被映射到了容器的80端口，本地主机的32768被映射到了容器的443 端口。
  
  此时访问本机的 32770端口即可访问容器内 ssh 应用。
  
  注：192.168.1.102是宿主主机地址。
  查看容器运行的httpd进程
  
  此时访问本机的 32769端口即可访问容器内 web 应用
  
  -p（小写）则可以指定要映射的端口，并且，在一个指定端口上只可以绑定一个容器。支持的格式有ip:hostPort:containerPort | ip::containerPort | hostPort:containerPort
  注意：
  ?容器有自己的内部网络和 ip 地址（使用 docker inspect 可以获取所有的变量。）
  ? -p 标记可以多次使用来绑定多个端口
  映射所有接口地址：
  使用 hostPort:containerPort 格式，将本地的10111端口映射到容器的 22 端口，本地的801端口映射到容器的80端口可以执行
  
  测试访问：
  1） ssh测试：
  使用xshell工具：
  
  
  
  
  测试web访问
  
  映射到指定地址的指定端口
  可以使用 ip:hostPort:containerPort 格式，指定映射使用一个特定地址，比如宿主机网卡配置的一个地址192.168.1.102
  
  映射到指定地址的任意端口
  使用 ip::containerPort 绑定192.168.1.102的任意端口到容器的80端口，本地主机会自动分配一个口。--name为启动的容器指定一个容器名。
  
  注：还可以使用 udp 标记来指定 udp 端口
  # docker run -d -p 127.0.0.1:5000:5000/udp –name db4 commit:v1
  查看映射端口配置
  使用 docker port 来查看当前映射的端口配置，也可以查看到绑定的地址
  
  Docker NAT iptables实现
  默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器
  容器访问外部实现
  容器所有到外部网络的连接，源地址都会被 NAT 成本地系统的 IP 地址（即docker0地址）。这是使用 iptables 的源地址伪装操作实现的
  查看主机的 NAT 规则
  
  
  其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其他网段（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。
  外部访问容器实现
  容器允许外部访问，可以在 docker run 时候通过 -p 或 -P 参数来启用，不管用那种办法，其实也是在本地的 iptable 的 nat 表中添加相应的规则
  使用 -P 时：
  
  # iptables -t nat –nvL
  
  使用 -p 80:80 时：
  
  # iptables -t nat –nvL
  
  docker0 网桥
  Docker服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。
  Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信
  由于目前 Docker 网桥是 Linux 网桥，用户可以使用 brctl show 来查看网桥和端口连接信息。
  
  注：brctl 命令在centos中可以使用yum install bridge-utils 来安装
  每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的 eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。
  
  
  Docker 网络配置
  Docker 四种网络模式
  docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：
  

• host 模式，使用 --net=host 指定。
• container 模式，使用 --net=container:NAMEorID 指定。
• none 模式，使用 --net=none 指定。
• bridge 模式，使用 --net=bridge 指定，默认设置。
  

  host 模式   如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。
  例如，我们在192.168.1.102/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.1.102:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。
  启动容器前，执行pgrep http查看宿主机httpd进程
  
  上面显示结果说明宿主机没有httpd进程运行
  用 host 模式启动一个含有 web 应用的 Docker 容器
  
  用浏览器访问宿主机地址的80端口
  注意防火墙：
  
  
  container 模式   这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。
  运行一个容器：查看容器的IP
  
  将容器切换到后台运行:ctrl+p ctrl+q
  在运行一个容器使用container模式：查看新容器的地址
  
  none模式   这个模式和前两个不同。在这种模式下，Docker 容器拥有自己的 Network Namespace，但是，并不为 Docker容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。
  bridge模式   当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。
  docker0 不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。
  所有的 veth* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网
  
  bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了，Docker 会从 RFC1918 所定义的私有 IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）
  
  Docker完成以上网络配置的过程大致是这样的：
  1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
  2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。
  注：brctl 工具依赖 bridge-utils 软件包
  
  3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。
  容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。
  查看当前 docker0地址
  
  在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。
  运行一个容器：
  
  查看当前运行的容器：
  
  通过brctl show命令查看
  
  以上, docker0 扮演着6d51c11aa19b和e6901fb7ab36这两个容器的虚拟接口 vethxx interface 桥接的角色。
  执行docker network inspect bridge查看桥接网络的详细信息
  
    自定义网桥  除了默认的 docker0 网桥，用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候，使用 -b BRIDGE 或 --bridge=BRIDGE 来指定使用的网桥。
  Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。
  基本步骤如下：
  1.确保 docker 的进程是停止的
  2.创建自定义网桥
  3.给网桥分配特定的 ip
  4.以 -b 的方式指定网桥
  具体操作步骤：
  如果服务已经运行，那需要先停止服务，并删除旧的网桥
  
  然后创建一个网桥 bridge0，给网桥分配特定的 ip
  
  查看确认网桥创建并启动
  
  或
  
  修改/etc/sysconfig/docker文件
  修改前：
  
  修改后：添加前面所新建的网桥
  
  启动 Docker 服务。
  
  新建一个容器，可以看到它已经桥接到了 bridge0 上。
  
  进入容器，查看容器的IP
  
  docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。
  让我们回顾一些基础知识：
  机器需要一个网络接口来发送和接受数据包，路由表来定义如何到达哪些地址段。这里的网络接口可以不是物理接口。事实上，每个 linux 机器上的 lo 环回接口（ docker 容器中也有）就是一个完全的linux 内核虚拟接口，它直接复制发送缓存中的数据包到接收缓存中。 docker 让宿主主机和容器使用特殊的虚拟接口来通信 -- 通信的 2 端叫“ peers“，他们在主机内核中连接在一起，所以能够相互通信。创建他们很简单，前面介绍过了。
  docker 创建容器的步骤如下：
  ?创建一对虚拟接口
  ?其中宿主主机一端使用一个名字比如 veth65f9 ，他是唯一的 , 另外一端桥接到默认的 docker0, 或其它你指定的桥接网卡。
  ?主机上的 veth65f9 这种接口映射到新的新容器中的名称通常是 eth0, 在容器这个隔离的 networknamespace 中，它是唯一的，不会有其他接口名字和它冲突。
  ?从主机桥接网卡的地址段中获取一个空闲地址给 eth0 使用，并设定默认路由到桥接网卡。
  ?完成这些之后，容器就可以使用这eth0 虚拟网卡来连接其他容器和其他网络。
  你也可以为特殊的容器设定特定的参数，在 docker run 的时候使用 --net ，它有 4 个可选参数：
  --net=bridge ：默认连接到 docker0 网桥。
  --net=host ：告诉 docker 不要将容器放到隔离的网络堆栈中。尽管容器还是有自己的文件系统、进程列表和资源限制。但使用 ip addr 命令这样命令就可以知道实际上此时的的容器处于和 docker 宿主主机的一样的网络级别，它拥有完全的宿主主机接口访问权限。虽然它不允许容器重新配置主机的网络堆栈，除非 --privileged=true，—但是容器进程可以跟其他 root 进程一样可以打开低数字的端口，可以访问本地网络服务比如 D-bus ，还可以让容器做一些意想不到的事情，比如重启主机，使用这个选项的时候要非常小心！
  --net=container:NAME_or_ID ：告诉 docker 将新容器的进程放到一个已经存在的容器的网络堆栈中，新容器进程有它自己的文件系统、进程列表和资源限制，但它会和那个已经存在的容器共享 ip 地址和端口，他们之间来可以通过环回接口通信。
  --net=none ：告诉 docker 将新容器放到自己的网络堆栈中，但是不要配置它的网络。
  下面通过配置一个以 --net=none 启动的容器，使他达到跟平常一样具有访问网络的权限。来介绍docker 是如何连接到容器中的。
  启动一个运行 /bin/bash的容器，并指定 --net=none
  
  再开启一个新的终端，查找这个容器的进程 id ，然后创建它的命名空间，后面的 ip netns 会用到
  
  
  检查桥接网卡的 ip 和子网掩码
  
  创建一对” peer“接口 A 和 B ，绑定 A 到网桥，并启用它
  
  将 B 放到容器的网络命名空间，命名为 eth0, 配置一个空闲的 ip
  
  
  
  
  自此，你又可以像平常一样使用网络了
  
  当你退出容器后， docker 清空容器，容器的 eth0 随网络命名空间一起被摧毁， A 接口也被自动从docker0 取消注册。不用其他命令，所有东西都被清理掉了！
  注意 ip netns exec 命令，它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用，因为统一的安全策略， docker 限制容器进程配置自己的网络。使用 ip netns exec 可以让我们不用设置 --privileged=true 就可以完成一些可能带来危险的操作。
  扩展：创建一个点到点连接
  默认情况下，Docker 会将所有容器连接到由 docker0 提供的虚拟子网中。
  用户有时候需要两个容器之间可以直连通信，而不用通过主机网桥进行桥接。
  解决办法很简单：创建一对 peer 接口，分别放到两个容器中，配置成点到点链路类型即可。
  首先启动 2 个容器：
  #docker run -i -t --rm --net=none 镜像id/bin/bash
  root@1f1f4c1f931a:/#
  #docker run -i -t --rm --net=none镜像id/bin/bash
  root@12e343489d2f:/#
  找到进程号，然后创建网络名字空间的跟踪文件。
  #docker inspect -f '{{.State.Pid}}' 1f1f4c1f931a
  2989
  #docker inspect -f '{{.State.Pid}}' 12e343489d2f
  3004
  #mkdir -p /var/run/netns
  #ln -s /proc/2989/ns/net /var/run/netns/2989
  #ln -s /proc/3004/ns/net /var/run/netns/3004
  创建一对 peer 接口，然后配置路由
  #ip link add A type veth peer name B
  #ip link set A netns 2989
  #ip netns exec 2989 ip addr add 10.1.1.1/32 dev A
  #ip netns exec 2989 ip link set A up
  #ip netns exec 2989 ip route add 10.1.1.2/32 dev A
  #ip link set B netns 3004
  #ip netns exec 3004 ip addr add 10.1.1.2/32 dev B
  #ip netns exec 3004 ip link set B up
  #ip netns exec 3004 ip route add 10.1.1.1/32 dev B
  现在这 2 个容器就可以相互 ping 通，并成功建立连接。点到点链路不需要子网和子网掩码
  DNS/HOSTNAME自定义
  Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和 DNS 配置呢？秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。
  在容器中使用 mount 命令可以看到挂载信息：注（mount命令软件包util-linux）
  # mount
  ...
  
  ...
  这种机制可以让宿主主机 DNS 信息发生更新后，所有 Docker 容器的 dns 配置通过 /etc/resolv.conf文件立刻得到更新。
  如果用户想要手动指定容器的配置，可以利用下面的选项。
  -h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到，既不会在 docker ps 中显示，也不会在其他的容器的 /etc/hosts 看到。
  
  --link=CONTAINER_NAME:ALIAS 选项会在创建容器的时候，添加一个其他容器的主机名到
  /etc/hosts 文件中，让新容器的进程可以使用主机名 ALIAS 就可以连接它。
  --dns=IP_ADDRESS 添加 DNS 服务器到容器的 /etc/resolv.conf 中，让容器用这个服务器来解析所有不在 /etc/hosts 中的主机名。
  --dns-search=DOMAIN 设定容器的搜索域，当设定搜索域为 .example.com 时，在搜索一个名为 host的主机时， DNS 不仅搜索 host，还会搜索 host.example.com。注意：如果没有上述最后 2 个选项，Docker 会默认用主机上的 /etc/resolv.conf 来配置容器。
  具体其他选项可以查看docker run --help帮助
  docker中的容器互联--linking 系统
  docker 有一个 linking 系统可以连接多个容器。它会创建一对父子关系，父容器可以看到所选择的子容器的信息。该系统会在源和接收容器之间创建一个隧道，接收容器可以看到源容器指定的信息
  自定义容器的命名
  linking系统依据容器的名称来执行，因此，首先需要自定义一个好记的容器命名。当我们创建容器的时候，系统会随机分配一个名字。当然我们也可以自己来命名容器，这样做有 2 个好处：
  ?当我们自己指定名称的时候，比较好记，比如一个 web 应用我们可以给它起名叫 web
  ?当我们要连接其他容器时候，可以作为一个有用的参考点，比如连接 web 容器到 db 容器
  使用 --name 标记可以为容器自定义命名。使用 docker ps 来验证设定的命名，也可以使用 docker inspect 来查看容器的名字docker inspect -f "{{ .Name }}" 容器id
  注意：容器的名称是唯一的。如果已经命名了一个叫 web 的容器，当你要再次使用 web 这个名称的时候，需要先用 docker rm 来删除之前创建的同名容器。
  在执行 docker run 的时候如果添加 --rm 标记，则容器在终止后会立刻删除。注意， --rm 和 -d 参数不能同时使用。
  容器互联
  使用--link参数可以让容器之间安全的进行交互。
  下面先创建一个新的数据库容器。
  docker run -dit --name dbserver镜像id
  
  然后创建一个新的 web 容器，并将它连接到 db 容器
  
  --link 标记的格式： --link name:alias ， name 是我们要链接的容器的名称， alias 是这个链接的别名。
  使用docker ps来查看容器的连接
  
  我们可以看到我们命名的容器， dbserver 和 web ， dbserver 容器的 names 列有 dbserver 也有 web/dbserver 。这表示 web 容器链接到 db 容器，他们是一个父子关系。在这个 link 中， 2 个容器中有一对父子关系。 docker 在 2 个容器之间创建了一个安全的连接，而且不用映射dbserver容器的端口到宿主主机上。所以在启动 db 容器的时候也不用 -p 和 -P 标记。使用 link 之后我们就可以不用暴露数据库端口到网络上。
  注意：你可以链接多个子容器到父容器，比如我们可以链接多个 web 到 db 容器上。
  Docker 会添加子容器的 host 信息到父容器的 /etc/hosts 的文件。
  下面是父容器 web 的 hosts 文件
  
  这里有 2 个 hosts，第一个是 web 容器，web 容器用 id 作为他的主机名，第二个是 dbserver 容器的 ip 和主机名。可以在 web 容器中安装 ping 命令来测试跟dbserver容器的连通。
  注意：官方的镜像默认没有安装 ping，需要自行安装，软件包名iputils
  
  用 ping 来测试db容器，
  
  附：在bridge模式下，连在同一网桥上的容器可以相互通信（若出于安全考虑，也可以禁止它们之间通信，方法是在DOCKER_OPTS变量中设置--icc=false，这样只有使用--link才能使两个容器通信）。