Docker NAT iptables实现 及网络配置 （网络二）
Docker NAT iptables实现
默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器
容器访问外部实现
容器所有到外部网络的连接，源地址都会被 NAT 成本地系统的 IP 地址（即docker0地址）。这是使用 iptables 的源地址伪装操作实现的
查看主机的 NAT 规则
# iptables -t nat -vnL Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
271713 MASQUERADEall--* !docker0172.17.0.0/16 0.0.0.0/0
其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其他网段（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。
外部访问容器实现
容器允许外部访问，可以在 docker run 时候通过 -p 或 -P 参数来启用，不管用那种办法，其实也是在本地的 iptable 的 nat 表中添加相应的规则
使用-P 时：
# docker run -d -P centos:http a10b560d2e31ee07bb3be04ea8ecc66bcbcc03f0a1360973c993538393e1b71f
# dockerps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a10b560d2e31 centos:http "/bin/bash /run.sh" About an hour ago Up About an hour 0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp compassionate_shockley
# # iptables -t nat –nvL Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 RETURN all--docker0 * 0.0.0.0/0 0.0.0.0/0
0 0 DNAT tcp--!docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32771 to:172.17.0.3:443
0 0 DNAT tcp--!docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32772 to:172.17.0.3:80
0 0 DNAT tcp--!docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32773 to:172.17.0.3:22
使用 -p 80:80 时：
# dockerrun-d -p 80:80 centos:http WARNING: IPv4 forwarding is disabled. Networking will not work.
e2e606c90755d334d1cdce0e2dbc907614236231f4482819b25d839e4042b17b
# dockerps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e2e606c90755 centos:http "/bin/bash /run.sh" 8 seconds ago Up 6 seconds 22/tcp, 443/tcp, 0.0.0.0:80->80/tcp clever_fermi
# iptables-tnat -nvL Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 DNAT tcp--!docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 to:172.17.0.2:80
docker0网桥
Docker服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。
Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信
由于目前 Docker 网桥是 Linux 网桥，用户可以使用 brctl show 来查看网桥和端口连接信息。
# brctl show bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth89dc50c
vethd69e7b9
virbr08000.525400e7be5fyesvirbr0-nic
注：brctl 命令在centos中可以使用yuminstall bridge-utils 来安装
每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。
# dockerps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a10b560d2e31 centos:http "/bin/bash /run.sh" 22 hours ago Up 22 hours 0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp compassionate_shockley
583d46c7cea8 centos:http "/bin/bash /run.sh" 22 hours ago Exited (137) 22 hours ago zen_jones
root@localhost ~]# ifconfig docker0 docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>mtu 1500
inet 172.17.0.1netmask 255.255.0.0broadcast 0.0.0.0
inet6 fe80::42:81ff:feec:ab1cprefixlen 64scopeid 0x20<link>
ether 02:42:81:ec:ab:1ctxqueuelen 0(Ethernet)
RX packets 46802bytes 2152876 (2.0 MiB)
RX errors 0dropped 0overruns 0frame 0
TX packets 58776bytes 102598730 (97.8 MiB)
TX errors 0dropped 0 overruns 0carrier 0collisions 0
# ssh admin@192.168.1.107 -p 32773 The authenticity of host ':32773 (:32773)' can't be established.
RSA key fingerprint is 1e:c3:c2:f8:0c:46:2e:1a:e4:f9:eb:71:5e:e7:fd:0b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ':32773' (RSA) to the list of known hosts.
$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
94: eth0@if95: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UP
link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.3/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe11:3/64 scope link
valid_lft forever preferred_lft forever
Docker 网络配置
Docker 四种网络模式
docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：
· host 模式，使用 --net=host 指定。
· container 模式，使用 --net=container:NAMEorID 指定。
· none 模式，使用 --net=none 指定。
· bridge 模式，使用 --net=bridge 指定，默认设置。
host 模式
如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。
例如，我们在192.168.1.102/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.1.102:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。
启动容器前，执行pgrep http查看宿主机httpd进程
# pgrephttpd
#
上面显示结果说明宿主机没有httpd进程运行
用 host 模式启动一个含有 web 应用的 Docker 容器
# dockerimages REPOSITORY TAG IMAGE ID CREATED SIZE
centos http f1d1edeedc66 22 hours ago 298.6 MB
docker.io/centos centos6 cf2c3ece5e41 13 months ago 194.6 MB
# dockerrun -dit --net=host centos:http a795da45a727173c281a548e55ee0e261a391a97f50c746270090072f4bfb57d
# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a795da45a727 centos:http "/bin/bash /run.sh" 31 seconds ago Up 29 seconds mad_pike
# pgrephttpd
7221
7222
7223
7224
7225
7226
7227
7228
7229
用浏览器访问宿主机地址的80端口
注意防火墙：
# firewall-cmd--add-port=80/tcp success
container 模式
这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。
运行一个容器：查看容器的IP
# dockerimages REPOSITORY TAG IMAGE ID CREATED SIZE
centos http f1d1edeedc66 22 hours ago 298.6 MB
docker.io/centos centos6 cf2c3ece5e41 13 months ago 194.6 MB
# docker run -it docker.io/centos:centos6 WARNING: IPv4 forwarding is disabled. Networking will not work.
# ifconfig
注意ID号f1e18599659f下面会用到
eth0 Link encap:EthernetHWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2Bcast:0.0.0.0Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link
UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
RX packets:6 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:508 (508.0 b)TX bytes:508 (508.0 b)
lo Link encap:Local Loopback
inet addr:127.0.0.1Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNINGMTU:65536Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)
将容器切换到后台运行:ctrl+pctrl+q
在运行一个容器使用container模式：查看新容器的地址
# docker run -it --net=container:f1e18599659f docker.io/centos:centos6 WARNING: IPv4 forwarding is disabled. Networking will not work.
# ifconfig eth0 Link encap:EthernetHWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2Bcast:0.0.0.0Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link
UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
RX packets:8 errors:0 dropped:0 overruns:0 frame:0
TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:648 (648.0 b)TX bytes:648 (648.0 b)
lo Link encap:Local Loopback
inet addr:127.0.0.1Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNINGMTU:65536Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)
注意使用container模式docker run -it --net=container:f1e18599659f docker.io/centos:centos6 是第一次执行
# docker run -it docker.io/centos:centos6
WARNING: IPv4 forwarding is disabled. Networking will not work.
# ifconfig高亮中的ID
none模式
这个模式和前两个不同。在这种模式下，Docker 容器拥有自己的 Network Namespace，但是，并不为 Docker容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。
bridge模式
当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。
docker0不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。
所有的 veth* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网
bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了，Docker 会从 RFC1918 所定义的私有 IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）
Docker完成以上网络配置的过程大致是这样的：
1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。
注：brctl 工具依赖 bridge-utils 软件包
# brctl show bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth90f8ae3
3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。
容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。
查看当前 docker0地址
# ifconfigdocker0 docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>mtu 1500
inet 172.17.0.1netmask 255.255.0.0broadcast 0.0.0.0
inet6 fe80::42:81ff:feec:ab1cprefixlen 64scopeid 0x20<link>
ether 02:42:81:ec:ab:1ctxqueuelen 0(Ethernet)
RX packets 46867bytes 2161613 (2.0 MiB)
RX errors 0dropped 0overruns 0frame 0
TX packets 58860bytes 102609673 (97.8 MiB)
TX errors 0dropped 0 overruns 0carrier 0collisions 0
在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。
运行一个容器：
查看当前运行的容器：
# dockerrun -ditcentos:http 23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b
查看当前运行的容器：
# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
23ddd3fe37aa centos:http "/bin/bash /run.sh" 2 minutes ago Up 2 minutes 22/tcp, 80/tcp, 443/tcp condescending_brown
6a80dd0b8c4a docker.io/centos:centos6 "/bin/bash" 2 minutes ago Up 2 minutes peaceful_cray
通过brctl show命令查看
# brctlshow bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth49a07d1
vethd7ee715
以上, docker0 扮演着6d51c11aa19b和e6901fb7ab36这两个容器的虚拟接口 vethxx interface 桥接的角色。
执行dockernetworkinspectbridge查看桥接网络的详细信息
# dockernetworkinspectbridge
[
{
"Name": "bridge",
"Id": "baeed3bb5ffc64a7a9329979781a9af432fa66a7993e77726b606faf98b8df0b",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.17.0.0/16",
"Gateway": "172.17.0.1"
}
]
},
"Internal": false,
"Containers": {
"23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b": {
"Name": "condescending_brown",
"EndpointID": "4acfa63b6859f3f9b6ce7a39d9b4bb18880a6e5b15df84f009d4e8352f72c51b",
"MacAddress": "02:42:ac:11:00:03",
"IPv4Address": "172.17.0.3/16",
"IPv6Address": ""
},
"6a80dd0b8c4afc41ecfe194d75125c316a5b97822cfacd6831cc437f25809044": {
"Name": "peaceful_cray",
"EndpointID": "90889fd355608221b06abf677c3f8fdd831fd99b6539032199c4119e0336e4cc",
"MacAddress": "02:42:ac:11:00:02",
"IPv4Address": "172.17.0.2/16",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
自定义网桥
除了默认的docker0网桥，用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候，使用-b BRIDGE或 --bridge=BRIDGE来指定使用的网桥。
Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。
基本步骤如下：
1.确保 docker 的进程是停止的
2.创建自定义网桥
3.给网桥分配特定的 ip
4.以 -b 的方式指定网桥
具体操作步骤：
如果服务已经运行，那需要先停止服务，并删除旧的网桥
# systemctl stop docker
# ip linkset devdocker0down
# brctldelbr docker0
# brctl show bridge namebridge idSTP enabledinterfaces
virbr08000.525400e7be5fyesvirbr0-nic
然后创建一个网桥bridge0，给网桥分配特定的 ip
# brctl addbrbridge0
# ipaddr add192.168.10.1/24 devbridge0
# ip link setdevbridge0up 查看确认网桥创建并启动
# brctl show bridge namebridge idSTP enabledinterfaces
bridge08000.000000000000no
或
# ip addr show bridge0 106: bridge0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
link/ether fe:09:c2:02:d7:cb brd ff:ff:ff:ff:ff:ff
inet 192.168.10.1/24 scope global bridge0
valid_lft forever preferred_lft forever
inet6 fe80::fc09:c2ff:fe02:d7cb/64 scope link
valid_lft forever preferred_lft forever
修改/etc/sysconfig/docker文件
修改前：
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false'
修改后：添加前面所新建的网桥
# vim /etc/sysconfig/docker # /etc/sysconfig/docker
# Modify these options if you want to change the way the docker daemon runs
OPTIONS='--selinux-enabled --log-driver=journald -b=bridge0'
启动 Docker 服务。
# systemctl startdocker 新建一个容器，可以看到它已经桥接到了bridge0上
# dockerrun-dit docker.io/centos:centos6 fda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321
# brctlshow bridge namebridge idSTP enabledinterfaces
bridge08000.e230240caa2dnovethf1f9dec
virbr08000.525400e7be5fyesvirbr0-nic
进入容器，查看容器的IP
# dockerattachfda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321
# ifconfig eth0 eth0 Link encap:EthernetHWaddr 02:42:C0:A8:0A:02
inet addr:192.168.10.2Bcast:0.0.0.0Mask:255.255.255.0
inet6 addr: fe80::42:c0ff:fea8:a02/64 Scope:Link
UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
RX packets:8 errors:0 dropped:0 overruns:0 frame:0
TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:648 (648.0 b)TX bytes:648 (648.0 b)
docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。
页:
[1]