kubernets kube-proxy原理分析

4323213

kube-proxy
service是一组pod的服务抽象，相当于一组pod的LB，负责将请求分发给对应的pod。service会为这个LB提供一个IP，一般称为cluster IP。
kube-proxy的作用主要是负责service的实现，具体来说，就是实现了内部从pod到service和外部的从node port向service的访问

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

cat nginx.yaml    部署该deploment apiVersion: extensions/v1beta1 kind: Deployment metadata:   name: apigw-test1 spec:   replicas: 2   template:     metadata:       labels:         app: test1     spec:       #hostNetwork: true       containers:       - name: apigw1         image: apigw:696         imagePullPolicy: IfNotPresent         ports:         - containerPort: 80         resources:           requests:             cpu: 2             memory: 2Gi           limits:             cpu: 2             memory: 2Gi

创建service

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

cat nginx-svc.yaml apiVersion: v1 kind: Service metadata:   name: apigw-test1   labels:     app: test1 spec:   type: NodePort   selector:     app: test1   ports:   - port: 6666     targetPort: 80     nodePort: 30066       kubectl create -f nginx-svc.yaml

前面创建了nginx的部署对象，那么别人如何使用nginx这个服务呢？首先要确定的是，这个nginx服务，是给内部使用的，还是外部。如果是内部使用，那就可以不用设置服务的类型（默认为ClusterIP），
否则，可以将服务类型设置为NodePort，通过node的端口暴露出来给外部使用；或者是LoadBalancer，由云服务商提供一个负载均衡直接挂在服务上。
这里我们使用NodePort，暴露出30066端口给外部使用。如果不指定nodePort，那么kubernetes会随机生成一个

这里我们用1个service+2个pod来举例说明



port和nodePort都是service的端口，前者暴露给集群内客户访问服务，后者暴露给集群外客户访问服务。从这两个端口到来的数据都需要经过反向代理kube-proxy流入后端pod的targetPod，从而到达pod上的容器内。


apigw-test1-2790435668-xkt56  ip：192.168.64.130/32
apigw-test1-2790435668-r69sr  ip:  192.168.83.197/32


整体流程图如下

-A KUBE-SVC-NPX46M4PTMTKRN6Y -m comment --comment "default/kubernetes:https" -m recent --rcheck --seconds 10800 --reap --name KUBE-SEP-FOCF455PUHPZHEKG --mask 255.255.255.255 --rsource -j KUBE-SEP-FOCF455PUHPZHEKG

实现了会话保持

-A KUBE-SEP-FOCF455PUHPZHEKG -p tcp -m comment --comment "default/kubernetes:https" -m recent --set --name KUBE-SEP-FOCF455PUHPZHEKG --mask 255.255.255.255 --rsource -m tcp -j DNAT --to-destination 172.16.18.124:6443

关键点解释：
KUBE-NODEPORTS   链跳转到如下两条链
1、KUBE-MARK-MASQ  --set-xmark 0x4000/0x4000  SANT
该链的作用主要是做数据标记，以及后续对这些标记的数据做SNAT
2、KUBE-SVC-4FIAYNHBEFBB6ATU  会跳转到如下两条链
2、1  KUBE-SEP-ZMVIR553ITG5JAPJ  （-m statistic --mode random --probability 0.50000000000）
该链主要两个做个 一个SANT  一个DNAT，请参考上图说明

2、2  KUBE-SEP-S6UNEDQPTOJETSJC  作用等同于2、1

服务配置了session affinity，则会产生如下的规则  



-m recent --rcheck --seconds 10800 --reap 实现了会话保持
来自于default/kubernetes:https这个服务，流经KUBE-SVC-NPX46M4PTMTKRN6Y这个链的数据包会跳转到自定义链KUBE-SEP-FOCF455PUHPZHEKG，且会在一段时间内保持session affinity，保持时间是10800秒