Kubernetes API Server原理

1397535668

Kubernetes API Server功能
　　Kubernete API Server的核心功能主要是为Kubernetes的各类资源对象（如 node,pod，service等）提供了增、删、改、查以及watch的HTTP Rest接口。
　　API server是集群中各个功能模块之间数据交互和通信的中心枢纽，除此之外它还有以下特性：

• 集群管理的API入口
  
• 资源配额控制的入口
  
• 提供完备的集群安全机制
  

常规API接口
　　Kubernetes的 API server通过 kube-apiserver进程提供服务，一般会监听两个端口，http的8080（使用参数 --insecure-port）和 使用https的6443端口（--secure-port=6443）,两者功能相同，只https安全性更高。
　　常用的kubectl命令，也是通过与API Server的 REST调用来实现交互。
　　通过使用curl命令能直接获取REST api的信息。
　　通过本地8080端口查看版本：
　　

[root@node-1 ~]# curl  127.0.0.1:8080/api　　
{
　　"kind": "APIVersions",
　　"versions": [
　　"v1"
　　],
　　"serverAddressByClientCIDRs": [
　　{
　　"clientCIDR": "0.0.0.0/0",
　　"serverAddress": "10.0.0.1:6443"
　　}
　　]
　　
}
　　

　　

　　查看支持的资源对象：
　　

curl  127.0.0.1:8080/api/v1　　

　　

　　查看资源对象信息：
　　

curl  127.0.0.1:8080/api/v1/nodes　　curl  127.0.0.1:8080/api/v1/pods
　　curl  127.0.0.1:8080/api/v1/services
　　curl  127.0.0.1:8080/api/v1/replicationcontrollers
　　

　　可以具体到某一个具体的对象：
　　

curl 127.0.0.1:8080/api/v1/nodes/10.0.0.3　　

　　也可以指定不同namespace中的对象进行访问：
　　

curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/php-apache　　

　　也可以直接访问后端服务内容：
　　

curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:tomcat-service:/proxy/　　curl  http://127.0.0.1:8080/api/v1/namespaces/default/services/http:php-apache:/proxy/
　　

　　除此之外还有其他的API信息：
　　

curl 127.0.0.1:8080/apis/batch/v1　　

Kubernets Proxy API接口
　　Kubernetes Proxy主要用于代理REST请求。 可以通过这种代理方式将API Server收到的REST请求转发到某个Node上的kubelet上，由Kubelet负责响应。
　　创建一个Proxy 接口：
　　

  kubectl proxy --port=8001 --accept-hosts='.*' --address='10.0.0.1' &　　

　　此处创建一个监听本地10.0.0.1上的8001端口。
　　如果需要对访问的资源和源地址进行限制，可以使用正则进行匹配，限制对services进行访问：
　　

kubectl  proxy --port=8001  --accept-hosts='.*'  --address=10.0.0.1  --reject-paths='^/api/v1/services'　　

　　通过此端口可以在外部直接访问此api代理，在新的版本中，访问方式和常规访问的URL一致：
　　

curl  http://10.0.0.1:8001/api/v1/pods　　curl  http://10.0.0.1:8001/api/v1/nodes
　　curl  http://10.0.0.1:8001/api/v1/services
　　curl  http://10.0.0.1:8001/api/v1/replicationcontrollers
　　curl  http://10.0.0.1:8001/api/v1/namespaces/default/pods/tomcat-deployment-65799d5fc4-5dx4h
　　curl  http://10.0.0.1:8001/api/v1/namespaces/default/services/http:php-apache:/proxy/
　　curl  10.0.0.1:8001/apis/batch/v1
　　

API server和集群模块的交互
　　API Server作为集群的核心，负责集群各个功能模块之间的通信，集群中的各个功能模块通过 API Server将信息存入etcd数据库中，获取这些数据就通过 API Server 提供的REST接口通过使用GET,LIST,或者Watch方法，从而实现对各个模块之间的交互。

查看ETCD数据
　　ETCD V3操作说明
　　参考链接
　　在使用ETCD V3的版本时，由于为了实现兼容性，etcd默认使用的是 v2的接口，Kubernetes中需要使用V3的接口来查看数据，所以查看前添加此参数：
　　

export ETCDCTL_API=3    # 修改默认接口版本为V3　　
export ETCDCTL_API=2    # 修改默认接口版本为V2
　　

　　在V3和V2中，两者支持的命令是不一样的，如在V2 版本有 etcdctl ls 命令，但是在V3版本中就没有，指定接口版本后，对应的help 信息也会改变。

　　在使用默认的V2接口时，使用ls命令只能看到一个目录：
　　

# 如果没有TLS进行CA设置直接执行：　　
# etcdctl ls
　　
/kubernetes
　　

　　
# 如果设置了CA认证，使用如下参数，指定证书和秘钥文件：
　　
# etcdctl  --endpoints=https://10.0.0.1:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls
　　
/kubernetes
　　

　　这个key中只存储了少量的信息：
　　

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls -r　　
/kubernetes
　　
/kubernetes/network
　　
/kubernetes/network/config
　　
/kubernetes/network/subnets
　　
/kubernetes/network/subnets/10.2.70.0-24
　　
/kubernetes/network/subnets/10.2.67.0-24
　　
/kubernetes/network/subnets/10.2.49.0-24
　　
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.2:2379  --ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem get /kubernetes/network/subnets/10.2.49.0-24
　　
{"PublicIP":"10.0.0.2","BackendType":"vxlan","BackendData":{"VtepMAC":"a6:16:81:8a:af:71"}}
　　

　　

　　切换为V3接口，获取etcd中的所有key:
　　

export ETCDCTL_API=3　　
# 无ca认证：
　　
[root@node-1 ~]# etcdctl get / --prefix --keys-only
　　

　　
# CA认证，参数和V2版本不一样
　　
[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get / --prefix --keys-only
　　

　　通过查询对应的key,可以获取kubernete对象的元数据：
　　

[root@node-1 ~]# etcdctl  --endpoints=https://10.0.0.1:2379  --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get /registry/services/specs/default/php-apache -w=json|python -m json.tool　　

　　这里使用json格式化输出。可以发现所有的数据都存放在/registry/开头的key 中。
　　使用如下脚本，对key值进行转换，也能输出相同的key值列表：
　　

#!/bin/bash　　
# Get kubernetes keys from etcd
　　
export ETCDCTL_API=3
　　

　　
# not use ca TLS
　　
# keys=`etcdctl get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
　　

　　
# USE TLS ca
　　
keys=`etcdctl --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem  get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
　　
for x in $keys;do
　　echo $x|base64 -d|sort
　　
done
　　

　　

　　key 的命名规则是按/registry， 对象类型（复数），namespace，具体对象名称命名。

API Server与kubelet的交互

• 每个Node节点上的kubelet每隔一段时间就会向API Server 的REST接口发送自身的状态信息。
  
• API Server收到这些信息后，会更新到etcd中。
  
• 此外，kubelet通过API Server的watch 接口监听Pod的实时变化信息，如果监听到新的Pod对象绑定到此节点，则创建此pod，同理，如果是pod被删除,修改则执行对应的操作。
  

kube-controller-manager与API Server交互
　　kube-controller-manager中的Node Controller模块通过API Server提供的Watch接口，实时监控Node的信息，并做相应处理。

kube-scheduler与API Server交互
　　Scheduler通过API Server的Watch接口监听到新建Pod副本的信息后，它会检索所有符合该Pod要求的Node列表，开始执行Pod调度逻辑。调度成功后将Pod绑定到目标节点上。

　　为了缓解各模块对API Server的访问压力，各功能模块都采用缓存机制来缓存数据，各功能模块定时从API Server获取指定的资源对象信息（LIST/WATCH方法），然后将信息保存到本地缓存，功能模块在某些情况下不直接访问API Server，而是通过访问缓存数据来间接访问API Server。