1397535668 发表于 2018-9-15 12:02:31

Kubernetes API Server原理

Kubernetes API Server功能
  Kubernete API Server的核心功能主要是为Kubernetes的各类资源对象(如 node,pod,service等)提供了增、删、改、查以及watch的HTTP Rest接口。
  API server是集群中各个功能模块之间数据交互和通信的中心枢纽,除此之外它还有以下特性:


[*]集群管理的API入口
[*]资源配额控制的入口
[*]提供完备的集群安全机制
常规API接口
  Kubernetes的 API server通过 kube-apiserver进程提供服务,一般会监听两个端口,http的8080(使用参数 --insecure-port)和 使用https的6443端口(--secure-port=6443),两者功能相同,只https安全性更高。
  常用的kubectl命令,也是通过与API Server的 REST调用来实现交互。
  通过使用curl命令能直接获取REST api的信息。
  通过本地8080端口查看版本:
  

# curl127.0.0.1:8080/api  
{
  "kind": "APIVersions",
  "versions": [
  "v1"
  ],
  "serverAddressByClientCIDRs": [
  {
  "clientCIDR": "0.0.0.0/0",
  "serverAddress": "10.0.0.1:6443"
  }
  ]
  
}
  

  

  查看支持的资源对象:
  

curl127.0.0.1:8080/api/v1  

  

  查看资源对象信息:
  

curl127.0.0.1:8080/api/v1/nodes  curl127.0.0.1:8080/api/v1/pods
  curl127.0.0.1:8080/api/v1/services
  curl127.0.0.1:8080/api/v1/replicationcontrollers
  

  可以具体到某一个具体的对象:
  

curl 127.0.0.1:8080/api/v1/nodes/10.0.0.3  

  也可以指定不同namespace中的对象进行访问:
  

curlhttp://127.0.0.1:8080/api/v1/namespaces/default/services/php-apache  

  也可以直接访问后端服务内容:
  

curlhttp://127.0.0.1:8080/api/v1/namespaces/default/services/http:tomcat-service:/proxy/  curlhttp://127.0.0.1:8080/api/v1/namespaces/default/services/http:php-apache:/proxy/
  

  除此之外还有其他的API信息:
  

curl 127.0.0.1:8080/apis/batch/v1  

Kubernets Proxy API接口
  Kubernetes Proxy主要用于代理REST请求。 可以通过这种代理方式将API Server收到的REST请求转发到某个Node上的kubelet上,由Kubelet负责响应。
  创建一个Proxy 接口:
  

kubectl proxy --port=8001 --accept-hosts='.*' --address='10.0.0.1' &  

  此处创建一个监听本地10.0.0.1上的8001端口。
  如果需要对访问的资源和源地址进行限制,可以使用正则进行匹配,限制对services进行访问:
  

kubectlproxy --port=8001--accept-hosts='.*'--address=10.0.0.1--reject-paths='^/api/v1/services'  

  通过此端口可以在外部直接访问此api代理,在新的版本中,访问方式和常规访问的URL一致:
  

curlhttp://10.0.0.1:8001/api/v1/pods  curlhttp://10.0.0.1:8001/api/v1/nodes
  curlhttp://10.0.0.1:8001/api/v1/services
  curlhttp://10.0.0.1:8001/api/v1/replicationcontrollers
  curlhttp://10.0.0.1:8001/api/v1/namespaces/default/pods/tomcat-deployment-65799d5fc4-5dx4h
  curlhttp://10.0.0.1:8001/api/v1/namespaces/default/services/http:php-apache:/proxy/
  curl10.0.0.1:8001/apis/batch/v1
  

API server和集群模块的交互
  API Server作为集群的核心,负责集群各个功能模块之间的通信,集群中的各个功能模块通过 API Server将信息存入etcd数据库中,获取这些数据就通过 API Server 提供的REST接口通过使用GET,LIST,或者Watch方法,从而实现对各个模块之间的交互。

查看ETCD数据
  ETCD V3操作说明
  参考链接
  在使用ETCD V3的版本时,由于为了实现兼容性,etcd默认使用的是 v2的接口,Kubernetes中需要使用V3的接口来查看数据,所以查看前添加此参数:
  

export ETCDCTL_API=3    # 修改默认接口版本为V3  
export ETCDCTL_API=2    # 修改默认接口版本为V2
  

  在V3和V2中,两者支持的命令是不一样的,如在V2 版本有 etcdctl ls 命令,但是在V3版本中就没有,指定接口版本后,对应的help 信息也会改变。

  在使用默认的V2接口时,使用ls命令只能看到一个目录:
  

# 如果没有TLS进行CA设置直接执行:  
# etcdctl ls
  
/kubernetes
  

  
# 如果设置了CA认证,使用如下参数,指定证书和秘钥文件:
  
# etcdctl--endpoints=https://10.0.0.1:2379--ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls
  
/kubernetes
  

  这个key中只存储了少量的信息:
  

# etcdctl--endpoints=https://10.0.0.2:2379--ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem ls -r  
/kubernetes
  
/kubernetes/network
  
/kubernetes/network/config
  
/kubernetes/network/subnets
  
/kubernetes/network/subnets/10.2.70.0-24
  
/kubernetes/network/subnets/10.2.67.0-24
  
/kubernetes/network/subnets/10.2.49.0-24
  
# etcdctl--endpoints=https://10.0.0.2:2379--ca-file=/opt/kubernetes/ssl/ca.pem   --cert-file=/opt/kubernetes/ssl/etcd.pem   --key-file=/opt/kubernetes/ssl/etcd-key.pem get /kubernetes/network/subnets/10.2.49.0-24
  
{"PublicIP":"10.0.0.2","BackendType":"vxlan","BackendData":{"VtepMAC":"a6:16:81:8a:af:71"}}
  

  

  切换为V3接口,获取etcd中的所有key:
  

export ETCDCTL_API=3  
# 无ca认证:
  
# etcdctl get / --prefix --keys-only
  

  
# CA认证,参数和V2版本不一样
  
# etcdctl--endpoints=https://10.0.0.1:2379--cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get / --prefix --keys-only
  

  通过查询对应的key,可以获取kubernete对象的元数据:
  

# etcdctl--endpoints=https://10.0.0.1:2379--cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pem get /registry/services/specs/default/php-apache -w=json|python -m json.tool  

  这里使用json格式化输出。可以发现所有的数据都存放在/registry/开头的key 中。
  使用如下脚本,对key值进行转换,也能输出相同的key值列表:
  

#!/bin/bash  
# Get kubernetes keys from etcd
  
export ETCDCTL_API=3
  

  
# not use ca TLS
  
# keys=`etcdctl get /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
  

  
# USE TLS ca
  
keys=`etcdctl --cacert=/opt/kubernetes/ssl/ca.pem   --cert=/opt/kubernetes/ssl/etcd.pem   --key=/opt/kubernetes/ssl/etcd-key.pemget /registry --prefix -w json|python -m json.tool|grep key|cut -d ":" -f2|tr -d '"'|tr -d ","`
  
for x in $keys;do
  echo $x|base64 -d|sort
  
done
  

  

  key 的命名规则是按/registry, 对象类型(复数),namespace,具体对象名称命名。

API Server与kubelet的交互


[*]每个Node节点上的kubelet每隔一段时间就会向API Server 的REST接口发送自身的状态信息。
[*]API Server收到这些信息后,会更新到etcd中。
[*]此外,kubelet通过API Server的watch 接口监听Pod的实时变化信息,如果监听到新的Pod对象绑定到此节点,则创建此pod,同理,如果是pod被删除,修改则执行对应的操作。
kube-controller-manager与API Server交互
  kube-controller-manager中的Node Controller模块通过API Server提供的Watch接口,实时监控Node的信息,并做相应处理。

kube-scheduler与API Server交互
  Scheduler通过API Server的Watch接口监听到新建Pod副本的信息后,它会检索所有符合该Pod要求的Node列表,开始执行Pod调度逻辑。调度成功后将Pod绑定到目标节点上。

  为了缓解各模块对API Server的访问压力,各功能模块都采用缓存机制来缓存数据,各功能模块定时从API Server获取指定的资源对象信息(LIST/WATCH方法),然后将信息保存到本地缓存,功能模块在某些情况下不直接访问API Server,而是通过访问缓存数据来间接访问API Server。



页: [1]
查看完整版本: Kubernetes API Server原理