使用ansible安装kubernetes 1.11.1-ZJ的记事本

yinl_li

　　1.规划

• 　　Master：
  

　　192.168.100.181
　　192.168.100.182

• 　　Node：
  

　　192.168.100.183
　　192.168.100.184
　　192.168.100.185

• 　　VIP：
  
• 　　192.168.100.180
  
• 　　ansible主机：
  
• 　　192.168.100.123
  

• 　　所有节点均部署etcd，版本etcd-v3.3.8
  
• 　　在ansible主机生成ssl证书，并将所有证书放在了/root/ssl下(这里我将所有证书分发至所有节点，但是实际有些证书相应节点并不需要，特此说明)
  
• 　　kubernetes二进制包以及压缩后的文件夹均位于/root/下，版本v1.11.1
  
• 　　在node节点部署flannel，版本flannel-v0.10.0
  
• 　　keepalived和haproxy部署在master节点，版本分别为keepalived-2.0.2和haproxy-1.5.18
  

　　2.配置ansible主机信任k8s节点
　　a.安装ansible
# yum -y install ansible　　
# cat /etc/ansible/hosts | egrep -v "^#|^$"
　　
[master]
　　
192.168.100.181
　　
192.168.100.182
　　
[node]
　　
192.168.100.183
　　
192.168.100.184
　　
192.168.100.185
　　b.生成ssh认证所需的公钥和私钥
# ssh-keygen -t rsa -P ''　　
# vim /root/password.txt
　　
192.168.100.181  123456
　　
192.168.100.182  123456
　　
192.168.100.183  123456
　　
192.168.100.184  123456
　　
192.168.100.185  123456
　　注:password.txt密码文件里为IP及其对应root密码。
　　c.配置分发密钥的脚本并分发密钥
# vim pass.sh　　
#!/bin/bash
　　
##分发秘钥
　　
copy-sshkey()
　　
{
　　
file=/root/password.txt
　　

　　
if [ -e $file ]
　　
then
　　
echo "---password文件存在,分发秘钥---"
　　
cat $file | while read line
　　
do
　　
    host_ip=`echo $line | awk '{print $1}'`
　　
    password=`echo $line | awk '{print $2}'`
　　
    echo "$host_ip"
　　

　　
   /usr/bin/expect >
　　
/kube/network/subnets/10.244.95.0-24
　　
/kube/network/subnets/10.244.72.0-24
　　
/kube/network/subnets/10.244.62.0-24
　　
# ansible 192.168.100.181 -a "kubectl get cs"
　　
192.168.100.181 | SUCCESS | rc=0 >>
　　
NAME                 STATUS    MESSAGE             ERROR
　　
scheduler            Healthy   ok
　　
controller-manager   Healthy   ok
　　
etcd-1               Healthy   {"health":"true"}
　　
etcd-4               Healthy   {"health":"true"}
　　
etcd-0               Healthy   {"health":"true"}
　　
etcd-3               Healthy   {"health":"true"}
　　
etcd-2               Healthy   {"health":"true"}
　　
# ansible 192.168.100.181 -a "kubectl get nodes"
　　
192.168.100.181 | SUCCESS | rc=0 >>
　　
NAME      STATUS    ROLES     AGE       VERSION
　　
node01    Ready         1h        v1.11.1
　　
node02    Ready         1h        v1.11.1
　　
node03    Ready         1h        v1.11.1
　　7.与1.8和1.9的不同之处
　　A.kube-apiserver
　　--admission-control选项从1.10版开始更改为了--enable-admission-plugins，且顺序无关紧要
　　关于准入控制器详见:
　　https://kubernetes.io/docs/reference/access-authn-authz/admission-controllers/
　　--insecure-bind-address选项现在已经取消，使用http的话，只能使用127.0.0.1:8080查看API
　　--secure-port，添加该选项，通过HTTPS提供服务的端口进行身份验证和授权
　　--experimental-encryption-provider-config，现在添加了该选项，用以加密数据，控制API数据在etcd中的加密方式
　　关于加密数据详见:
　　https://kubernetes.io/docs/tasks/administer-cluster/encrypt-data/
　　--kubelet-client-certificate和--kubelet-client-key，现在添加这两项，通过安全的端口和kubelet进行通信
　　--token-auth-file，这里去掉了该项，在这里我们使用kubeadm命令为每个node分别生成token
　　B.kube-controller-manager
　　--address命令现在已经弃用，改用--bind-address命令
　　--allocate-node-cidrs=true和--service-cluster-ip-range提示说要一起配置，但是--allocate-node-cidrs选项注释为是否在云提供商上分配和设置Pod的CIDR，我这没有上云，所以不甚明了
　　--leader-elect=true，添加该选项以实现kube-controller-manager高可用，启用选举功能，被选为 leader 的节点负责处理工作，其它节点为阻塞状态
　　--controllers=*,bootstrapsigner,tokencleaner，添加该选项，启用控制器。“ * ”启用所有默认控制器(默认禁用控制器：bootstrapsigner，tokencleaner)
　　--experimental-cluster-signing-duration，添加该选项，配置签署证书的有效期(默认值8760h0m0s，即1年)
　　--kubeconfig，添加该选项，指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
　　--use-service-account-credentials=true ，如果为true，请为每个控制器使用单独的服务帐户凭据
　　--feature-gates=RotateKubeletServerCertificate=true，开启 kublet server 证书自动审批、更新特性
　　C.kube-scheduler
　　--leader-elect=true，添加该选项以实现kube-scheduler高可用，启用选举功能，被选为 leader 的节点负责处理工作，其它节点为阻塞状态
　　--kubeconfig，添加该选项，指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
　　D.kubelet
　　--config，从1.10版开始，作为命令行标志的替代出现，通过该配置文件提供配置管理参数
　　关于kubelet-config配置，详见
　　https://kubernetes.io/docs/tasks/administer-cluster/kubelet-config-file/
　　KubeletConfig中的一些选项:
　　authentication.x509.clientCAFile: 指定签名客户端证书的 CA 证书，开启 HTTPS认证
　　authentication.webhook.enabled: 设置为false，关闭 HTTPS bearer token 认证
　　authentication.anonymous.enabled: 设置为 false，不允许匿名访问 10250 端口
　　authroization.mode:  Kubelet服务器的授权模式。有效选项是AlwaysAllow或Webhook。Webhook模式使用SubjectAcce***eview API来确定授权。（默认为“AlwaysAllow”，授权任何成功通过身份验证的请求）
　　failSwapOn: 设置为false，关闭对于开启了swap的系统的限制
　　RotateCertificates: 设置为true，当证书过期时，通过从kube-apiserver请求新证书来自动轮换kubelet客户端证书
　　featureGates:
　　RotateKubeletClientCertificate: true
　　RotateKubeletServerCertificate: true
　　开启自动轮换的特性
　　关于kubelet身份验证/授权，详见:
　　https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-authentication-authorization/#overview
　　关于kubelet启用和配置证书轮换，详见:
　　https://kubernetes.io/docs/tasks/tls/certificate-rotation/
　　E.kube-proxy
　　--config，作为命令行标志的替代出现，现在处于alpha版本，以后可能会像kubelet一样强制通过该配置文件提供配置管理参数
　　注意:在centos7下如果使用ipvs代理模式是有问题的，这是一个bug，详见:
　　https://github.com/kubernetes/kubernetes/pull/65533
　　https://bugzilla.redhat.com/show_bug.cgi?id=1496859
　　https://bugzilla.redhat.com/show_bug.cgi?id=1557599
　　不过升级到4.x版内核可使用ipvs。
　　KubeProxyConfig中的一些选项:
　　clientConnection.kubeconfig: 指定 kubeconfig 文件路径，用来连接和验证 kube-apiserver
　　8.如要移植使用，请参见https://github.com/zhijiansd/ansible-k8s下的“移植注意事项”更改。如果在安装中有什么问题可以在GitHub上提issue，在博客下提问可能无法关注到问题，希望能解答你的问题。
　　注:
　　该篇文章参考了kubelet的证书轮换，地址:https://github.com/opsnull/follow-me-install-kubernetes-cluster