kubernetes 内网节点部署笔记（一）

fish3129

在Centos7上部署kubernetes时，碰到很多坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各种不服，终于慢慢理顺了思路，自己记录一下，防止遗忘。环境为Centos7, 准备VMWare快照, 快照环境如下：

• 　　安装好 CentOS7
  yum -y install wget vim net-tools traceroute #安装常用工具yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件#以下为kubernetes准备gcr镜像systemctl start dockerdocker pull hub.c.163.com/combk8s/pause:0.8.0docker tag hub.c.163.com/combk8s/pause:0.8.0 gcr.io/google_containers/pause:0.8.0docker rmi hub.c.163.com/combk8s/pause:0.8.0
  
• 　　关机制作快照
  

部署思路是：master机器可以访问公网，并且作为网关，其它机器都在内网，因此master机器有两张网卡，其它机器与master机器的内网网卡相联从快照中克隆4台机器，配置如下：　　第一台机器 k8s-master，配置成为访问网关
# 机器 k8s-master, 此台机器除了作为 master 本身，还承担网关的职能# VM中公网网卡连接方式：桥接, 对应centos系统中的网卡 eno16777736# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno33554984# 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡，所以这张网卡需要标为 ZONE=trusted，确保防火墙不干扰内网数据 # eno16777736网卡配置TYPE="Ethernet"NAME="eno16777736"UUID="8b130f48-94d8-4d4c-a6b0-128a36448a6a"DEVICE="eno16777736"IPADDR="192.168.206.30"PERFIX="24"GATEWAY="192.168.206.1"DNS1="192.168.205.12"ONBOOT="yes" # eno33554984网卡配置TYPE="Ethernet"NAME="eno33554984"DEVICE="eno33554984"IPADDR="192.168.127.1"PERFIX="24"ONBOOT="yes"ZONE=trusted #开启 k8s-master的路由功能echo "net.ipv4.ip_forward=1" >> /etc/sysctl.confsysctl -p #允许SNAT转发上网firewall-cmd --permanent --zone=public --add-masqueradefirewall-cmd --reload　　
　　第二台机器 k8s-etcd，安装ETCD服务
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736 # eno16777736网卡配置TYPE="Ethernet"NAME="eno16777736"DEVICE="eno16777736"IPADDR="192.168.127.2"PERFIX="24"GATEWAY="192.168.127.1"DNS1="192.168.205.12"ONBOOT="yes" #安装etcdyum -y install etcd#修改ETCD配置vim /etc/etcd/etcd.confETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"ETCD_ADVERTISE_CLIENT_URLS="http://192.168.127.2:2379" #接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段vim flannel-config.json #文件内容如下{  "Network":"10.0.0.0/16",  "SubnetLen":24,  "Backend":{    "Type":"vxlan",    "VNI":1  }} #将配置文件存储到ETCD对应的键上etcdctl set atomic.io/network/config < flannel-config.json　　
　　第一台机器 k8s-master，配置成为Kube-master
# 机器 k8-master，此台机器承担kube-master服务# kube-master服务主要包含以下组件# 1. kube-apiserver# 2. kube-controller-manager# 3. kube-scheduler# 4. flannel 网络 # 首先来配置flannel网络，使flannel网络配置从etcd服务器读取vim /etc/sysconfig/flanneldFLANNEL_ETCD="http://192.168.127.2:2379" FLANNEL_ETCD_KEY="/atomic.io/network"# 启动flannel网络，如果之前已经启动了docker，需要先关闭dockersystemctl enable flanneldsystemctl start flanneld # 配置 kube-apiservervim /etc/kubernetes/apiserverKUBE_API_ADDRESS="--address=0.0.0.0"KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.127.2:2379"KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.0.0.0/16"KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"# 由于是部署在内网，所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式 # 接下来启动服务systemctl enable kube-apiserver kube-controller-manager kube-schedulersystemctl start kube-apiserver kube-controller-manager kube-scheduler　　
　　第三台机器 k8s-node1，配置成为Kubelet节点
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736# eno16777736网卡配置TYPE="Ethernet"NAME="eno16777736"DEVICE="eno16777736"IPADDR="192.168.127.3"PERFIX="24"GATEWAY="192.168.127.1"DNS1="192.168.205.12"ONBOOT="yes" # 首先来配置flannel网络，使flannel网络配置从etcd服务器读取vim /etc/sysconfig/flanneldFLANNEL_ETCD="http://192.168.127.2:2379" FLANNEL_ETCD_KEY="/atomic.io/network" #hostname 配置hostnamectl set-hostname k8s-node1 #kubernetes config 文件配置vim /etc/kubernetes/configKUBE_MASTER="--master=http://192.168.127.1:8080"   #kubernetes kubelet 文件配置vim /etc/kubernetes/kubeletKUBELET_ADDRESS="--address=0.0.0.0"KUBELET_HOSTNAME="--hostname-override=k8s-node1"KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080" #启动kubeletsystemctl enable docker kubeletsystemctl start docker kubelet　　
　　第四台机器 k8s-node2，配置成为Kubelet节点
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736  # eno16777736网卡配置TYPE="Ethernet"NAME="eno16777736"DEVICE="eno16777736"IPADDR="192.168.127.4"PERFIX="24"GATEWAY="192.168.127.1"DNS1="192.168.205.12"ONBOOT="yes"  # 首先来配置flannel网络，使flannel网络配置从etcd服务器读取vim /etc/sysconfig/flanneldFLANNEL_ETCD="http://192.168.127.2:2379"  FLANNEL_ETCD_KEY="/atomic.io/network"  #hostname 配置hostnamectl set-hostname k8s-node2  #kubernetes config 文件配置vim /etc/kubernetes/configKUBE_MASTER="--master=http://192.168.127.1:8080"  #kubernetes kubelet 文件配置vim /etc/kubernetes/kubeletKUBELET_ADDRESS="--address=0.0.0.0"KUBELET_HOSTNAME="--hostname-override=k8s-node2"KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"  #启动kubeletsystemctl enable docker kubeletsystemctl start docker kubelet　　
　　验证节点是否可用，在k8s-master上执行命令
[iyunv@k8s-master ~]# kubectl get nodeNAME        STATUS    AGEk8s-node1   Ready     3hk8s-node2   Ready     3h　　
来自为知笔记(Wiz)