Kubernetes使用NFS作为共享存储

posir

Kubernetes使用NFS作为共享存储
　　kubernetes管理的容器是封装的，有时候我们需要将容器运行的日志，放到本地来或是共享存储来，以防止容器宕掉，日志还在还可以分析问题。kubernetes的共享存储方案目前比较流行的一般是三个，分别是：nfs，Glusterfs和ceph。
　　前面写过一篇kubernetes使用GlusterFS的文章，如果有兴趣也可以去实践下：http://blog.51cto.com/passed/2139299
　　今天要讲的是kubernetes使用nfs作为共享存储
　　一. 创建 NFS 服务器
　　NFS 允许系统将其目录和文件共享给网络上的其他系统。通过 NFS，用户和应用程序可以访问远程系统上的文件，就象它们是本地文件一样。
　　1、安装
　　CentOS 7.x键放以下命令安装NFS服务器：
　　yum -y install nfs*
　　2、配置
　　编辑/etc/exports文件添加需要共享目录，每个目录的设置独占一行，编写格式如下：
　　NFS共享目录路径 客户机IP或者名称(参数1,参数2,...,参数n)
　　例如：
　　

　　
/home *(ro,sync,insecure,no_root_squash)
　　
/data/nginx 192.168.1.*(rw,sync,insecure,no_subtree_check,no_root_squash)
　　

参数  说明　　
ro  只读访问
　　
rw  读写访问
　　
sync    所有数据在请求时写入共享
　　
async   nfs在写入数据前可以响应请求
　　
secure  nfs通过1024以下的安全TCP/IP端口发送
　　
insecure    nfs通过1024以上的端口发送
　　
wdelay  如果多个用户要写入nfs目录，则归组写入（默认）
　　
no_wdelay   如果多个用户要写入nfs目录，则立即写入，当使用async时，无需此设置
　　
hide    在nfs共享目录中不共享其子目录
　　
no_hide 共享nfs目录的子目录
　　
subtree_check   如果共享/usr/bin之类的子目录时，强制nfs检查父目录的权限（默认）
　　
no_subtree_check    不检查父目录权限
　　
all_squash  共享文件的UID和GID映射匿名用户anonymous，适合公用目录
　　
no_all_squash   保留共享文件的UID和GID（默认）
　　
root_squash root用户的所有请求映射成如anonymous用户一样的权限（默认）
　　
no_root_squash  root用户具有根目录的完全管理访问权限
　　
anonuid=xxx 指定nfs服务器/etc/passwd文件中匿名用户的UID
　　
anongid=xxx 指定nfs服务器/etc/passwd文件中匿名用户的GID
　　

　　注1：尽量指定主机名或IP或IP段最小化授权可以访问NFS 挂载的资源的客户端
　　注2：经测试参数insecure必须要加，否则客户端挂载出错mount.nfs: access denied by server while mounting
　　3、启动
　　配置完成后，您可以在终端提示符后运行以下命令来启动 NFS 服务器：
　　systemctl start nfs.service
　　4、客户端挂载
　　CentOS 7, 需要安装 nfs-utils 包
　　yum install nfs-utils
　　使用 mount 命令来挂载其他机器共享的 NFS 目录。可以在终端提示符后输入以下类似的命令：
　　mount nfs_server_ip:/data/nginx  /mnt
　　挂载点/mnt 目录必须已经存在。而且在 /mnt目录中没有文件或子目录。
　　另一个挂载NFS 共享的方式就是在 /etc/fstab 文件中添加一行。该行必须指明 NFS 服务器的主机名、服务器输出的目录名以及挂载 NFS 共享的本机目录。
　　以下是在 /etc/fstab 中的常用语法：
　　nfs_server_ip:/data/nginx  /mnt  nfs  rsize=8192,wsize=8192,timeo=14,intr
　　二、Kubernetes上部署一个应用nginx使用nfs共享存储
　　来到kubernetes主节点上，创建kubernetes部署的yaml文件:nfs-nginx.yaml
　　

　　
##创建namespaces
　　

　　
apiVersion: v1
　　

　　
kind: Namespace
　　

　　
metadata:
　　

　　name: test
　　

　　labels:
　　

　　name: test
　　

　　
##创建nfs-PV
　　

　　
---
　　

　　
apiVersion: v1
　　

　　
kind: PersistentVolume
　　

　　
metadata:
　　

　　name: nfs-pv
　　

　　namespace: test
　　

　　labels:
　　

　　pv: nfs-pv
　　

　　
spec:
　　

　　capacity:
　　

　　storage: 10Gi
　　

　　accessModes:
　　

　　- ReadWriteMany
　　

　　persistentVolumeReclaimPolicy: Retain
　　

　　nfs:
　　

　　path: /data/nginx
　　

　　server: 192.168.22.8
　　

　　
##创建 NFS-pvc
　　

　　
---
　　

　　
kind: PersistentVolumeClaim
　　

　　
apiVersion: v1
　　

　　
metadata:
　　

　　name: nfs-pvc
　　

　　namespace: test
　　

　　
spec:
　　

　　accessModes:
　　

　　- ReadWriteMany
　　

　　resources:
　　

　　requests:
　　

　　storage: 10Gi
　　

　　selector:
　　

　　matchLabels:
　　

　　pv: nfs-pv
　　

　　
## 部署应用Nginx
　　

　　
---
　　

　　
apiVersion: v1
　　

　　
kind: ReplicationController
　　

　　
metadata:
　　

　　name: nginx-test
　　

　　labels:
　　

　　name: nginx-test
　　

　　namespace: test
　　

　　
spec:
　　

　　replicas: 2
　　

　　selector:
　　

　　name: nginx-test
　　

　　template:
　　

　　metadata:
　　

　　labels:
　　

　　name: nginx-test
　　

　　spec:
　　

　　containers:
　　

　　- name: nginx-test
　　

　　image: docker.io/nginx
　　

　　volumeMounts:
　　

　　- mountPath: /usr/share/nginx/html
　　

　　name: nginx-data
　　

　　ports:
　　

　　- containerPort: 80
　　

　　volumes:
　　

　　- name: nginx-data
　　

　　persistentVolumeClaim:
　　

　　claimName: nfs-pvc
　　

　　
##创建Service
　　

　　
---
　　

　　
apiVersion: v1
　　

　　
kind: Service
　　

　　
metadata:
　　

　　name: nginx-test
　　

　　labels:
　　

　　name: nginx-test
　　

　　namespace: test
　　

　　
spec:
　　

　　type: NodePort
　　

　　ports:
　　

　　- port: 80
　　

　　protocol: TCP
　　

　　targetPort: 80
　　

　　name: http
　　

　　nodePort: 20080
　　

　　selector:
　　

　　name: nginx-test
　　

　　

　　
[root@qa-k8s-master-01 ]# kubectl create -f nfs-nginx.yaml
　　

　　
namespace/test created
　　

　　
persistentvolume/nfs-pv created
　　

　　
persistentvolumeclaim/nfs-pvc created
　　

　　
replicationcontroller/nginx-test created
　　

　　
service/nginx-test created
　　

　　
[root@qa-k8s-master-01 ~]# kubectl get pod -n test
　　

　　
NAME               READY     STATUS    RESTARTS   AGE
　　

　　
nginx-test-ssbnr   1/1       Running   0          4m
　　

　　
nginx-test-zl7vk   1/1       Running   0          4m
　　

　　

　　
[root@qa-k8s-master-01 ~]# kubectl get service -n test
　　

　　
NAME         TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
　　

　　
nginx-test   NodePort   10.68.145.112           80:20080/TCP   5m
　　

　　

　　可以看到，nginx应用已经部署成功。
　　nginx应用的数据目录是使用的nfs共享存储，我们在nfs共享的目录里加入index.html文件，然后再访问nginx-service 暴露的端口
　　来到nfs服务器上
　　[root@harbor ~]# echo "Test NFS Share discovery"> /data/nginx/index.html
　　在浏览器上访问kubernetes主节点的ip：20080 就能看到上面的内容
　　end 结束。