kubernetes多节点的pod挂载同一个cephfs目录

云中漫步

　　一、安装cephfs
　　方法一：
　　直接进入deploy目录，执行：
　　

ceph-deploy --overwrite-conf mds create ceph01:mds-daemon-1　　

　　上面的ceph01是机器的hostname
　　方法二：
　　1、在需要安装的目标机器上创建mds目录
　　

mkdir -p /var/lib/ceph/mds/ceph-0　　

　　2、生成mds的keyring，并将其写入/var/lib/ceph/mds/ceph-0/keyring文件中
　　

ceph auth get-or-create mds.0 mon 'allow rwx' osd 'allow *' mds 'allow' -o /var/lib/ceph/mds/ceph-0/keyring　　

　　上面红色部分不能写成allow *，要不然会报错。
　　3、
　　

apt-get install ceph-mds　　ceph-mds  --cluster ceph -i 0 -m 10.111.131.125:6789
　　

　　二，创建cephfs文件系统
　　

ceph osd pool create cephfs_data 512　　ceph osd pool create cephfs_metadata 512
　　ceph fs new cephfs cephfs_metadata cephfs_data
　　

　　三，创建cephfs子目录（不是必选的）
　　为了别的地方能挂载cephfs，先创建一个secretfile
　　

cat /etc/ceph/ceph.client.admin.keyring |grep key|awk -F" " '{print $3}' > /etc/ceph/admin.secret　　

　　挂载cephfs的根目录到集群的mon节点下的一个目录，比如mir2_data，因为挂载后，我们就可以直接在mir2_data下面用Linux命令创建子目录了。
　　（注意：要挂载的机器上要安装ceph客户端：ubuntu上：apt-get install ceph-fs-common或ceph-fuse(apt-get install ceph-fuse)）
　　

mkdir mir2_data　　
mount
-t ceph 10.111.131.125:6789:/ /root/mir2_data -o name=admin,secretfile=/etc/ceph/admin.secret　　

　　如果要挂载的目录在ceph的mon节点下，直接：
　　

mkdir mir2_data　　
mount
-t ceph 10.111.131.125:6789:/ /root/mir2_data　　

　　ceph-fuse挂载方法如下：
　　通过ceph-fuse挂载，还可以限制对挂载路径的访问权限，我们来创建用户cfuse，让其仅仅拥有对/hzb路径具有只读访问权限：
　　

ceph auth get-or-create client.cfuse mon 'allow *' mds 'allow r path=/cfuse' osd 'allow *'　　

　　然后客户端挂载：
　　

ceph-fuse -n client.cfuse -m 10.111.131.125:6789 /mnt -r /cfuse　　

　　方法一：直接用Linux命令创建
　　

cd /root/mir2_data　　
mkdir mongoDB
　　chmod 0777 mongoDB
　　

　　以上相当于在cephfs的根目录里面创建了一个子目录mongoDB，k8s以后就可以挂载这个目录，后续会介绍。
　　方法二：用java程序去创建子目录
　　1）必须在java程序所在客户端安装libcephfs
　　ubuntu下用：
　　

apt-get install libcephfs1　　

　　安装完后，可以在/usr/lib/jni里面看到libcephfs_jni.so，libcephfs_jni.so.1两个文件，但是这样java程序还是可能找不到这两个库（我实测过程中找不到），所以，我要把这2个库建立软链接到/usr/lib里面，这样java程序就可以找到了。
　　

ln -s /usr/lib/jni/libcephfs_jni.so /usr/lib/libcephfs_jni.so　　
ln
-s /usr/lib/jni/libcephfs_jni.so.1 /usr/lib/libcephfs_jni.so.1　　

　　centos7 64位下面：
　　

wget http://mirrors.sohu.com/centos/7/storage/x86_64/ceph-hammer/libcephfs1-0.94.9-0.el7.x86_64.rpm　　
wget http://mirrors.sohu.com/centos/7/storage/x86_64/ceph-hammer/libcephfs_jni1-0.94.9-0.el7.x86_64.rpm &&\
　　
yum install -y libcephfs1-0.94.9-0.el7.x86_64.rpm libcephfs_jni1-0.94.9-0.el7.x86_64.rpm
　　

　　

ln -s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib/libcephfs_jni.so.1　　

　　
ln
-s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib/libcephfs_jni.so　　

　　2）新建maven工程，然后在pom.xml里面加入如下依赖，目录只找到以下版本
　　

        <dependency>　　<groupId>com.ceph</groupId>
　　<artifactId>libcephfs</artifactId>
　　<version>0.80.5</version>
　　</dependency>
　　

　　3）编写程序
　　

package cn.com.chinacloud.paas.mir2.storage.service.impl;　　

　　
import com.ceph.fs.CephMount;
　　

　　
import java.io.FileNotFoundException;
　　

　　
import
static com.ceph.fs.CephMount.O_RDWR;　　

　　

/**　　* Created by root on 17-7-17.
*/
　　
public>　　public static void main(String[] args){
　　testCreateMount();
　　}
　　

　　public static void testCreateMount(){
　　//admin是ceph的admin用户　
　　CephMount mount = new CephMount("admin");
　　//10.111.131.125是ceph集群的mon节点，有多少个写多少个
　　mount.conf_set("mon_host", "10.111.131.125");
　　//以下的key来自于ceph环境的/etc/ceph/ceph.client.admin.keyring里面的key
　　mount.conf_set("key","AQBngfhYpHvLKhAAtmVZTyR3NJxx1WOVeLo5pQ==");
　　//在创建目录之前必须先mount到根目录
　　mount.mount("/");
　　//在根目录下面创建子目录　mysqlDB,0777是对目录的权限控制，这个可以改成别的，不过最好要让目录具有读写权限
　　mount.mkdir("/mongoDB",0777);
　　//创建完后断掉mount
　　
        mount.unmount();
　　}
　　
}
　　

　　四，用k8s的pod挂载cephfs
　　1)创建k8s连接ceph使用的secret
　　将/etc/ceph/ceph.client.admin.keyring里面的key的值转换为base64，实测，不转的话，pod启动的时候看到secret会是乱码
　　

root@ceph01:~/mir2_data/mysqlDB# echo "AQBngfhYpHvLKhAAtmVZTyR3NJxx1WOVeLo5pQ=="|base64　　
QVFCbmdmaFlwSHZMS2hBQXRtVlpUeVIzTkp4eDFXT1ZlTG81cFE9PQo
=　　

　　创建ceph-secret.yaml
　　

apiVersion: v1　　
kind: Secret
　　
metadata:
　　name: ceph
-secret　　
data:
　　key: QVFCbmdmaFlwSHZMS2hBQXRtVlpUeVIzTkp4eDFXT1ZlTG81cFE9PQo
=　　

　　在k8s执行：kubectl create -f ceph-secret.yaml。
　　2)创建twotest-pv.yaml
　　

apiVersion: v1　　
kind: PersistentVolume
　　
metadata:
　　name: twotest
-pv　　
spec:
　　capacity:
　　storage: 1Gi
　　accessModes:
- ReadWriteMany　　cephfs:
　　monitors:
- 10.111.131.125:6789　　path:
/mongoDB　　user: admin
　　readOnly:
false　　secretRef:
　　name: ceph
-secret　　persistentVolumeReclaimPolicy: Recycle
　　

　　在k8s执行：kubectl create -f twotest-pv.yaml。然后用kubectl get pv如看到status为Available则pv创建成功，可以继续下一步。
　　3)创建twotest-pvc.yaml
　　

kind: PersistentVolumeClaim　　
apiVersion: v1
　　
metadata:
　　name: twotest
-pvc　　
spec:
　　accessModes:
- ReadWriteMany　　volumeName: twotest
-pv　　resources:
　　requests:
　　storage: 1Gi
　　

　　在k8s执行：kubectl create -f twotest-pvc.yaml。然后用kubectl get pvc如看到status由Pending转到Bound的时候则pvc创建成功
　　4)创建第一个pod，hzb-mongo1-ceph.yaml
　　将该pod的/data/configdb目录挂载到cephfs的/mongoDB
　　

apiVersion: v1　　
kind: Pod
　　
metadata:
　　name: hzb
-mongo1-ceph　　
spec:
　　containers:
- name: hzb-mongo1-c　　image:
172.16.71.199/common/mongo:3.0.9　　imagePullPolicy: IfNotPresent
　　env:
- name: PATH　　value:
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin- name: GOSU_VERSION　　value:
"1.7"　　- name: MONGO_MAJOR
　　value: "3.0"
　　- name: MONGO_VERSION
　　value: 3.0.9
　　volumeMounts:
　　- name: twotest-vl
　　mountPath: /data/configdb
　　readOnly: false
　　volumes:
　　- name: twotest-vl
　　persistentVolumeClaim:
　　claimName: twotest-pvc
　　

　　在k8s执行：kubectl create -f hzb-mongo1-ceph.yaml
　　5)创建第二个pod，hzb-mongo2-ceph.yaml
　　将该pod的/data/db目录挂载到cephfs的/mongoDB
　　

apiVersion: v1　　
kind: Pod
　　
metadata:
　　name: hzb
-mongo2-ceph　　
spec:
　　containers:
- name: hzb-mongo2-c　　image:
172.16.71.199/common/mongo:3.0.9　　imagePullPolicy: IfNotPresent
　　env:
- name: PATH　　value:
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin- name: GOSU_VERSION　　value:
"1.7"　　- name: MONGO_MAJOR
　　value: "3.0"
　　- name: MONGO_VERSION
　　value: 3.0.9
　　volumeMounts:
　　- name: twotest-vl2
　　mountPath: /data/db
　　readOnly: false
　　volumes:
　　- name: twotest-vl2
　　persistentVolumeClaim:
　　claimName: twotest-pvc
　　

　　在k8s执行：kubectl create -f hzb-mongo2-ceph.yaml
　　6）验证是否挂载成功
　　执行kubectl get pod
　　

[iyunv@dev-master hzb]# kubectl get pod　　
NAME              READY     STATUS    RESTARTS   AGE
　　
hzb
-mongo1-ceph   1/1       Running   0          1m　　
hzb
-mongo2-ceph   1/1       Running   0          1m　　

　　发现两个都起来了
　　执行 kubectl exec -it hzb-mongo1-ceph bash，进入容器内部
　　

cd /data/configdb/　　
touch
001.txt　　

　　执行 kubectl exec -it hzb-mongo2-ceph bash，进入容器内部
　　

cd /data/db/　　
touch 002.txt
　　

　　然后我们到cephfs里面去看
　　

root@ceph01:~# cd /root/mir2_data/mongonDB/　　
root@ceph01:
~/mir2_data/mongonDB# ll　　
总用量
81921　　
drwxr
-xr-x 1  999 root        8 7月  20 17:32 ./　　
drwxr
-xr-x 1  999  999       12 7月  21 09:03 ../　　
-rw-r--r-- 1 root root        0 7月  20 17:32 001.txt
　　
-rw-r--r-- 1 root root        0 7月  20 17:32 002.txt
　　
drwxr-xr-x 1  999  999        0 7月  21 08:52 journal/
　　
-rw------- 1  999  999 67108864 7月  20 17:30 local.0
　　
-rw------- 1  999  999 16777216 7月  20 17:30 local.ns
　　
-rw-r--r-- 1  999  999        0 7月  21 08:52 mongod.lock
　　
-rw-r--r-- 1  999  999       69 7月  20 17:30 storage.bson
　　
drwxr-xr-x 1  999  999        0 7月  20 17:30 _tmp/
　　
root@ceph01:~/mir2_data/mongonDB#
　　

　　发现数据已经挂载到mongoDB这个目录里面了。
　　注意：pv和pvc设置的容量大小并不能限制cephfs某一个目录的大小，也就是说容器可以向cephfs目录写入超出1G的文件。
　　除了用pv和pvc挂载，pod也可以直接挂载cephfs,例如：
　　

apiVersion: v1　　
kind: Pod
　　
metadata:
　　name: cephfs2
　　
spec:
　　containers:
- name: cephfs-rw　　image:
172.16.71.199/common/mongo:3.0.9　　volumeMounts:
- mountPath: "/data/configdb"　　name: cephfs
　　volumes:
- name: cephfs　　cephfs:
　　monitors:
- 10.16.154.78:6789　　- 10.16.154.82:6789
　　- 10.16.154.83:6789
　　user: admin
　　secretRef:
　　name: ceph-secret
　　readOnly: true