CentOS6.6的ClusterHA下的GFS2

pangxia75

　　GFS有两种缩写，既然是说centos，Google的就不提了。
　　说的是Redhat 的GFS（Global File System）
　　其实就是多个机器，共享同一块磁盘，正式应用来说，比如光纤接入，或者iscsi。
　　在windows下，同时访问同一块磁盘会出问题，第一个接入的磁盘的机器，写入的文件，其它机器看不见。
　　Linux的GFS系统就是解决这个问题。
　　目前GFS已经是GFS2了。
　　它必须运行在集群下，所以先要搞好一个集群的环境。
　　先做好2台机器，编写好/etc/hosts文件，域名和IP的两台机器的解析都写入进去。
　　

　　然后开始安装
　　之前要把所以机器的防火墙关闭
　　iptables -F
　　service iptables save
　　关闭selinux
　　vim /etc/sysconfig/selinux
　　把SELINUX这个项目改成disbaled  SELINUX=disabled
　　

　　为了简化操作，用ricci操控，每台机器上安装ricci
　　yum -y install ricci
　　开机运行
　　chkconfig ricci on
　　运行
　　ricci start
　　给ricci账户配密码为shenxu
　　echo shenxu | passwd --stdin ricci
　　关闭NetworkManager
　　chkconfig NetworkManager off
　　

　　安装luci在作为控制界面，只安装一台即可
　　yum -y install luci
　　开机运行
　　chkconfig luci on
　　通过浏览器访问
　　https：//IP:8084
　　login:root 密码就是root的
　　进入界面后点击Manage Clusters点击creat，创建一个新的集群，名字随便这我建立一个叫cluster1214，

Use the Same Password for All Nodes

这个点击上，Node Name就是每台机器的域名，password就是刚才为ricci设置的密码，刚才设的shenxu，然后选择

Download Packages

，用最新的嘛，
　　

Reboot Nodes Before Joining Cluster

和

Enable Shared Storage Support

也选上
　　然后ricci就开始安装集群的各个组件

cman

，

rgmanager

，

modclusterd

，

clvmd

，安装完了就会把所有节点的机器都重启。
　　我刚开始一直都起不来，直接去启动cman失败，提示是NetworkManager问题，stop也不行，后来必须chkconfig NetworkManager off才起动起来。
　　然后我启动了

rgmanager

和

clvmd

，当然查看一下chkconfig --list，看看是否都配置成了自动启动，没有的话手动配置一下。
　　另外要确认一下cat /etc/lvm/lvm.conf | grep locking_type是不是已经配置成了3，修改fallback_to_local_locking=0，以禁止回写。
　　看看所有机器的/etc/cluster/cluster.conf 是否已经同步了，正常情况ricci会完成cluster.conf以及 lvm.conf里locking_type的修改，fallback_to_local_locking=0不会改。
　　没有配置Fence，是个硬件的东西，就是机器失败了给踢出集群去的一个东西，以后再说吧。
　　

　　

　　下面说一下GFS2文件系统的建立。
　　我用虚拟机ESXi建立的两个虚拟机，一个硬盘是普通安装系统的，另外一个盘是共享的，追加一个盘，scsi的接口，一定要和第一个盘总线分离，比如第一个是0:0，那么追加的共享盘一定要1:0，然后找到接共享盘的scsi控制器，选scsi的bus共享，可以选虚拟和物理，虚拟的意思是所有要共享的虚拟机都在同一台ESXi上，如果是vcenter控制的多台ESXi，虚拟机分布在多个物理的ESXi上，那么选物理。
　　在每台机器上fdisk -l看看，是不是都是/dev/sda，或许是sdb，然后在一台机器上
　　建立物理券
　　pvcreate /dev/sda
　　建立名字为gfs2cluster卷组
　　vgcreate gfs2cluster /dev/sda
　　看看出来了没
　　pvs
　　PV         VG          Fmt  Attr PSize  PFree
  /dev/sda   gfs2cluster lvm2 a--u  2.00g    0
　　建立名为gfs2data的逻辑券，并把gfs2cluster卷组加入，分配100%的容量
　　lvcreate -n gfs2data -l 100%FREE gfs2cluster
　　查看一下
　　lvs
　　LV       VG          Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  gfs2data gfs2cluster -wi-ao----  2.00g
  lv_root  vg_gfs1     -wi-ao---- 13.91g
  lv_swap  vg_gfs1     -wi-ao----  1.60g
　　查看一下挂载点的名字
　　ll /dev/mapper/
　　total 0
crw-rw---- 1 root root 10, 58 Dec 19 23:14 control
lrwxrwxrwx 1 root root      7 Dec 19 23:14 gfs2cluster-gfs2data -> ../dm-2
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_root -> ../dm-0
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_swap -> ../dm-1
　　gfs2cluster-gfs2data就是刚做出来的
　　建立gfs2的文件系统
　　mkfs.gfs2 -j 2 -p lock_dlm -t cluster1214:gfs2data /dev/mapper/gfs2cluster-gfs2data
　　-j 2是两个节点， -p lock_dlm是锁定方式，cluster1214是集群的名字，gfs2data是逻辑券，好像这个不这么写也可以，重要的是挂在点不能搞错了/dev/mapper/gfs2cluster-gfs2data
　　clustat看看集群的情况
　　做一目录，好挂载
　　mkdir /mnt/gfs2
　　写入fstab，自动挂载
　　echo "/dev/mapper/gfs2cluster-gfs2data /mnt/gfs2 gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab
　　启动gfs2，挂载
　　service gfs2 start
　　

　　然后就到/mnt/gfs2下面做个文件看看，在其它机器上是否也能看见，在其它机器上修改了，这边的机器是否能看见修改过的内容。