CentOS6.6的ClusterHA下的GFS2

fdsdff

GFS有两种缩写，既然是说centos，Google的就不提了。
说的是Redhat 的GFS（Global File System）
其实就是多个机器，共享同一块磁盘，正式应用来说，比如光纤接入，或者iscsi。
在windows下，同时访问同一块磁盘会出问题，第一个接入的磁盘的机器，写入的文件，其它机器看不见。
Linux的GFS系统就是解决这个问题。
目前GFS已经是GFS2了。
它必须运行在集群下，所以先要搞好一个集群的环境。
先做好2台机器，编写好/etc/hosts文件，域名和IP的两台机器的解析都写入进去。

然后开始安装
之前要把所以机器的防火墙关闭
iptables -F
service iptables save
关闭selinux
vim /etc/sysconfig/selinux
把SELINUX这个项目改成disbaled  SELINUX=disabled

为了简化操作，用ricci操控，每台机器上安装ricci
yum -y install ricci
开机运行
chkconfig ricci on
运行
ricci start
给ricci账户配密码为shenxu
echo shenxu | passwd --stdin ricci
关闭NetworkManager
chkconfig NetworkManager off

安装luci在作为控制界面，只安装一台即可
yum -y install luci
开机运行
chkconfig luci on
通过浏览器访问
https：//IP:8084
login:root 密码就是root的
进入界面后点击Manage Clusters点击creat，创建一个新的集群，名字随便这我建立一个叫cluster1214，

Use the Same Password for All Nodes

这个点击上，Node Name就是每台机器的域名，password就是刚才为ricci设置的密码，刚才设的shenxu，然后选择

Download Packages

，用最新的嘛，

Reboot Nodes Before Joining Cluster

和

Enable Shared Storage Support

也选上
然后ricci就开始安装集群的各个组件

cman

，

rgmanager

，

modclusterd

，

clvmd

，安装完了就会把所有节点的机器都重启。
我刚开始一直都起不来，直接去启动cman失败，提示是NetworkManager问题，stop也不行，后来必须chkconfig NetworkManager off才起动起来。
然后我启动了

rgmanager

和

clvmd

，当然查看一下chkconfig --list，看看是否都配置成了自动启动，没有的话手动配置一下。
另外要确认一下cat /etc/lvm/lvm.conf | grep locking_type是不是已经配置成了3，修改fallback_to_local_locking=0，以禁止回写。
看看所有机器的/etc/cluster/cluster.conf 是否已经同步了，正常情况ricci会完成cluster.conf以及 lvm.conf里locking_type的修改，fallback_to_local_locking=0不会改。
没有配置Fence，是个硬件的东西，就是机器失败了给踢出集群去的一个东西，以后再说吧。


下面说一下GFS2文件系统的建立。
我用虚拟机ESXi建立的两个虚拟机，一个硬盘是普通安装系统的，另外一个盘是共享的，追加一个盘，scsi的接口，一定要和第一个盘总线分离，比如第一个是0:0，那么追加的共享盘一定要1:0，然后找到接共享盘的scsi控制器，选scsi的bus共享，可以选虚拟和物理，虚拟的意思是所有要共享的虚拟机都在同一台ESXi上，如果是vcenter控制的多台ESXi，虚拟机分布在多个物理的ESXi上，那么选物理。
在每台机器上fdisk -l看看，是不是都是/dev/sda，或许是sdb，然后在一台机器上
建立物理券
pvcreate /dev/sda
建立名字为gfs2cluster卷组
vgcreate gfs2cluster /dev/sda
看看出来了没
pvs
  PV         VG          Fmt  Attr PSize  PFree
  /dev/sda   gfs2cluster lvm2 a--u  2.00g    0
建立名为gfs2data的逻辑券，并把gfs2cluster卷组加入，分配100%的容量
lvcreate -n gfs2data -l 100%FREE gfs2cluster
查看一下
lvs
  LV       VG          Attr       LSize  Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  gfs2data gfs2cluster -wi-ao----  2.00g
  lv_root  vg_gfs1     -wi-ao---- 13.91g
  lv_swap  vg_gfs1     -wi-ao----  1.60g
查看一下挂载点的名字
ll /dev/mapper/
total 0
crw-rw---- 1 root root 10, 58 Dec 19 23:14 control
lrwxrwxrwx 1 root root      7 Dec 19 23:14 gfs2cluster-gfs2data -> ../dm-2
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_root -> ../dm-0
lrwxrwxrwx 1 root root      7 Dec 19 23:14 vg_gfs1-lv_swap -> ../dm-1
gfs2cluster-gfs2data就是刚做出来的
建立gfs2的文件系统
mkfs.gfs2 -j 2 -p lock_dlm -t cluster1214:gfs2data /dev/mapper/gfs2cluster-gfs2data
-j 2是两个节点， -p lock_dlm是锁定方式，cluster1214是集群的名字，gfs2data是逻辑券，好像这个不这么写也可以，重要的是挂在点不能搞错了/dev/mapper/gfs2cluster-gfs2data
clustat看看集群的情况
做一目录，好挂载
mkdir /mnt/gfs2
写入fstab，自动挂载
echo "/dev/mapper/gfs2cluster-gfs2data /mnt/gfs2 gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab
启动gfs2，挂载
service gfs2 start

然后就到/mnt/gfs2下面做个文件看看，在其它机器上是否也能看见，在其它机器上修改了，这边的机器是否能看见修改过的内容。

halfh2o