VMware下CentOS6.8配置GFS文件系统

xinjiang

1.GFS介绍
　　GFS简要说明，它有两种：
　　1. Google文件系统：GFS是GOOGLE实现的是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。欲了解更多，可以访问：http://baike.baidu.com/item/GFS/1813072
　　2. Redhat 的GFS（Global File System）
　　GFS（Global File System）自己以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备，每一台机器都可以将网络共享磁盘看作是本地磁盘，如果某台机器对 某个文件执行了写操作，则后来访问此文件的机器就会读到写以后的结果。可以根据对性能或是可扩展性，或者以经济性多个原则进行不同方案的部署。
　　GFS 主要组件，集群卷管理，锁管理，集群管理，围栏和恢复，集群配置管理。
　　本文主要介绍Redhat的GFS系统。
　　REDHAT CLUSTER SUITEWITH GFS:
　　RHCS（REDHAT CLUSTER SUITE）是一款能够提供高性能、高可靠性、负载均衡、高可用性的集群工具集,一个集群通常有两个或两个以上的计算机（称为“节点”或”成员“）共同执行一个任务。
　　RHCS主要组件：

• 集群架构:
  

　　提供一个基本功能使节点作为集群工作在一起：配置文件管理，成员关系管理，锁管理和栅设备。

• 高可用性管理：
  

　　提供节点失败转移服务，当一个节点失败后将服务转移到另一个节点上。

• 集群管理工具：
  

　　通过配置和管理工具来配置和管理Red Hat集群。

• Linux Virtual Server (LVS)
  

　　LVS提供一个基于IP的负载均衡功能，通过LVS可以将客户请求均匀的分配到集群节点上。
　　其它Red Hat集群组件：

• Cluster Logical Volume Manager (CLVM)
  

　　提供逻辑卷管理集群存储。

• 集群管理器：
  

　　CMAN是一个分布式集群管理器（DLM），它运行在每一个集群节点上，CMAN通过监视集群节点提供一个法定节点数（quorum），当集群 中有多于一半的节点处于活跃状态时,此时符合法定节点数，集群继续可用，当只有有一半或少于一半的节点处于活跃状态是则已达到不到法定节点数，此时整个集 群变得不可用。CMAN通过监控集群中节点来确定各节点的成员关系，当集群中的成员关系发生改变，CMAN会通架构中其它组件来进行相应的调整。

• DLM锁管理：
  

　　分布式锁管理器，它运行在所有的集群节点上，锁管理是一个公共的基础结构，为集群提供一种共享集群资源的管理机制，GFS通过锁管理器使用锁机制来同步访问文件系统元数据，CLVM通过锁管理器来同步更新数据到LVM卷和卷组。

• 数据的完整保证：
  

　　RHCS 通过 Fence设备从共享存储切断失效节点的I/O以保证数据的完整性。当CMAN确定一个节点失败后，它在集群结构中通告这个失败的节点（组播），fenced进程会将失败的节点隔离，以保证失败节点不破坏共享数据。
　　REDHAT集群配置系统：
　　集群配置文件：(/etc/cluster/cluster.conf) 是一个XML文件，用来描述下面的集群特性。
　　集群名称:列出集群名称、集群配置文件版本和一个隔离时间，隔离相应时间当一个新节点加入或从集群中隔离时。
　　集群:列出集群中的每一个节点，指定节点名称，节点ID，法定投票数，和栅模式。
　　fence设备:定义fence设备。
　　管理资源:定义创建集群服务需要的资源。管理资源包括失败转移域，资源和服务。
2.GFS搭建
　　设置环境如下，两节点操作共享文件：

• 192.168.10.11 test01
  
• 192.168.10.12 test02
  
• OS：CentOS6.8 64位
  
• VMware共享磁盘一块
  

　　以下操作如非特别注明，则需要在所有的节点上执行。
2.1配置网络
　　编辑hosts文件，使两节点间可通过主机名访问：

# more /etc/hosts
127.0.0.1   localhost localhost.localdomain
::1         localhost localhost.localdomain
192.168.10.11 test01
192.168.10.12 test02

2.2安装集群文件系统相关的软件包
　　使用yum安装软件包：

# yum install cman openais gfs* kmod-gfs lvm2* rgmanager system-config-cluster scsi-target-utils cluster-snmp

　　上述软件包有众多的依赖包会被安装或更新，为避免出现意外情况，建议软件包安装后重启。
2.3配置iptables
　　允许test01和test02相互通信
　　test01配置文件/etc/sysconfig/iptables添加：

-A INPUT -s 192.168.10.12 -j ACCEPT

　　test02配置文件/etc/sysconfig/iptables添加：

-A INPUT -s 192.168.10.11 -j ACCEPT

2.4修改相关配置
　　修改/etc/sysconfig/selinux中selinux=disabled
　　修改lvm逻辑卷配置：
　　# vi /etc/lvm/lvm.conf
　　将locking_type = 1，改为locking_type = 3，允启用同时读写。
　　修改fallback_to_local_locking=0，以禁止回写，避免导致裂脑。
2.5生成集群配置文件

[root@test02 ~]# ccs_tool create GFSmail
[root@test02 ~]# ccs_tool addfence meatware fence_manual
[root@test02 ~]# ccs_tool lsfence
Name             Agent
meatware         fence_manual
[root@test02 ~]# ccs_tool addnode -n 11 -f meatware test01
[root@test02 ~]# ccs_tool addnode -n 12 -f meatware test02
[root@test02 ~]# ccs_tool lsnode
Cluster name: GFSmail, config_version: 4
Nodename                        Votes Nodeid Fencetype
test01                      1   11    meatware
test02                      1   12    meatware
[root@test02 ~]#
[root@test02 ~]# rsync -avz /etc/cluster/cluster.conf root@test01
sending incremental file list
cluster.conf
sent 307 bytes  received 31 bytes  676.00 bytes/sec
total size is 557  speedup is 1.65
[root@test02 ~]#


[root@test02 data]# cat /etc/cluster/cluster.conf
<?xml version="1.0"?>
<cluster name="GFSmail" config_version="4">
<clusternodes>
<clusternode name="test01" votes="1" nodeid="11"><fence><method name="single"><device name="meatware"/></method></fence></clusternode><clusternode name="test02" votes="1" nodeid="12"><fence><method name="single"><device name="meatware"/></method></fence></clusternode></clusternodes>
<fencedevices>
<fencedevice name="meatware" agent="fence_manual"/></fencedevices>
<rm>
<failoverdomains/>
<resources/>
</rm>
</cluster>

　　而后可以执行ccs_config_validate命令检查配置文件是否合法。
2.6创建集群存储
　　先手动启动cman和clvmd命令，以便监控集群卷的中存储设备的状态：

# service cman start
# service clvmd start
# service rgmanager start

　　以下操作在节点1端执行：
　　创建物理卷和卷组和逻辑卷：

[root@test01 ~]# pvcreate /dev/sdb
Physical volume "/dev/sdb" successfully created
[root@test01 ~]# vgcreate mailcluster /dev/sdb
Clustered volume group "mailcluster" successfully created
[root@test01 ~]# pvs
PV         VG          Fmt  Attr PSize   PFree
/dev/sda2  vg_mail     lvm2 a--u 199.41g    0
/dev/sdb   mailcluster lvm2 a--u   4.00t 4.00t
[root@test01 ~]# lvcreate -n maildata -l 100%FREE mailcluster
Logical volume "maildata" created.
[root@test01 ~]# lvs
LV       VG          Attr       LSize   Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
maildata mailcluster -wi-a-----   4.00t
home     vg_mail     -wi-ao----  80.00g
root     vg_mail     -wi-ao---- 115.41g
swap     vg_mail     -wi-ao----   4.00g
[root@test01 ~]#

2.7在新建的逻辑卷上创建gfs2文件系统：

[root@test01 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t GFSmail:maildata /dev/mapper/mailcluster-maildata
This will destroy any data on /dev/mapper/mailcluster-maildata.
It appears to contain: symbolic link to `../dm-3'

Are you sure you want to proceed? [y/n] y
Device:                    /dev/mapper/mailcluster-maildata
Blocksize:                 4096
Device Size                4096.00 GB (1073740800 blocks)
Filesystem Size:           4096.00 GB (1073740798 blocks)
Journals:                  2
Resource Groups:           8192
Locking Protocol:          "lock_dlm"
Lock Table:                "GFSmail:maildata"
UUID:                      50e12acf-6fb0-6881-3064-856c383b51dd
[root@test01 ~]#

　　对于mkfs.gfs2命令来说，我们所使用的参数功能如下：
　　-p：用来指定gfs的锁机制，一般情况下会选择lock_dlm；
　　-j：指定journal个数(可加入节点数)，一般情况下应留有冗余，否则后期还得再调整；
　　查看journals：# gfs2_tool journals /home/coremail/var
　　增加journals：# gfs2_jadd -j 1 /home/coremail/var ##增加一个journals
　　-t：格式为ClusterName:FS_Path_Name
　　ClusterName：应与前面cluster.conf中指定的集群名称相同（上文为：GFSmail）；
　　FS_Path_Name：这个块设备mount的路径（上文为：maildata）；
　　最后一个参数是指定逻辑卷的详细路径；
2.8GFS挂载
　　创建目录：

[root@test01 ~]# mkdir /home/coremail/var

　　将刚刚创建的逻辑卷加入到/etc/fstab文件中，使其开机自动映射：

[root@test01 ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab

　　启动gfs2服务：

[root@test01 ~]# /etc/init.d/gfs2 start

　　节点2端执行：
　　操作前可以先执行pvs,lvs命令，看看是否能够正常显示节点1端创建的物理卷和逻辑卷信息，如果看不到(先尝试lvscan)，则说明并未使用共享存储，或者配置有异常，仍然需要排查，需要等问题解决后，再执行下列的命令。

[root@test02 ~]# mkdir /home/coremail/var
[root@test02 ~]# echo "/dev/mapper/mailcluster-maildata  /home/coremail/var            gfs2    defaults,noatime,nodiratime,noquota        0 0" >> /etc/fstab
[root@test02 ~]# /etc/init.d/gfs2 start

　　执行# clustat可以查询各成员节点的状态。

[root@test02 ~]# clustat
Cluster Status for GFSmail @ Thu Nov  3 23:17:24 2016
Member Status: Quorate
Member Name                                       ID   Status
------ ----                                       ---- ------
test01                                         11 Online
test02                                         12 Online, Local
[root@test02 ~]#

2.9在所有节点操作，配置服务的自动启动，这样就不必担心服务器重启了：

# chkconfig --add cman
# chkconfig --add clvmd
# chkconfig --add gfs2
# chkconfig --add rgmanager
# chkconfig --level 345 cman on
# chkconfig --level 345 clvmd on
# chkconfig --level 345 gfs2 on
# chkconfig --level 345 rgmanager on

　　参考资料：https://access.redhat.com/documentation/zh-CN/Red_Hat_Enterprise_Linux/6/html/Global_File_System_2/ch-overview-GFS2.html