gfs2+cman+rgmanager+iscsi实现文件集群
主机名 ip 角色SMB2 172.31.200.66 samba服务器1SMB2 172.31.200.67 samba 服务器2SAN 172.31.88.61 SAN存储分区由于SAN是测试环境中划分出来的SAN,所以在此次测试中不需要安装配置以下是对SMB1、SMB2两台samba文件服务器进行配置SMB1上配置在客户机安装initiatoryum install iscsi-initiator-utils 建立集群中的主机互信SMB1上ssh-keygen –t rsa –P “”ssh-copy-id-i .ssh/id_rsa.pub root@SMB2 安装cmanyum install cman 建立集群：ccs_tool create SMBclusterccs_tool addfence meatware fence_manual ccs_tool addnode-n 1 -f meatware SMB1ccs_tool addnode-n 2 -f meatware SMB2将/etc/cluster/cluster.conf 复制到SMB2/etc/cluster/cluster.conf修改/etc/init.d/cman 第89行将CMAN_QUORUM_TIMEOUT=45改为 CMAN_QUORUM_TIMEOUT=0否则无法正常启动如果安装了NetworkManager 需要将NetworkManager 停止和开机禁用service NetworkManager stopchkconfig NetworkManager off 安装rgmanageryum install rgmanager sercice rgmanager startyum install openais安装gfs2，使系统支持gfs2文件系统yum install gfs2yum install lvm2-cluster配置lvm支持集群lvmconf –enable-cluster查看启用的集群lvmcat /etc/lvm/lvm.conf 第462行 locking_type = 3启动service clvmd start按顺序启动以下服务并设置为开机启动service cman startchkconfig cman onservice clvmd startchkconfig clvmd startservice gfs2 startchkconfig gfs2 startservice rgmanager startchgkconfig rgmanager start 格式化gfs2mkfs.gfs2 –p lock_dlm –t clustername:fsname –j number blockdevice【停止集群的顺序】 首先在集群节点服务器上卸载挂载的gfs2共享存储umount /mnt/SMBdata第一步：SMB1：service rgmanager stopSMB2:service rgmanager stop第二步：SMB1:service clvmd stopSMB2:service clvmd stop第三步:SMB1:service cman stopSMB2:service cman stop 必须按以上步骤停止集群，否则会造成无法正常关机和重启 以上步骤除了ccs_too 建立集群部分不需要再SMB2上进行操作，其他所有操作需要在SMB2做相同操作 挂载SAN存储 客户端安装yum install iscsi-initiator-utils 查找：可用存储iscsiadm -m discovery -t sendtargets -p 172.31.88.61修改iscsi配置文件，采用CHAP认证vim /etc/iscsi/iscsid.conf找到#CHAP Settings去掉以下三行的注释node.session.auth.authmethod = CHAP node.session.auth.username = usernamenode.session.auth.password = password 重启iscsi服务登陆连接共享存储iscsiadm -m node -T iqn.2000-01.com.synology:rackstation.target-1.d1cd51f58a -p 172.31.88.61 --login lvm集群卷管理lvcreate –L 40G –n lv_smbhome vg_SMBlvcremove /dev/vg_SMB/lv_home 共享目录权限问题在此实验中由于两台服务负载提供相同服务，就涉及到共享文件权限问题所以需要两台计算机上passwd、group、shadow三个文件完全一样，否则在使用chown、setfacl权限时，会发生混乱，由于这两个命令是通过改变uid和gid来变更文件权限，所以即使两台服务器上的用户和组都存在，但是uid和gid可能不一样，就会造成在一台服务器上修改共享存储文件权限，可在另一台上看到的不一样 在一个节点上可以通过以下方式启动某个节点的应用服务clusvcadm –e-m 关闭某个应用服务clusvcadm –s-m 重启某个服务clusvcadm –R-m 切换某个服务到另一个节点clusvcadm –r-m 例如：clusvcadm –r-m # clusvcadm –r smb -m SMB2//将smb服务切换到smb2上
【监控RHCS集群状态】cman_tool nodes –a clustat –I -3 查看集群状态没3秒刷新一次gfs2_tool gettune /mnt/SMBdata 查看挂载目录的属性new_files_jdata = 0//设置是否立即同步到磁盘，一般设置为1gfs2_tool settune /mnt/SMBdata new_files_jdata 1
【集群扩展】如果要添加新的节点至集群先查看日志文件gfs2_tool journals /mnt/SMBdatajournal1 - 128MBjournal0 - 128MB可以看到，默认的只有两个下面需要新增一个节点SMB3gfs2_jadd –j 1 /dev/vg_SMB/lv_SMB利用3进行挂载，当然这里的3也必须在gfs2文件集群中 扩展集群逻辑卷（保证物理卷上有足够内存）lvextend –L 60G /dev/vg_SMB/lv_SMB用Lvs查看可以看到已经扩展到60G了 umount强制卸载fuser –cu /mnt/SMBdata
页:
[1]