linux高可用性文件服务器群集之DRBD+NFS+Heartbeat

loyalxuan

　　一，搭建实验环境
Vmware8.0.11
node1.liuwei.com： eth0：192.168.101.100   host-only
  添加 sdb1 1G 心跳线: eth1：192.168.2.1       VMnet2
node2.liuwei.com:  eth0: 192.168.101.200   host-only
  添加 sdb1 1G 心跳线：eth1:192.168.2.2        VMnet2
Heartbeat虚拟IP： 192.168.101.254
在 /root 有    drbd83-8.3.8-1.el5.centos.i386.rpm
               kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
二， 设置两台服务器的网卡信息、hosts、主机名，时钟同步及sdb硬盘初始化并使相互ping通
1.setup

2.vim /etc/hosts
127.0.0.1       localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.101.100 node1.liuwei.com
192.168.101.200 node2.liuwei.com

3.vim /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=node1.liuwei.com
4.service network restart
5. hwclock -s
6.fdisk  /dev/sdb
n  p   1 +1000M  w
7. partprobe /dev/sdb

　　三.配置DRBD
　　1.cd  /root
　　rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
　　rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
2. cd /etc/drbd.d/
3. vim global_common.conf

　　global {
　　usage-count yes;
　　# minor-count dialog-refresh disable-ip-verification
　　}
　　common {
　　protocol C;
　　startup {
　　wfc-timeout 120;
　　degr-wfc-timeout 120;
　　}
　　disk {
　　on-io-error  detach;
　　fencing     resource-only; }
　　net {
　　cram-hmac-alg "sha1";
　　shared-secret "liuwei";
　　}
　　syncer {
　　rate 100M;
　　}
　　}
　　4.  vim web.res
　　resource web {
　　on node1.liuwei.com {
　　device    /dev/drbd0;
　　disk     /dev/sdb1;
　　address 192.168.101.100:7789;
　　meta-disk   internal;
　　}
　　on node2.liuwei.com {
　　device    /dev/drbd0;
　　disk     /dev/sdb1;
　　address 192.168.101.200:7789;
　　meta-disk   internal; }
　　}
　　5.   vim /etc/drbd.conf
　　include "drbd.d/global_common.conf";
　　include "drbd.d/*.res";
　　6. drbdadm  create-md web
　　7. service drbd start
8. mkfs -t ext3  -L drbdweb  /dev/drbd0
9.mkdir /nfs
10.mount /dev/drbd0  /nfs
11.umount /nfs
12.drbdadm  secondary  web
13.drbdadm  role web
14.在 node2
drbdadm   primary web 可切换



二、 设置NFS及相关资源
启动portmap和nfs服务，并设置开机启动，
#service portmap start
#service nfs start
#chkconfig --level 345 portmap on
#chkconfig --level 345 nfs on
在node1上格式化drbd0设备，并挂载在/nfs目录
[root@node1 ~]# mkdir /nfs
现在可以把node1上的DRBD设备挂载到/nfs目录上进行使用。备机的DRBD设备无法被挂载，因为它是用来接收主机数据的，由DRBD负责操作。
[root@node1 ~]# mount /dev/drbd0 /nfs
在/etc/exports 上将/nfs目录共享出去，并reload
[root@node1 ~]exportfs –r
如果不使用heartbeat的情况下，DRBD只能手工切换主从关系
现在修改heartbeat的配置文件，使DRBD可以通过heartbeat自动切换
[root@node1 ~]# vim /etc/ha.d/haresources
node1 192.168.101.254 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
注释：上面那行
node1 定义node1为heartbeat的主机
192.168.101.254 定义对外服务的IP地址，这个IP自动在主从机之间切换
drbddisk::drbdtest 定义使用的drbd资源
Filesystem::/dev/drbd0::/nfs::ext3 定义挂载文件系统
drbd portmap nfs 定义其他需要切换的服务（用空格隔开）
三、 安装并配置heartbeat
1、 先创建heartbeat需要的用户
groupadd haclient
useradd hacluster -g haclient
2、安装heartbeat前，需要先安装libnet包。
tar zxvf heartbeat-2.1.3.tar.gz
rpm –ivh libnet-1.1.2.1-2.2.el5.rf.i386.rpm
cd heartbeat-2.0.7
./configure
make
make install
两台机器都要安装，操作一样。
3、查找下ha.cf等三个配置文件的位置,然后将他们拷贝到/usr/local/etc/ha.d/目录中
[root@node1 heartbeat-2.0.7]# find / -name ha.cf
/usr/local/share/doc/heartbeat-2.0.7/ha.cf
/root/heartbeat-2.0.7/doc/ha.cf
[root@node1 heartbeat-2.0.7]#cp /usr/local/share/doc/heartbeat-2.0.7/ha.cf /usr/local/etc/ha.d/ha.cf
[root@server1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/haresources /usr/local/etc/ha.d/haresources
[root@node1 heartbeat-2.0.7]# cp /usr/local/share/doc/heartbeat-2.0.7/authkeys /usr/local/etc/ha.d/authkeys
4、修改配置文件如下：
1）ha.cf配置内容：
------------------------------------------------------------------------------------------------------------
logfile /var/log/ha-log
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
bcast eth1
ucast eth1 192.168.2.1 。
auto_failback on
node node1
node node2
ping_group group1 192.168.101.254
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster
------------------------------------------------------------------------------------------------------------------
2）haresources配置内容;
node1 192.168.101.100 drbddisk::drbdtest Filesystem::/dev/drbd0::/nfs::ext3 drbd portmap nfs
3)authkeys的配置内容：
auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!
node1和node2的配置是一样的，除了在node2的ha.cf中将ucast的IP修改为192.168.2.2。
设置haresources文件的权限为600。
启动heartbeat ，却发现错误，原因在于我们的配置文件里的ipfail文件位置不对，我们可以寻找下。
[root@node2 ha.d]# cd /usr/lib/
[root@node2 ha.d]# find / -name ipfail
/usr/local/lib/heartbeat/ipfail
/root/heartbeat-2.0.7/contrib/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/ipfail
/root/heartbeat-2.0.7/contrib/ipfail/.libs/ipfail
我们将ha.cf的配置内容修改为/usr/local/lib/heartbeat/ipfail
此时启动heartbeat服务，发现过了一会，我们的虚拟IP 就ping不通了，查看日志
发现时drbddisk的资源找不到，我们将drbddisk拷贝一份到/usr/local/etc/ha.d/resource.d,
[root@node2 ~]# cp /etc/ha.d/resource.d/drbddisk /usr/local/etc/ha.d/resource.d/drbddisk
分别在node1和node2上执行。
然后再次启动heartbeat，此时就没问题了。
确定heartbeat和DRBD开机自启动
确定需要由heartbeat切换的服务，开机不自启动（由heartbeat来启用相关的服务）
四、测试