Heartbeat+DRBD+NFS综合应用

蒦嗳伱

一、简介
　　Heartbeat
　　请参考博客 Heartbeat高可用性和LVS的综合应用 ：http://caoruijun.blog.运维网.com/5544226/1021330
　　DRBD
　　Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、
　　服务器之间镜像块设备内容的存储复制解决方案。
　　数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成
　　功后返回）。
　　DRBD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添
　　加上层的功能比如检测到EXT3文件系统的崩溃。
　　DRBD的位置处于文件系统以下，比文件系统更加靠近操作系统内核及IO栈。
　　DRBD功能
　　单主模式：典型的高可靠性集群方案。
　　复主模式：需要采用共享cluster文件系统，如GFS和OCFS2。用于需要从2个节
　　点并发访问数据的场合，需要特别配置。
　　复制模式：3种模式：
　　协议A：异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。
　　协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返
　　回，如果双机掉电，数据可能丢失。
　　协议C：同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时
　　损坏，则数据可能丢失。
　　一般用协议C。选择协议将影响流量，从而影响网络时延。
　　NFS
　　请参考博客 NFS简介及自动挂载配置案例 ：http://caoruijun.blog.运维网.com/5544226/998848
二、案例
　　拓扑：

　　配置：
　　Heartbeat：
　　node1：
　　配置地址信息结果：
　　[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:3C:C1:80
inet addr:192.168.145.99 Bcast:192.168.145.255 Mask:255.255.255.0
　　eth1 Link encap:Ethernet HWaddr 00:0C:29:3C:C1:8A
inet addr:192.168.10.1 Bcast:192.168.10.255 Mask:255.255.255.0
　　lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
　　修改服务器名称：
　　[root@localhost ~]# vim /etc/sysconfig/network
　　编辑结果：
　　3 HOSTNAME=node1.a.com
　　重启：
　　[root@localhost ~]# reboot
　　编辑hosts文件：
　　[root@node1 ~]# vim /etc/hosts
　　编辑结果：
　　5 192.168.145.99 node1.a.com
6 192.168.145.100 node2.a.com
　　编辑本地yum:
　　[root@node1 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
　　编辑结果：
　　1 [rhel-server]
2 name=Red Hat Enterprise Linux server
3 baseurl=file:///mnt/cdrom/Server
4 enabled=1
5 gpgcheck=1
6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
7
8 [rhel-cluster]
9 name=Red Hat Enterprise Linux cluster
10 baseurl=file:///mnt/cdrom/Cluster
11 enabled=1
12 gpgcheck=1
13 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
　　挂载光盘：
　　[root@node1 ~]# mkdir /mnt/cdrom
　　[root@node1 ~]# mount /dev/cdrom /mnt/cdrom
　　安装heartbeat相关软件：
　　[root@node1 ~]# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm –nogpgcheck
　　node2：
　　配置地址信息结果：
　　[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:93:53:D7
inet addr:192.168.145.100 Bcast:192.168.145.255 Mask:255.255.255.0
　　eth1 Link encap:Ethernet HWaddr 00:0C:29:93:53:E1
inet addr:192.168.10.2 Bcast:192.168.10.255 Mask:255.255.255.0
　　lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
　　修改服务器名称：
　　[root@localhost ~]# vim /etc/sysconfig/network
　　编辑结果：
　　3 HOSTNAME=node2.a.com
　　重启：
　　[root@localhost ~]# reboot
　　编辑hosts文件：
　　[root@node2 ~]# vim /etc/hosts
　　编辑结果：
　　5 192.168.145.99 node1.a.com
6 192.168.145.100 node2.a.com
　　编辑本地yum:
　　[root@node2 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
　　编辑结果：
　　1 [rhel-server]
2 name=Red Hat Enterprise Linux server
3 baseurl=file:///mnt/cdrom/Server
4 enabled=1
5 gpgcheck=1
6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
7
8 [rhel-cluster]
9 name=Red Hat Enterprise Linux cluster
10 baseurl=file:///mnt/cdrom/Cluster
11 enabled=1
12 gpgcheck=1
13 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
　　挂载光盘：
　　[root@node2 ~]# mkdir /mnt/cdrom
　　[root@node2 ~]# mount /dev/cdrom /mnt/cdrom
　　安装heartbeat相关软件：
　　[root@node2 ~]# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm –nogpgcheck
　　在node1和node2上进行如下操作:
　　1.复制模版文件
　　# cd /usr/share/doc/heartbeat-2.1.4/
# cp authkeys ha.cf haresources /etc/ha.d/
　　2.修改相关的配置信息
　　# cd /etc/ha.d/ //切换到相关目录
# vim ha.cf
　　24 debugfile /var/log/ha-debug
　　29 logfile /var/log/ha-log
　　34 logfacility local0
　　48 keepalive 2
　　56 deadtime 10
　　76 udpport 694
　　121 bcast eth0 //此行可以添加在任意一行
　　157 auto_failback off
　　211 node node1.a.com
212 node node2.a.com
　　3.修改资源文件
　　# echo "node1.a.com IPaddr::192.168.1.1/24/eth0 drbddisk::web Filesystem::/dev/drbd0::/web::ext3 killnfsd">>/etc/ha.d/haresources
　　4.修改key文件
　　# vim authkeys
　　23 auth 1
24 1 crc
　　5.手工创建文件
　　# cd /etc/ha.d/resource.d/
# echo "killall -9 nfsd ; /etc/init.d/nfs restart ; exit 0" >>/etc/ha.d/resource.d/killnfsd
　　6.修改配置文件的权限
　　# chmod 600 /etc/ha.d/authkeys
# chmod 755 /etc/ha.d/resource.d/killnfsd
　　7.启动服务
　　# service heartbeat start
　　DRBD:
　　node1：
　　分区：
　　[root@node1 ~]# fdisk /dev/sda
　　Command (m for help): p
　　Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
　　Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        1288    10241437+  83  Linux
/dev/sda3            1289        1543     2048287+  82  Linux swap / Solaris
　　Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
e
Selected partition 4
First cylinder (1544-2610, default 1544):
Using default value 1544
Last cylinder or +size or +sizeM or +sizeK (1544-2610, default 2610):
Using default value 2610
　　Command (m for help): p
　　Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
　　Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        1288    10241437+  83  Linux
/dev/sda3            1289        1543     2048287+  82  Linux swap / Solaris
/dev/sda4            1544        2610     8570677+   5  Extended
　　Command (m for help): n
First cylinder (1544-2610, default 1544):
Using default value 1544
Last cylinder or +size or +sizeM or +sizeK (1544-2610, default 2610): +1g
　　Command (m for help): p
　　Disk /dev/sda: 21.4 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
　　Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        1288    10241437+  83  Linux
/dev/sda3            1289        1543     2048287+  82  Linux swap / Solaris
/dev/sda4            1544        2610     8570677+   5  Extended
/dev/sda5            1544        1666      987966   83  Linux
　　Command (m for help): w
The partition table has been altered!
　　[root@node1 ~]# partprobe /dev/sda
[root@node1 ~]# cat /proc/partitions
major minor  #blocks  name
　　8     0   20971520 sda
   8     1     104391 sda1
   8     2   10241437 sda2
   8     3    2048287 sda3
   8     4          0 sda4
   8     5     987966 sda5
　　安装软件：
　　[root@node1 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
　　[root@node1 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
　　[root@node1 ~]# cd /etc/drbd.d
　　[root@node1 drbd.d]# ll
总计 4
-rwxr-xr-x 1 root root 1418 2010-06-04 global_common.conf
　　[root@node1 drbd.d]# vim /etc/drbd.conf
　　底行模式下运行命令：
　　r  /usr/share/doc/drbd83-8.3.8/drbd.conf
　　得到如下结果：
　　include "drbd.d/global_common.conf";
include "drbd.d/*.res";
　　保存退出。
　　[root@node1 drbd.d]# vim global_common.conf
　　编辑结果：
　　6 common {
7         protocol C;
8         
9         startup {
10                 wfc-timeout  120; 11                 degr-wfc-timeout 120; 12          }       13         disk { 14                   on-io-error detach; 15                   fencing resource-only;
16                    17           }
18         net {
19                 cram-hmac-alg "sha1"; 20                 shared-secret  "mydrbdlab";
21          }       22         syncer {
23                   rate  100M; 24          }        
25         
26 }
　　配置资源：
　　[root@node1 drbd.d]# vim web.res
　　1 resource  web {
2         on node1.a.com {
3         device   /dev/drbd0;
4         disk    /dev/sda5;
5         address  192.168.145.99:7789;
6         meta-disk       internal;
7         }
8
9         on node2.a.com {
10         device   /dev/drbd0;
11         disk    /dev/sda5;
12         address  192.168.145.100:7789;
13         meta-disk       internal;
14         }
15 }
　　复制文件到node2：
　　[root@node1 drbd.d]# scp * node2.a.com:/etc/drbd.d
root@node2.a.com's password:
global_common.conf                               100%  504     0.5KB/s   00:00    web.res                                          100%  350     0.3KB/s   00:00
　　[root@node1 drbd.d]# scp /etc/drbd.conf  node2.a.com:/etc
root@node2.a.com's password:
drbd.conf                                        100%  100     0.1KB/s   00:00
　　初始化：
　　[root@node1 drbd.d]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
　　启动服务：
　　[root@node1 drbd.d]# service drbd start
　　设为主节点：
　　[root@node1 drbd.d]# drbdadm  -- --overwrite-data-of-peer primary web
　　格式化：
　　[root@node1 drbd.d]# mkfs -t ext3 -L drbdweb /dev/drbd0
　　[root@node1 drbd.d]# mkdir /web
　　挂载：
　　[root@node1 drbd.d]# mount /dev/drbd0 /web
　　[root@node1 drbd.d]# echo "hello" >index.html
　　node2：
　　参考node1进行分区（分区大小必须一致）
　　安装软件：
　　[root@node2 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
　　[root@node2 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
　　初始化：
　　[root@node2 drbd.d]# drbdadm create-md web
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
　　启动服务：
　　[root@node2 drbd.d]# service drbd start
　　NFS:
　　node1:
　　[root@node1 ~]# vim /etc/exports
　　编辑结果：
　　/web *(rw,sync,insecure,no_root_squash,no_wdelay)
　　启动相关服务：
　　[root@node1 ~]# service portmap start
启动 portmap：                                             [确定]
　　[root@node1 ~]# chkconfig portmap on
　　[root@node1 ~]# service nfs start
启动 NFS 服务：                                            [确定]
关掉 NFS 配额：                                            [确定]
启动 NFS 守护进程：                                        [确定]
启动 NFS mountd：                                          [确定]
　　[root@node1 ~]# chkconfig nfs on
　　修改NFS启动脚本：
　　[root@node1 ~]# vim /etc/init.d/nfs
　　编辑结果：
　　122         killproc nfsd –9
　　node2执行相同操作。