DRBD+Heartbeat双机热备硬件故障自动切换

死siua11

DRBD+Heartbeat

　　测试环境：
　　Node1 192.168.122.2(master)两块磁盘(vda系统，vdb数据盘)
　　Node2 192.168.122.8(slave)两块磁盘
　　服务器操作系统版本centos6.3 32bit
　　vdb硬盘不要格式化
　　一、DRBD安装
　　准备工作
　　安装下面依赖包
　　#yum install make gcc gcc-c++ flex kernel-devel kernel-headers
　　注意：安装的kernel-devel的内核源码（内核源码路径/usr/src/kernel/）和当前系统的kernel版本(uname -r)不一致的话需要把当前内核更新一下。#yum update kernel-版本号
　　修改默认引导内核为最新版本内核，默认更新后最新的内核排在最上面，不用修改。如果不是就按照下面方法修改。
　　修改/etc/grub.conf 查看最新的内核版本排在第几个，从0开始。title开头的行是内核。将default=设置为要启动的内核顺序数。
　　重启服务器
　　配置DRBD （master和slave服务器配置一样）
　　下载drbd源码http://oss.linbit.com/drbd/
　　解压tar zxvf drbd-8.4.3.tar.gz
　　进入解压后的drbd-8.4.3
　　建立drbd的安装目录/usr/local/drbd
　　开始编译安装
　　./configure --prefix=/usr/local/drbd --with-km
　　make KDIR=/usr/src/kernels/内核源码目录/
　　make install
　　mkdir -p /usr/local/drbd/var/run/drbd
　　cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d/
　　分析可加载模块的依赖性，生成modules.dep和映射文件
　　depmod
　　加载模块
　　modprobe drbd
　　查看是否已经加载了drbd模块
　　lsmod |grep drbd
　　建立配置文件
　　vi /usr/local/drbd/etc/drbd.conf
　　写入
　　include "drbd.d/global_common.conf";
　　include "drbd.d/*.res";
　　修改/usr/local/drbd/etc/global_common.conf 文件
　　net {

#DRBD复制有三种:
#协议A，本地写入完成，数据包已在发送队列中，则写被认为是完成。在一个节点故障时可能发送数据丢失，因为要被写入远程的数据可能仍然在发送队列。
#协议B，本地吸入完成且数据包到底对等节点则认为写在主节点完成，数据丢失可能发送在参加的两个节点同事故障情况下，因为在飞行的数据可能不会提交到磁盘
#协议C，只有本地和远程节点的磁盘已经确认写操作完成，写才认为完成。没有数据丢失情况。但网络带宽决定I/O吞吐量。
#应用最多的是协议C
#添加协议C（大写）
　　protocol C;

　　protocol C;
　　}
　　更正，之前r0.res的路径写错，今天看的时候才发现
　　vi /usr/local/drbd/etc/drbd.d/r0.res
　　#resource后面跟drbd资源
　　resource r0 {
　　#on 后面跟节点的主机名
　　on node1 {
　　#device设置drbd的设备名称
　　device/dev/drbd1;
　　#drbd设备同步的物理磁盘
　　disk/dev/vdb;
　　#节点drbd监听的端口
　　address 192.168.122.2:7789;
　　meta-diskinternal;
　　}
　　on node2 {
　　device/dev/drbd1;
　　disk/dev/vdb;
　　address 192.168.122.8:7789;
　　meta-diskinternal;
　　}
　　}
　　修改主机名
　　#hostname 新主机名
　　修改文件/etc/sysconfig/network中主机名
　　添加本地解析vi /etc/hosts
　　创建drbd记录信息的数据块
　　#drbdadm create-md r0
　　分别在两个机器启动drbd
　　#service drbd start
　　启动后查看drbd状态，两台都是Secondary，Inconsistent表示不一致，刚配好的DRBD两个节点都认为自己是Secondary，手工指定一台为primary
　　service drbd status或者cat /proc/drbd
　　m:rescsrodspmountedfstype
　　1:r0ConnectedSecondary/SecondaryInconsistent/InconsistentC
　　在node1（master）上运行指定它primary
　　#drbdadm primary r0 –force
　　完成后再次查看drbd的状态
　　service drbd status或者cat /proc/drbd
　　会发现两个服务器正在同步
　　
　　drbd driver loaded OK; device status:
　　version: 8.4.3 (api:1/proto:86-101)
　　GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@master-01, 2013-07-22 23:01:55
　　m:rescsrodspmountedfstype
　　0:r0SyncTargetSecondary/SecondaryInconsistent/UpToDateC
　　...sync'ed:74.1%(5316/20476)M
　　
　　
　　
　　等完成后会看到ds变成UpToDate/UpToDate （实时）
　　下一步对drbd的设备进行格式化，此操作只在primary服务器上进行Secondary服务器起来后什么都不需要操作。
　　
　　即使没有同步完，也可以对drbd设备进行格式化
　　#mkfs.ext3 /dev/drbd1
　　挂载drbd分区
　　#/mount /dev/drbd1 /data
　　注意：集群中只有primary服务器可以挂载设备，secondary挂载会报错。
　　同步测试
　　在node1（primary）服务器上向/data写一些文件
　　然后停止drbd服务
　　#service drbd stop
　　在node2（secondary）将其设置为primary
　　#drbdadm primary all或者drbdadm primary r0
　　在secondary服务器上就可以挂载/dev/drbd1 到自己的挂载点/data
　　查看刚才在node1上写的文件是否同步到node2上。
　　二、安装Heartbeat
　　操作系统Centos6.3默认的yum源没有heartbeat,需要使用epel的源
　　下载#wget http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
　　安装#rpm –Uvh epel-release-6-8.noarch.rpm
　　安装
　　#yum install heartbeat
　　配置master的heartbeat
　　进入/etc/ha.d/创建ha.cf文件，写入下面内容
　　debugfile /var/log/ha-debug
　　logfile /var/log/ha-log
　　keepalive 2
　　deadtime 10
　　warntime 6
　　initdead 10
　　udpport 694
　　#slave服务器的IP
　　ucast eth0 192.168.122.2
　　#列出master和slave节点
　　node node1
　　node node2
　　auto_failback off
　　respawn hacluster /usr/lib/heartbeat/ipfail
　　在同目录创建验证文件authkeys内容如下
　　auth 1
　　1 crc
　　在同目录创建haresources文件内容如下
　　#下面的IP是集群的VIP，drbddisk是切换时调用的脚本
　　node1 192.168.122.9 drbddisk::r0 Filesystem::/dev/drbd1::/data::ext4
　　从drbd的源码中的scripts目录中复制drbddisk脚本到/etc/ha.d/resource.d/
　　启动master的heartbeat
　　service heartbeat start
　　配置slave
　　文件ha.cf内容稍有不同
　　debugfile /var/log/ha-debug
　　logfile /var/log/ha-log
　　keepalive 2
　　deadtime 10
　　warntime 6
　　initdead 10
　　udpport 694
　　#master服务器的IP
　　ucast eth0 192.168.122.8
　　#列出master和slave节点
　　node node1
　　node node2
　　auto_failback off
　　respawn hacluster /usr/lib/heartbeat/ipfail
　　文件haresources内容
　　node2 192.168.122.9 drbddisk::r0 Filesystem::/dev/drbd1::/data::ext4
　　同样需要drbd的源码中的scripts目录中复制drbddisk脚本到/etc/ha.d/resource.d/
　　其他配置和master一样
　　Drbd自动切换测试
　　在master上停止heartbeat服务
　　会发现slave服务器上会自动挂载/dev/drbd1到/data，查看/data中数据和master上一致。