Centos5.5+heartbeat+drbd+oracle10g双机配置

hncys

　　一、安装环境说明：
操作系统：centos5.5x86
主要软件及版本：heartbeat2.0.8   drbd-8.4.0
依赖软件及版本：libnet 1.1.2.1（heartbeat所需）
数据库版本：oracle 10201 32位

安装前规划：
网卡：两台机器配双网卡，一个用于连接公用网络，一个用于做心跳测试。
主机名：分别为drbd1， drbd2，虚拟ip主机名drbd
IP：主drbd1：eth0 10.10.10.11 心跳ip   eth1 135.255.10.211 连接公网。
从drbd2：eth0 10.10.10.12 心跳ip   eth1 135.255.10.212 连接公网。
两台机器的eth0用交叉线相连，eth1为局域网络，共用一个网关：130.255.10.1
虚拟ip：eth1:0 135.255.10.200 虚拟ip由heartbeat自动管理，不需要预先设置。
磁盘：两台机器分别加上一个大小20G的硬盘。用来做drbd网络共享存储，并在上面安装oracle。

二、安装前配置
ip地址的配置：
eth0分别配置心跳ip，eth1分别配上上述ip地址。

两台机器上主机名及网关的配置，这里以主机器为例：
[root@drbd1 ~]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=drbd1  #主机名 另一台机器为drbd2
GATEWAY=135.255.10.1  #网关

在两台机器上，都配置hosts文件，新增三个ip到主机名的解析
[root@drbd1 ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               drbd1 localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6

135.255.10.211          drbd1
135.255.10.212          drbd2
135.255.10.200          drbd
主机名配置完成后，重启电脑，配置生效。

三、安装heartbeat
两台机器上做一样的安装和配置
添加用户和用户组
[root@drbd1 ~]# groupadd haclient
[root@drbd1 ~]# useradd -g haclient hacluster
首先安装libnet
[root@drbd1 ~]# cd /usr/local/src/
[root@drbd1 src]# tar zxvf libnet-1.1.2.1.tar.gz
[root@drbd1 src]# cd libnet/
[root@drbd1 libnet]# ./configure
[root@drbd1 libnet]# make
[root@drbd1 libnet]# make install
安装heartbeat
[root@drbd1 src]# tar zxvf Heartbeat-2-1-2d298bca0d0a.tar.gz
[root@drbd1 src]# cd Heartbeat-2-1-2d298bca0d0a/
[root@drbd1 Heartbeat-2-1-2d298bca0d0a]# ./ConfigureMe configure
[root@drbd1 Heartbeat-2-1-2d298bca0d0a]# make
注意，这里make到一半，可能会报一个类似hbaping  HBcomm等字样的错误，解决方法：
[root@drbd1 Heartbeat-2-1-2d298bca0d0a]# cd lib/plugins/HBcomm/
[root@drbd1 HBcomm]# mv hbaping.loT hbaping.lo
回到heartbeat文件根目录下重新再执行make即可继续编译。注意这里的hbaping.loT在第一次make之前是不存在的，必须要先make编译，生成了hbaping.loT，再在报错的时候文件名修改为hbaping.lo，再重新make一次即可。最后执行make install安装
[root@drbd1 Heartbeat-2-1-2d298bca0d0a]# make install
复制三个配置文件到/etc/ha.d/目录下
[root@drbd1 Heartbeat-2-1-2d298bca0d0a]# cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/

到此，两台机器上的heartbeat就安装完成，先不做配置，继续安装drbd

四、安装配置drbd
先将两台机器的新硬盘进行分区，使用fdisk，给第二块硬盘，即/dev/sdb分区，这里都只划一个主分区/dev/sdb1，完成后先不进行格式化，稍后会用到。
两台机器都安装配置drbd，配置完全相同：
[root@drbd1 src]# tar zxvf drbd-8.4.0.tar.gz
[root@drbd1 src]# cd drbd-8.4.0/
[root@drbd1 drbd-8.4.0]# ./configure
[root@drbd1 drbd-8.4.0]# make rpm
[root@drbd1 drbd-8.4.0]# make km-rpm
[root@drbd1 drbd-8.4.0]# cd /usr/src/redhat/RPMS/i386/
[root@drbd1 i386]# ls
drbd-8.4.0-1.i386.rpm                  drbd-heartbeat-8.4.0-1.i386.rpm          drbd-pacemaker-8.4.0-1.i386.rpm drbd-xen-8.4.0-1.i386.rpm
drbd-bash-completion-8.4.0-1.i386.rpm  drbd-km-2.6.18_194.el5-8.4.0-1.i386.rpm  drbd-udev-8.4.0-1.i386.rpm
drbd-debuginfo-8.4.0-1.i386.rpm        drbd-km-debuginfo-8.4.0-1.i386.rpm       drbd-utils-8.4.0-1.i386.rpm
[root@drbd1 i386]# rpm -ivh drbd*
[root@drbd1 i386]# modprobe drbd   #加载drbd到内核
[root@drbd1 i386]# lsmod |grep drbd   #查看是否加载成功
drbd                  250852  0
开始配置drbd
主配置文件为/etc/drbd.conf
[root@drbd1 ~]# cat /etc/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example

include "drbd.d/global_common.conf";
include "drbd.d/*.res";
可以看到，主配置文件是通过包含/etc/drbd.d/global_common.conf全局通用配置文件和以.res结尾的这些/etc/drbd.d/*.res资源文件来配置drbd的。
修改global_common.conf文件如下：
global {
        usage-count yes;
}
common {
        handlers {
                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
        }

        startup {
                degr-wfc-timeout 120;
        }
        options {
                # cpu-mask on-no-data-accessible
        }
        disk {
                on-io-error detach;
        }
        net {
                protocol C;
        }
        syncer { rate 100M; }
}

资源文件配置如下：
[root@drbd1 ~]# cat /etc/drbd.d/r0.res
resource r0 {                   #资源名称为r0
  on drbd1 {                    #drbd1上面的配置
    device    /dev/drbd1;        #drbd1上的drbd设备
    disk      /dev/sdb1;         #drbd1上的物理磁盘分区
    address   10.10.10.11:7789; #本机ip地址，这里选择心跳ip
    meta-disk internal;             #表示在同一局域网内
  }
  on drbd2 {                    #drbd2机器上的配置
    device    /dev/drbd1;
    disk      /dev/sdb1;
    address   10.10.10.12:7789;
    meta-disk internal;
  }
}

两台机器上都执行如下命令创建r0资源数据块
[root@drbd1 ~]# drbdadm create-md r0

两次输入yes，创建成功。
再在两台机器上分别启动drbd
[root@drbd1 ~]# /etc/init.d/drbd start
查看drbd运行状态：
[root@drbd1 ~]# cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by root@drbd1, 2011-12-27 15:00:40

1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:20964116
发现在两台机器上，drbd都为Secondary模式，因此需要指定哪个为主，哪个为从设备
只在drbd1机器上执行如下命令：
[root@drbd1 ~]# drbdsetup /dev/drbd1 primary –force
查看drbd运行状态，发现drbd正在同步数据
[root@drbd1 ~]# cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by root@drbd1, 2011-12-27 15:00:40

1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:1149952 nr:0 dw:0 dr:1158144 al:0 bm:69 lo:3 pe:1 ua:8 ap:0 ep:1 wo:b oos:19815188
        [>...................] sync'ed:  5.6% (19348/20472)M
        finish: 0:04:35 speed: 71,808 (71,808) K/sec
这里需要等待一点时间，让数据同步完成，然后执行如下命令来使drbd1为drbd的主设备，只在drbd1上执行：
[root@drbd1 ~]# drbdadm primary r0
再看drbd的运行状态
[root@drbd1 ~]# cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by root@drbd1, 2011-12-27 15:00:40

1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:20964116 nr:0 dw:0 dr:20964116 al:0 bm:1280 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
可以看到drbd1现在为primary了，drbd2上正好相反：

drbd1上查看角色
[root@drbd1 ~]# drbdadm role r0
Primary/Secondary
drbd2上查看角色
[root@drbd2 ~]# drbdadm role r0
Secondary/Primary
drbd设备，同一时间，只能在primary机器上被使用，因此这里只在drbd1上操作，对/dev/drbd1进行格式化，并挂载
[root@drbd1 ~]# mkfs -t ext3 /dev/drbd1
[root@drbd1 ~]# mkdir /oradate   #在drbd2上面也要新建这个目录
[root@drbd1 ~]# mount /dev/drbd1 /oradate/
到此，drbd配置完成，下面需要在drbd设备的挂载点/oradate安装oracle

五、安装oracle10g
在两台机器上，做同样的oracle安装前的配置，下面以drbd1为例：
oracle安装详细参考官方文档，下面作简要的环境变量配置

给oracle BASE目录赋权限
[root@drbd1 ~]# chown –R oracle:oinstall /oradate
[root@drbd1 ~]# chmod –R 755 /oradate
在oracle家目录下~oracle/.bash_profile加入如下环境变量：
ORACLE_BASE=/oradate
ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
ORACLE_SID=orcl
PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib
export ORACLE_BASE ORACLE_HOME ORACLE_SID PATH LD_LIBRARY_PATH

详细图形安装过程参考官方文档

安装完成后，对oracle监听进行配置，修改后如下
[oracle@drbd1 database]$ cd $ORACLE_HOME/network/admin
[oracle@drbd1 database]$ cat listener.ora
SID_LIST_LISTENER =
  (SID_LIST =
    (SID_DESC =
      (SID_NAME = PLSExtProc)
      (ORACLE_HOME = /oradate/product/10.2.0/db_1)
      (PROGRAM = extproc)
    )(SID_DESC =
     (GLOBAL_DBNAME = orcl)
     (ORACLE_HOME = /oradate/product/10.2.0/db_1)
     (SID_NAME = orcl)
     )
  )

LISTENER =
  (DESCRIPTION_LIST =
    (DESCRIPTION =
      (ADDRESS = (PROTOCOL = IPC)(KEY = EXTPROC1))
      (ADDRESS = (PROTOCOL = TCP)(HOST = drbd)(PORT = 1521))
    )
  )

LISTENER的HOST部分，填上虚拟ip或者虚拟ip的主机名，这里为主机名drbd
关闭监听，关闭数据库，下面开始配置heartbeat

六、配置heartbeat
在drbd1上进行配置
[root@drbd1 ~]# cd /etc/ha.d/
1、双机互联验证文件
[root@drbd1 ha.d]# grep -v '^#' authkeys | grep -v '^$'
auth 1
1 crc
注意设置authkeys文件的权限为600
[root@drbd1 ha.d]# chmod 600 authkeys
2、主配置文件ha.cf，去掉注释和空行后，配置如下
[root@drbd1 ha.d]# grep -v '^#' ha.cf | grep -v '^$'
logfile /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 30
warntime 10
initdead 120
udpport 694
baud    19200
ucast eth0 10.10.10.12   #此处选择单播方式进行通信，ip地址为对方节点的心跳ip
auto_failback on
node    drbd1
node    drbd2
ping    135.255.10.1    #一个能正常ping通的ip，这里选择固定的网关
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluster
3、资源配置文件，只有一行
[root@drbd1 ha.d]# grep -v '^#' haresources | grep -v '^$'
drbd1 IPaddr::135.255.10.200/24/eth1  drbddisk::r0 Filesystem::/dev/drbd1::/oradate::ext3  notechange.sh
说明：drbd1为主节点的主机名，从节点也同样的配置，IPaddr为heartbeat对虚拟ip的设置，drbddisk设置drbd资源的角色，Filesystem挂载drbd磁盘，notechange.sh为共享磁盘挂载卸载，oracle启动关闭脚本，脚本存放在/etc/ha.d /resource.d下，脚本内容如下：
[root@drbd1 ha.d]# cat  resource.d/notechange.sh
#!/bin/sh
#It’s used to startup/shutdown oracle database

export ORACLE_BASE=/oradate
export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
export ORACLE_SID=orcl
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib:/lib:/usr/lib

MOUNTDEV=/dev/drbd1
MOUNTPOINT=/oradate
case $1 in
start)
/bin/mount $MOUNTDEV $MOUNTPOINT
su - oracle -c "dbstart"
;;
stop)
su – oracle –c "dbshut"
fuser -k -m -v $MOUNTPOINT
/bin/umount $MOUNTPOINT
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac

其中，需要说明的是dbstart和dbshut两个脚本，这两个脚本为安装数据库后，自动生成的脚本，用来启动，关闭监听和数据库，其中dbstart部分地方需要做修改，才能正常启动。修改如下：
ORACLE_HOME_LISTNER=${ORACLE_HOME}
脚本通过ORACLE_HOME_LISTNER的值来定位到监听程序的可执行程序，从而启动监听，由于默认脚本设置的值和自己安装的目录路径不一样，因此需要修改成当前oracle的安装家目录。
另一个地方需要修改的是/etc/oratab文件，dbstart脚本通过读取oratab文件来决定是否启动数据库实例，启动哪个数据库实例。
修改如下：
orcl:/oradate/product/10.2.0/db_1:Y
将最后面的N改成Y，则为要启动orcl实例，路径为/oradate/product/10.2.0/db_1
如果其他还需要修改的，仔细阅读脚本，修改成当前oracle安装环境的变量即可。

在主节点上配置完heartbeat后，再把这些配置文件全部复制到从节点，因为从节点的配置文件要和主节点完全相同：
[root@drbd2 ~]# scp -r drbd1:/etc/ha.d/*  /etc/ha.d/
注意ha.cf文件里面单播通讯的地方，ip地址要填对方节点的心跳ip，除了这里需要修改外，其他地方完全一样！
复制主节点/etc/oratab文件到从节点
[root@drbd2 ~]# scp drbd1:/etc/ora*  /etc/
这里将主节点上安装数据库时生成的两个文件都拷贝过来，包括修改后的oratab文件。

七、启动heartbeat
查看drbd状态：

[root@drbd1 ~]# drbdadm role r0
Primary/Secondary
此时，drbd已经在正常运行，可以启动heartbeat了。
两台机器上，分别启动heartbeat
[root@drbd1 ~]# /etc/init.d/heartbeat start

稍等片刻，查看drbd是否挂载
[root@drbd1 ~]# ls /oradate/
admin  flash_recovery_area  lost+found  oradata oraInventory  product
可以看到，oradate目录下已经有了oracle的安装文件了

再来看oracle的监听是否开启，切换到oracle用户，查看监听的状态：
[root@drbd1 ~]# su - oracle
[oracle@drbd1 ~]$ lsnrctl status

监听正常，登录数据库，查看数据库的运行状态：
[oracle@drbd1 ~]$ sqlplus / as sysdba

SQL> select database_status from v$instance;

DATABASE_STATUS
-----------------
ACTIVE


SQL> !hostname
drbd1
数据库开启并且活跃，用户为sys，当前服务器主机名为drbd1，即主节点。

八、测试heartbeat切换是否正常
关闭主节点drbd1，稍后待heartbeat切换完成后，到节点2上查看drbd运行状态和数据库的运行状态
[root@drbd2 ~]# cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by root@drbd2, 2011-12-27 15:06:19

1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
ns:0 nr:20984860 dw:20985092 dr:7561 al:10 bm:1280 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:204
可以看到，节点2的drbd当前为primary状态，从节点为unknown
[root@drbd2 ~]# ls /oradate/
admin  flash_recovery_area  lost+found  oradata oraInventory  product
目录下已经有文件了

[root@drbd2 ~]# su - oracle
[oracle@drbd2 ~]$ lsnrctl status

监听正常
[oracle@drbd2 ~]$ sqlplus / as sysdba

SQL> select status from v$instance;

STATUS
------------
OPEN

SQL> !hostname
drbd2
数据库为open状态。
在win下，配置tns后，客户端连接数据库，如下：
C:\Documents and Settings\Administrator>sqlplus "system/oracle@orcl"

SQL> select status from v$instance;

STATUS
------------
OPEN


自此，整个双机热备配置完成！
整个文档根据虚拟机上实验整理完成，如有错误，遗漏，或者更好的建议，谢谢指出！！