Heartbeat v3 + ttserver + DRBD 构建高可用ttserver

wangluo010

一、软件概述
　　DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中. 本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会保留有一份相同的数据,可以继续使用.
Heartbeat：heartbeat是一种主要提供高可用的软件
　　Ttserver：ttserver是一种高并发的分布式持久存储系统，具体可以自己google一下

二、ttserver + DRBD + Heartbeat v3 安装和配置

准备工作
　　机器包括space142和space143
　　space142上的两个IP分别为10.0.0.1和192.168.20.180；
　　space142上的两个IP分别为10.0.0.2和192.168.20.181；
　　漂移IP（VIP）为192.168.20.183；
　　10.0.0.x网段用于DRBD通信。
　　分别在两台机器上配置/etc/hosts文件

• #vim /etc/hosts
  

10.0.0.1  space142
192.168.20.180 space142
10.0.0.2  space143

192.168.20.181 space143

ttsserver安装和配置
　　具体可以参看我的其他文章

• #cp /usr/local/tokyotyrant/bin/ttserver /etc/init.d/
  
• #vim /etc/init.d/ttserver          #修改相关的变量
  

　　prog="ttservctl"
cmd="/usr/local/tokyotyrant/bin/ttserver"
basedir="/data/ttserver1"
port="1978"
pidfile="$basedir/pid"
logfile="$basedir/log"
ulogdir="$basedir/ulog"
ulimsiz="256m"
sid=1
#mhost="remotehost1"
#mport="1978"
#rtsfile="$basedir/rts"
dbname="$basedir/casket.tch#bnum=1000000"
retval=0
　　/etc/init.d/ttserver脚本被用做资源脚本被heartbeat调用

安装和配置DRBD
　　
　　分别在space142、space143上安装DRBD

• #wget http://oss.linbit.com/drbd/8.3/drbd-8.3.10.tar.gz
  
• #tar zxvf drbd-8.3.10.tar.gz
  
• #cd drbd-8.3.10
  
• #./configure
  
• #make rpm
  
• #make km-rpm
  
• #cd /usr/src/redhat/RPMS/x86_64
  
• #rpm -ivh drbd*
  
• #modprobe drbd
  
• #lsmod |grep drbd
  

　　
　　DRBD配置如下：

• #vim /etc/drbd.conf
  

　　global { usage-count yes; }
common { syncer { rate 33M; } }
resource r0 {
protocol C;
startup {
}
        disk {
               on-io-error   detach;
                #size 1G;
        }
        net {
        }
        on space142 {
                device    /dev/drbd0;
                disk      /dev/sdb1;
                address   10.0.0.1:7898;
                meta-disk internal;
        }
        on space143 {
                device    /dev/drbd0;
                disk      /dev/sdb1;
                address   10.0.0.2:7898;
                meta-disk internal;
        }
}
　　初始化DRBD资源

• #drbdadm create-md r0
  
• #mkfs.ext3 /dev/drbd0
  
• #/etc/init.d/drbd start && chkconfig drbd off
  
• #mkdir /data
  

　　/data目录用来挂载drbd设备
　　
　　

安装和配置Heartbeat V3
　　1）安装heartbeat前准备，安装Cluster Glue

• #groupadd haclient
  
• #useradd -g haclient hacluster
  
• #wget http://hg.linux-ha.org/glue/archive/glue-1.0.7.tar.bz2
  
• #tar jxvf glue-1.0.7.tar.bz2
  
• #cd Reusable-Cluster-Components-glue--glue-1.0.7/
  
• #./autogen.sh
  
• #./configure
  
• #make
  
• #make install
  

　　
　　2）安装resource-agents

• #wget https://download.github.com/ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz
  
• #tar -jvxf ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz
  
• #cd Cluster-Resource-Agents-agents-1.0.4
  
• #./autogen.sh
  
• #./configure
  
• #make
  
• #make install
  

　　
　　3）安装heartbeat

• #wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/STABLE-3.0.4.tar.bz2
  
• #tar jxvf STABLE-3.0.4.tar.bz2
  
• #cd Heartbeat-3-0-STABLE-3.0.4/
  
• #./bootstrap
  
• #./configure
  
• #make
  
• #make install
  

　　
　　4）配置ha.cf和authkeys

• # vim /etc/ha.d/ha.cf
  

debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility     local0
keepalive 2
deadtime 30
initdead 30
udpport 694
mcast eth1 239.0.0.1 694 1 0 # 使用多播方式进行相互通信
auto_failback on
node space142
node space143
compression     bz2
compression_threshold 2
crm respawn
　　# 以下两行是pacemaker-mgmt提供的hb_gui 连接所必须的，2.1.4时没有
apiauth         mgmtd   uid=root
# 注意，下面文件的路径不能有错（可查询pacemaker-mgmt包），并且一定是可执行文件
respawn         root    /usr/lib64/heartbeat/mgmtd –v
　　
　　
　　配置authkeys

• # vi /etc/ha.d/authkeys
  

　　
auth 1
1 sha1 0366577bdaed36f08b5f1c29431812dc
　　5）资源配置
　　利用crm命令进入crm shell进行配置
primitive ClusterIP ocf:heartbeat:IPaddr2 \
　　        params ip="192.168.20.183" cidr_netmask="32" \
　　        op monitor interval="30s"
　　primitive drbd ocf:linbit:drbd \
　　        params drbd_resource="r0" drbdconf="/etc/drbd.conf" \
　　        op monitor interval="60s" \
　　        op start interval="0" timeout="240s" \
　　        op stop interval="0" timeout="100s"
　　primitive fs ocf:heartbeat:Filesystem \
　　        params device="/dev/drbd0" directory="/data" fstype="ext3" \
　　        op start interval="0" timeout="240s" \
　　        op stop interval="0" timeout="100s"
　　primitive ttserver lsb:ttservctl
　　group group_ttserver ClusterIP fs ttserver \
　　        meta target-role="Started" is-managed="true"
　　ms ms_drbd drbd \
　　        meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
　　colocation ttserver-on-drbd inf: group_ttserver ms_drbd:Master
　　order ttserver-after-drbd inf: ms_drbd:promote group_ttserver:start
　　property $id="cib-bootstrap-options" \
　　        stonith-enabled="false" \
　　        dc-version="1.0.10-da7075976b5ff0bee71074385f8fd02f296ec8a3" \
　　        cluster-infrastructure="Heartbeat"
　　
　　

三、常用的管理命令
　　1、drbd常用操作
　　
　　#watch -n 1 cat /proc/drbd  查看drbd的状态
　　
　　主从切换:先umount drbd设备。再用drbdadm primary all切换为主，drbdadm primary all切换为从
　　2、heartbeat常用操作
　　
　　查看heartbeat资源状态，crm_mon可以查看资源使用情况：
#crm_mon
　　
　　
　　============
Last updated: Thu Apr  7 14:15:44 2011
Stack: Heartbeat
Current DC: space143 (fdec6bb1-a091-44a6-a542-af6afc3030a5) - partition with quorum
Version: 1.0.10-da7075976b5ff0bee71074385f8fd02f296ec8a3
2 Nodes configured, unknown expected votes
2 Resources configured.
============
Online: [ space142 space143 ]
Master/Slave Set: ms_drbd
Masters: [ space143 ]
Slaves: [ space142 ]
Resource Group: group_ttserver
ClusterIP  (ocf::heartbeat:IPaddr2):       Started space143
fs (ocf::heartbeat:Filesystem):    Started space143
ttserver   (lsb:ttservctl):        Started space143
　　
　　
　　
　　资源切换
　　如果资源挂载space142，通过以下命令可以把资源手动的切换到space143
crm node standby space142