heartbeat+drbd+mysql

娟斌心

SUSE11下的Heartbeat+DRBD+Mysql安装配置

系统环境：
我用的虚拟机为vmware，安装的linux系统为opensuse11.两台电脑（两个节点）用路由器链接，两个节点的信息如下：
节点一（主机）  ：主机名：laborc，    ip：192.168.0.110
节点二（备用机）：主机名：linux-xua5 ，ip：192.168.0.111
这里需要注意一下，虚拟机默认的网络链接为NAT，但是我发现两台虚拟机的linux无法相互ping对方，然后我把网络链接改为了Bridged然后把两台虚拟机的ip改为同个网段就可以相互ping了，具体为什么NAT不能相互ping，我不是很清楚。
　　

1.  Heartbeat安装配置
1.1.安装heartbeat
在安装heartbeat之前需要安装libnet，安装方法如下：
tar -xzvf libnet.tar.gz
cd libnet
./configure
make
make install
然后安装heartbeat，安装方法如下：
tar -xzvf  heartbeat-2.1.2.tar.gz
cd heartbeat-2.1.2
useradd -u 694 -g haclient hacluster
./ConfigureMe configure
make
make install
1.2.配置/etc/hosts和/etc/HOSTNAME
这里对node1进行配置，node2与node1一样,修改主机名如下：
#vi /etc/HOSTNAME
对主机名字修改，我把我的虚拟机名字改为laborc.site（可以改成自己所要的）。

修改hosts如下：
#vi /etc/hosts
在node1中的hosts里面需要添加以下内容，node2也添加相同内容。
192.168.0.110  laborc   #前面的ip为node1的ip，后面的那个是node1主机名
192.168.0.111  linux-xua5  #前面的ip为node2的ip，后面的那个是node2主机名。
我的修改结果如下：

两个节点修改以上配置以后，需要重启系统。
1.3.配置文件
运行Heartbeat需要配置三个文件，分别为ha.cf，haresources和authkeys。首先把三个文件复制到/etc/ha.d/文件夹下，操作如下：
#cp  ha.cf  /etc/ha.d/
#cp  haresources  /etc/ha.d/
#cp  authkeys  /etc/ha.d/
1.3.1.对ha.cf进行配置
我对ha.cf的配置如下
Name
Value
description
debugfile  
/var/log/ha-debug
该文件保存heartbeat的调试信息
logfile   
/var/log/ha-log
heartbeat的日志文件
logfacility
local0

keepalive   
2
心跳的时间间隔，默认时间单位为秒

deadtime   
10
超出该时间间隔未收到对方节点的心跳，则认为对方已经死亡
initdead     
120
在某些系统上，系统启动或重启之后需要经过一段时间网络才能正常工作，该选项用于解决这种情况产生的时间间隔。取值至少为deadtime的两倍。
udpport     
694  
设置广播通信使用的端口，694为默认使用的端口号。
baud        
19200
设置串行通信的波特率。
serial
/dev/ttyS0
选择串行通信设备，用于双机使用串口线连接的情况。如果双机使用以太网连接，则应该关闭该选项。
bcast
eth0
设置广播通信所使用的网络接口卡。
auto_failback
on
heartbeat的两台主机分别为主节点和从节点。主节点在正常情况下占用资源并运行所有的服务， 在该选项设为on的情况下，一旦主节点恢复运行，则自动获取
node
laborc
设置节点
node
linux-xua5
设置节点

1.3.2.配置haresources文件
配置如下：
laborc IPaddr::192.168.0.112 apache    #laborc 为主机名  192.168.0.112为集群对外公布的ip，后面跟这的是服务，这里是apache，apache的配置后面会说到。
我的结果如下：

1.3.3.配置authkeys
配置如下：
auth  1

1             crc

我的结果如下：

这里需要对autokeys文件的权限进行修改，修改如下：
#chmod 600 /etc/ha.d/authkeys
如不修改为600，heartbeat服务会无法开启。
到这里，对配置文件的修改完成，把三个文件复制到node2下的/etc/ha.d/下，注意node1和node2中的这三个文件确保相同。
1.4.安装apache
软件包：httpd-2.2.6.tar.gz
我把软件包放在了/home/laborc
1.解压缩
#cd /home/laborc
#tar -zvxf httpd-2.2.6.tar.gz
#cd httpd-2.2.6
2.创建安装目录
#mkdir -p /usr/local/apache2
#./configure --prefix=/usr/local/apache2 --enable-modules=so --enable-rewrite
#make
#make install
到这里apache安装完成，node2安装过程如上。为了区别node1和node2的apache服务，我把apache的默认页面进行了修改，node1改为laborc work ，node2 改为 linux-xua5 work
1.5.建立http服务切换启动脚本的链接文件
# mv apache apache-bak (node2上也要做这步)
# ln -s /var/local/apache/bin/apachectl apache (node2上也要做这步)
1.6.启动heartbeat
#cd /etc/init.d
#./heartbeat start
node2 如上启动heartbeat
1.7.测试
启动heartbeat以后，从另外的电脑输入http://192.168.0.112,查看的结果如下

然后拔掉node1的网线，再次刷新页面，发现node2的apach接收了node1的apace，结果如下：

把网线插到node1中，node1的apache恢复正常，再次刷新页面，结果如下



2.  DRBD安装配置
2.1.下载DRBD
下载地址：http://software.opensuse.org/search?baseproject=ALL&p=1&q=drbd
根据自己的版本下载合适的包
需要下载两个包，DRBD和drbd-kmp-desktop，我的版本如下：
DRBD：drbd-8.3.4-2.4.i586.rpm
drbd-kmp-desktop：rbd-kmp-xen-8.3.4_2.6.31.5_0.1-2.4.i586.rpm
这里需要注意，如果不安装drbd-kmp-desktop，那DRBD在启动的时候会报can not load drbd module，网上说是opensuse默认不能加载drbd module，需要升级一下内核，具体我也不是很清楚。
2.2.安装DRBD
# rpm –ivh drbd-8.3.4-2.4.i586.rpm
# rpm –ivh drbd-kmp-desktop-8.3.4_2.6.31.5_0.1-2.4.i586.rpm
2.3.配置drbd.conf
我的配置如下：
#
# please have a a look at the example configuration file in
# /usr/share/doc/packages/drbd/drbd.conf
#
global{
       usage-count yes;    #（是否参加使用者统计，yes为参加）
}
common{
       syncer{ rate 300M;}
}
resource r0{
  protocol C;         #（数据同步协议，C为收到数据并写入后返回，确认成功）
disk{
   on-io-error  detach;
  size     5G;         #（由于实验环境下两台服务器硬盘大小不同，所以需要设置drbd的大小）
}
net{
       after-sb-0pri disconnect;
       rr-conflict  disconnect;
}
on laborc{
       device /dev/drbd0;     
       disk /dev/sdb5;        
       address 192.168.0.110:7788;
       meta-disk  internal;
      
}
on linux-xua5{
       device   /dev/drbd0;
       disk   /dev/sdb5;
       address  192.168.0.111:7788;
       mate-disk  internal;
}
}
上面的disk  /dev/cdb5;中的cdb5一定要注意，这个分区必须是未挂载的，
如果是已挂载的启动DRBD的时候会报如下错误：（Restarting all DRBD resources:# r0:
Failure: (114) Lower device is already claimed. This usually means it is mounted.），如果系统中
没有未挂载的分区，需要创建新分区，如果创建下面会提到。
图如下：

2.4.创建新分区
首先在虚拟机上添加一个硬盘，我添加了20G，一旦添加以后，我系统就有了两块硬盘，
分别为：/dev/sda和/dev/sdb（新添加的），现在需要对sdb分区，我使用fdisk进行分区，操作如下：
1.fdisk /dev/sdb   #进入新硬盘sdb
2.p   #查看硬盘现有哪些分区，现在查看应该还无分区
3.n   #添加一个分区
4.e   #添加扩展分区，然后它会提示让您输入一些属性，输入完以后，扩展分区就建好了
5.n   #这里将会创建逻辑分区
6.l   #添加逻辑分区，然后它会提示让您输入一些属性，输入完以后，逻辑分区就建好了
7.w   #把创建好的分区写入磁盘表
以下是操作的图：


2.5.创建数据块
# drbdadm create-md r0   （r0是我在drbd.conf中配置的resource），结果如下图

2.6.启动DRBD
# /etc/init.d/drbd srart  结果如下图：

可以用cat /proc/drbd查看数据同步的进度，如下图


等数据同步完查看DRBD的状态，如下图

第一次同步耗时比较长，因为需要把整个分区的数据全部同步一遍。
2.7.设置主节点
上面图中st:Secondary/Secondary，说明还未设置主节点，我们可以使用一下命令来设置
#  drbdadm primary db
可能第一次设置会出现一下错误：
State change failed: (-2) Refusing to be Primary without at least one UpToDate disk
Command ‘drbdsetup /dev/drbd0 primary’ terminated with exit code 11
可以看到，第一次设置主节点时用 drbdadm 命令会失败，所以先用drbdsetup 来做，以后就可以用 drbdadm 了。
# drbdsetup /dev/drbd0 primary –o
再次查看2台服务器的drbd状态，见下图：

可以看到st:Secondary/Secondary 变成了st:Primary/Secondary
2.8.测试同步数据
第一次同步完成之后，就可以对drbd的设备创建文件系统了：
# mkfs.ext3 /dev/drbd0
将文件系统mount上：
# mount /dev/drbd0 /drbddata
在主节点上写入测试数据到/drbddata
然后，我们把node1的primary降级成secondary，把secondary提升成primary：
# umount /drbddata/
# drbdadm secondary r0
把node2的primary降级前，一定要先umount设备才行。然后提升secondary：
# drbdadm primary r0
# mount /dev/drbd0 /drbddata/


3.  Mysql 安装配置
3.1.编译安装mysql
我使用的mysql为mysql-5.0.40.tar.gz
按照以下步骤进行编译安装：
# tar -zxvf mysql-5.0.40.tar.gz
# cd mysql-5.0.40
# groupadd mysql
# useradd -g mysql -s /sbin/nologin -M mysql
# ./configure --prefix=/urs/local/mysql --with-charset=gbk --localstatedir=/drbddata/drbd/data --with-extra-charset=all --enable-thread-safe-client
# make && make install
# cp support-files/my-large.cnf  /etc/my.cnf
# chown -R mysql.mysql /urs/local/mysql/
# /urs/local/mysql/bin/mysql_install_db --user=mysql
# chown -R root.root  /urs/local/mysql/
# chown -R mysql.mysql  /drbddata/drbd/data
启动数据库服务，并添加到自启动
# /urs/local/mysql/bin/mysqld_safe --user=mysql &
# cp support-files/mysql.server   /etc/rc.d/init.d/mysqld
# chm od 755 /etc/rc.d/init.d/mysqld
加入服务队列：
# chkconfig --add mysqld
配置 库文件搜索路径
# echo "/urs/local/mysql/lib/mysql">>/etc/ld.so.conf
# ldconfig
# ldconfig -v
添加/usr/local/mysql/bin到环境变量PATH中
#echo "export PATH=$PATH:/urs/local/mysql/bin">>/etc/profile
#source /etc/profile
如果在编译的时候出现：checking for termcap functions library... configure: error: No curses/termcap library found。原因是缺少ncurses。
如果在make的时候出现以下错误：exec g++ not found。原因是缺少gcc-c++包，安装好以后需要重新configure


4.  集成Mysql和DRBD至Heartbeat
4.1.集成DRBD至Heartbeat
把DRBD集成至Heartbeat只需要修改/etc/ha.d/haresources这个文件，修改方法和内容如下：
# vi /etc/ha.d/haresources
laborc  192.168.0.112  drbddisk::r0  Filesystem::/dev/drbd0::/drbddata/drbd:ext3  apache
上面那行解释如下：
laborc                                  # 定义laborc为heartbeat的主机
192.168.0.12                           #定义对外服务的IP地址，这个IP自动在主从机之间切换
drbddisk::r0                             #定义使用的drbd资源
Filesystem::/dev/drbd0::/drbddata/drbd:ext3  #定义挂载文件系统
apache                            #  定义其他需要切换的服务（用空格隔开）
4.2.集成Mysql至Heartbeat
1.如果Mysql服务还开着，请把服务服务关掉
#service mysqld stop
2.把my.cnf复制到drbd设备中（我这里是硬盘，drbd0所挂载的文件系统/drbddata/drbd）
#cp /etc/my.cnf  /drbddata/drbd
3.把mysql的data文件复制到drbd设备中（我这里是硬盘，drbd0所挂载的文件系统/drbddata/drbd），我的mysql的data文件放在/drbddata/data文件下
#cp  –R  /drbddata/data  /drbddata/drbd /data
4.修改mysql的启动脚本，修改mysql的data文件的路径
#vi  /etc/init.d/mysqld
datadir = /drbddata/drbd /data
5.创建/etc/my.cnf到DRBD文件系统中新配置文件的链接
#ln  –s  /drbddata/drbd /my.cnf  /etc/my.cnf
6.修改/etc/ha.d/haresources这个文件，在其后面添加Mysql的服务
laborc 192.168.0.112  drbddisk::r0  Filesystem::/dev/drbd0::/drbddata/drbd:ext3 apache mysqld


5.  效率测试
首先我在node1中创建了一张测试表test，结构如下：

然后创建一个存储过程，如下：
create procedure t_procedure()
begin
declare a int;
set a = 1;
while a<20000000 do
insert into test_procedure(id,name) values(a,'asd');
set a = a+1;
end while;
end;
//
执行存储过程：
Call t_procedure();
我插入了两千万条数据，两个节点同步所需的时间如下图：

以下是node1中的数据查询：

以下是node2中的数据查询：

以下是同步的详细信息：