DRBD(Distributed Replicated Block Device)
Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。
1.环境介绍
两台Centos6.5
test01 eth0 192.168.1.88
ech1 192.168.10.88(用作DRBD)
两硬盘 /dev/sda /dev/sdb
test01 eth0 192.168.1.99
ech1 192.168.10.99(用作DRBD)
两硬盘 /dev/sda /dev/sdb
##添加yum源（163yum）
cd /etc/yum.repos.d/
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
sed -i '/mirrorlist/d' CentOS-Base-163.repo
sed -i '/\[addons\]/,/^$/d' CentOS-Base-163.repo
sed -i 's/\$releasever/6/' CentOS-Base-163.repo
sed -i 's/RPM-GPG-KEY-CentOS-5/RPM-GPG-KEY-CentOS-6/' CentOS-Base-163.repo
#清理并重新生成yum缓存
yum clean metadata
yum makecache
#######注意事项
（1） 修改/etc/hosts文件 。使之互相解析的test01和test02为eth2接口IP。
（2） 关闭selinux（setenforce 0）关闭iptables （service iptables stop）或者写入规则。
2.DRBD安装
（1） 首先我们要升级内核，升级之后我们重启 yum -y update kernel*
yum install kernel-devel 这里请注意要加载新的内核
（2） rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
（3） 安装DRBD yum -y install drbd83-utils kmod-drbd8
（4） 加载DRBD模块到内核 modprobe drbd
（5） 检测DRBD是否安装成功 lsmod | grep drbd #lsmod = list modules
%%%%%kernel*不升级的话 可能会导致加载DRBD模块到内核失败。
（6） modprobe -l | grep -i drbd 可以查看路径
安装完成后会在/etc/init.d/drbd生成启动脚本
3.初始化磁盘
（1） 首先使用fdisk –l 确定你新加虚拟磁盘的盘号
（2） 使用fdisk /dev/盘号 进行分区不需要格式化
4.DRBD配置
（DRBD的配置文件主要分三个比分：global、common和resource。在运行的时候默认读取配置文件的路径是/etc/drbd.conf，这个文件描述了DRBD的一些配置参数以及设备与硬盘分区的映射关系，默认情况下是空的，不过在DRBD的源代码包中包含了配置文件的样例）
一般情况下global_common.conf（本次实验文件所在目录/etc/drbd.d/）文件仅包含global和common部为分配置（理解全局配置），在/etc/drbd.d/*.res的文件定义于一个资源（理解为主机定义）。
其实可以将DRBD配置整合到drbd.conf文件中，不过这样做在资源比较多的情况下会变得混乱。
（1） 本次采用分布式配置首先我们来配置/etc/drbd.d/global_common.conf
内容如下：
global {
usage-count no; #是否参加DRBD使用者统计，默认是参加
}
common {
syncer {rate 200M;} #主节点和备用节点同步时最大的网络速率
protocol C; #使用DRBD的第三种同步协议，表示收到远程主机的写入确认后认为写入完成
handlers {
pri-on-incon-degr "echo o > /proc/sysrq-trigger ;halt -f";
pri-lost-after-sb "echo o > /proc/sysrq-trigger ;halt -f";
local-io-error "echo o >/proc/sysrq-trigger ;halt -f";
fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";
pri-lost "echo pri-lost. Have a look at the log files. | mail -s 'DRBD Alert'root";
split-brain "/usr/lib/drbd/notify-splot-brain.sh root";
out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
}
net { #DRBD同步时使用的验证方式和密码
cram-hmac-alg "sha1";
shared-secret "MySQL-HA";
}
disk { #使用dpod功能（drbd outdate-peer daemon）保证数据在同步时不能进行切换
on-io-error detach;
fencing resource-only;
}
startup {
wfc-timeout 120;
degr-wfc-timeout 120;
}
}
（2） 其次我们在drbd.d目录下创建以.res为后缀的文件，本次创建的文件是drbd.res目录是/etc/drbd.d/
内容如下：(两台同时)
resource r0 { #定义资源名称为r0
on test01 { #每个主机的说明以on开头 后面是主机名hostname
device /dev/drbd0; #定义DRBD使用磁盘的逻辑路径
disk /dev/sdb1; #/dev/drbd0 使用的磁盘分区
address 192.168.1.13:7788; #设置DRBD的监听端口，与另一台主机通信
meta-disk internal; #DRBD元数据存放方式 internal 内部
}
on test02 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.1.12:7788;
meta-disk internal;
}
}
（3） 创建haclient组并设置权限 原因是：我们会使用drbd-peer-outdater fence-peer程序。使用该机制dopd心跳插件程序，就需要能够调用drbdsetup和drbdmeta根特权。
命令如下：(两台同时)
groupadd haclient
chgrp haclient /sbin/drbdsetup
chmod o-x /sbin/drbdsetup
chmod u+s /sbin/drbdsetup
chgrp haclient /sbin/drbdmeta
chmod o-x /sbin/drbdmeta
chmod u+s /sbin/drbdmeta
（4） 在启动DBRD之前，需要分别在两台主机上的指定分区(这里是sdb4)上创建提供DRBD记录信息的数据块
drbdadm create-md r0（r0表示之前定义的资源）或者执行drbdadm create-md all
正确的提示是：
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
%%%%%%%%%%drbdadm create-md r0: exited with code 40
解决办法：初始化磁盘文件格式, dd if=/dev/zero bs=1M count=1 of=/dev/sdb; sync
（5） 在两个节点上启动DRBD服务 服务脚本位于/etc/init.d/drbd
/etc/init.d/drbd start
（6） 执行cat /proc/drbd
输出内容如下
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build64R6, 2014-11-24 14:51:37
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:10482024
输出解释：
ro表示角色信息，第一次启动DRBD时，两个节点默认都处于Secondary状态
ds表示磁盘状态信息，“Inconsistent/Inconsistent”即 “不一致/不一致”状态表示两个节点的磁盘数据不一样
ns表示网络发送的数据包信息
dw表示磁盘写信息
dr表示磁盘读信息
（7） 设置主用节点在默认情况下没有主用节点和备用节点之分因此需要设置两个主机的主次，选择需要设置为主用节点的主机执行以下命令
drbdsetup /dev/drbd0 primary -o 也可以执行以下命令 drbdadm -- --overwrite-data-of-peer primary all
执行之后需要设置哪个主用节点就可以使用另一条命令
/sbin/drbdadm primary r0 或者/sbin/drbdadm primary all
稍等片刻后查看/proc/drbd
输出如下：
version: 8.3.16 (api:88/proto:86-97)
GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build64R6, 2014-11-24 14:51:37
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:10482024 nr:0 dw:0 dr:10482696 al:0 bm:640 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
ro的状态变成Primary/Secondary
ds状态也变成UpToDate/UpToDate 表示实时同步
（8） 挂载DRBD设备在主节点上挂载以下操作
mkfs.ext4 /dev/drbd0
mount /dev/drbd0 /mnt (这里是挂载到mnt下根据需要自行挂载)
（9） 测试DRBD数据镜像
在主节点卸载磁盘分区，然后执行
[iyunv@drbd1 ~]#drbdadm secondary all
如果不执行这个命令，直接在备用节点执行切换到主节点的命令，会报错：
2: State change failed: (-1) Multiple primaries not allowed by config
Command 'drbdsetup 2 primary' terminated with exit code 11
接着，在备用节点执行
[iyunv@test02 ~]#drbdadm primary all
最后在备用节点挂载磁盘分区即可：
[iyunv@test02 ~]#mount /dev/drbd0 /mnt
3、注意点
1）mount drbd设备以前必须把设备切换到primary状态。
2）两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态。
3）处于secondary状态的服务器上不能加载drbd设备。
4）主备服务器同步的两个分区大小最好相同,这样不至于浪费磁盘空间,因为drbd磁盘镜像相当于网络raid 1。
DRBD的管理维护 配置好drbd以后，就需要使用命令在dbserver1和dbserver2上创建配置的drbd资源，使用如下命令： drbdadm create-md r0# r0为配置文件中定义的资源名 /etc/rc.d/init.d/drbd start#启动drbd /etc/rc.d/init.d/drbd stop#停止drbd /etc/rc.d/init.d/drbd restart#重启drbd watch -n 1 cat /proc/drbd /etc/init.d/drbd status 以上两种方式都可以查看drbd的状态 drbdadm -- --overwrite-data-of-peer primary all mkfs.ext3 /dev/drbd0 mkdir /drbd mount /dev/drbd0 /drbd 挂在后可以往/drbd目录写入一些测试数据，看看是否能同步到从节点上。 DRBD已经安装并且能正常同步了，那么我们接下来要做的就是将本机的已安装的mysql的数据迁移到drbd上，这里为了简单就不考虑新安装数据库的情形了，因为新安装的时候只需要将数据目录指定到drbd中并将my.cnf配置文件放到drbd中即可。具体的数据迁移步骤如下： 关闭dbserver1和dbserver2的mysql，/etc/rc.d/init.d/mysqld stop 在dbserver1上创建存放数据库数据的目录：mkdir /drbd/dbdata 在dbserver1将配置文件放到drbd目录中：
mv /etc/my.cnf /drbd/dbdata/ 删除dbserver2上的/etc/my.cnf，rm -f /etc/my.cnf 在dbserver1和dbserver2上执行如下命令创建软链接。 ln -s /drbd/dbdata/my.cnf /etc/my.cnf 修改/etc/my.cnf的数据目录指向/drbd/dbdata 将原来的mysql数据文件移动到/drbd/dbdata 执行chown -R mysql.mysql /drbd/dbdata 启动mysql
在没有安装配置drbd之前，drbd是不能自动切换的，我们可以写出过程来加深对drbd的理解，也更能明白heartbeat的工作流程，下面是手工切换的步骤： 在dbserver1上停止mysql，/etc/rc.d/init.d/mysqld stop。 在dbserver1上执行umount /dev/drbd0。 在dbserver1上执行drbdadm secondary all切换到从模式。当两个节点都是secondary模式的时候才可以将dbserver2设置成primary。 在dbserver2上执行drbdadmprimary all，将dbserver2提升为主模式，并观察/proc/drbd是否正常。 在dbserver2上执行mount /dev/drbd0 /drbd挂在文件系统。 启动dbserver2的mysql，/etc/rc.d/init.d/mysqld start。
注意：dbserver1和dbserver2上的mysql用户的uid和gid要一样。不然切换后会导致mysql数据目录的属主不正确而启动失败。 主切换成从，需要先卸载文件系统，再执行降级为从的命令： umount /dev/drbd0 drbdadm secondary all 从切换成主，要先执行升级成主的命令然后挂在文件系统： drbdadmprimary all 如果不成功drbdsetup /dev/drbd0 primary -o mount /dev/drbd0 /drbd/ 当DRBD出现脑裂后，会导致drbd两边的磁盘不一致，处理方法如下： 在确定要作为从的节点上切换成secondary，并放弃该资源的数据： drbdadm secondary r0 drbdadm -- --discard-my-data connect r0 在要作为primary的节点重新连接secondary（如果这个节点当前的连接状态为WFConnection的话，可以省略），使用如下命令连接： drbdadm connect r0
| 
QQ群⑧：
窥视卡
雷达卡
发表于 2016-3-30 13:57:45
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡