DRBD数据镜像与搭建

iyut

一、数据安全工具DRDB1. 数据镜像软件DRDB介绍
     分布式块设备复制，是基于软件、基于网络的块复制存储解决方案
     作用:用于服务器之间的磁盘、分区、逻辑卷等进行数据镜像。
     例如:当用户将数据写入本地磁盘时，数据也将会同步到同一网络的另一台主机的磁盘上，实现了本地与备机的实时同步。
         当本地数据出现问题，备机还保留着同一份相同的数据，  保证了数据的安全。
    基本功能：
         数据镜像类似网络的RAID1功能
         特点：实时性、透明性、同步镜像、异步镜像。

2.DRBD的组成
    一个DRBD有两个以上节点构成，分为主用节点和备用节点
    在主用节点上：
        DRBD设备不受限制的读写操作，可以用来初始化、创建、挂载文件系统。
    在备用节点上：
        DRBD无法挂载只能用来接收主用节点发送过来的数据(备用节点不能用于读写访问)
    两个节点之间是可以实现之间切换的
    DRBD负责接收数据，把数据写到本地磁盘，然后把数据发送给另外一台主机，另外一台主机将数据保存到自己的磁盘中。
    DRBD经常用于高可用集群和负载均衡集群系统中作为共享存储设备。
    DRBD系统是在IP网络中运行，所以在集群中作为共享存储，不需要其他硬件投资，节约资金
    DRBD用于数据备份，数据容灾等方面

3.DRBD主要特性
单主模式：使用比较频繁的一种模式，主用于高可用集群的数据存储方面，解决集群中的共享问题，此模式下，集群中只有一个主用节点可以对数据进行读写操作。   文件系统有ext3,4  xfs等
双主模式：只能在DRBD8.0以后版本中使用，主要用于负载均衡集群中，解决数据共享和一致性问题。
这种模式，集群中存在两个集群节点   文件系统有GFS、OCFS2
复制模式：
      
传输完整性校验
  脑列通知和自动修复
  由于集群节点间的网络连接临时故障、集群软件管理干预或者人为错误，导致DRBD两个节点切换为主用节点而断开连接。即脑列问题。


二、DRBD安装和测试
1.实验要求
   DRBD(Distributed Replicated Block Device）安装测试
2.架构拓扑
    网络要求：所有服务器位于同一VLan
                      
3.系统环境
  操作系统：Centos6.5
  相关软件：drbd-8.4.6.tar.gz                  drbd-utils-8.9.6.tar.gz
  网络要求：/etc/hosts 之间相互解析 需要手动添加
  主用节点和备用节点/dev/sdb1是未经格式化的物理磁盘分区，空间大小相同(推荐)
4.地址规划

名称	角色	IP地址	虚拟IP地址	镜像磁盘分区
ser5.hyzc.com	主服务器	192.168.2.10	192.168.2.15	/dev/sdb1
ser6.hyzc.com	从服务器	192.168.2.11	192.168.2.15	/dev/sdb1

5.软件安装
1>、安装依赖的软件
#在编译安装之前，必须安装内核开发包，以及支持库
   # yum -y install gcc kernel-devel kernel-headers
   # yum -y install perl perl-libs
   # yum -y install flex libxslt libxslt-devel
2>、编译安装DRBD
安装drbd内核模块
## Linux Kernel 2.6.32 起已包含DRBD内核模块，无需再安装。核心版本与DRBD版本对应关系详情参见：http://drbd.linbit.com/download/mainline/
[iyunv@ser5 Desktop]# uname -r   
2.6.32-431.el6.x86_64
[iyunv@ser5 Desktop]# tar xf drbd-8.4.6.tar.gz   
[iyunv@ser5 Desktop]# cd drbd-8.4.6     
[iyunv@ser5 drbd-8.4.6]# make KDIR=/usr/src/kernels/2.6.32-431.el6.x86_64
[iyunv@ser5 drbd-8.4.6]# cp drbd/drbd.ko /lib/modules/`uname -r`/kernel/lib/   
[iyunv@ser5 drbd-8.4.6]# depmod                    ## 更新内核包关联文件modules.dep     

[iyunv@ser5 drbd-8.4.6]# modprobe drbd             ## 安装内核模块   

[iyunv@ser5 drbd-8.4.6]# modinfo drbd              ## 查看drbd内核模块是否加载成功   

## KDIR= 指定的系统内核源码路径，根据实际情况设置

3>. 安装drbd管理工具
安装依赖工具：
# yum -y install docbook-style-xsl
安装软件drbd-utils
[iyunv@ser5 Desktop]# tar xf drbd-utils-8.9.6.tar.gz   
[iyunv@ser5 Desktop]# cd drbd-utils-8.9.6     
[iyunv@ser5 drbd-utils-8.9.6]# ./configure --prefix=/usr/local/drbd --sysconfdir=/etc/ --localstatedir=/var/ --with-pacemaker
[iyunv@ser5 drbd-utils-8.9.6]#make && make install
## --with-pacemaker，启用pacemaker集群支持，会创建ocf格式资源文件：/usr/lib/ocf/resource.d/linbit/drbd 及（drbddisk、drbdupper）二个服务脚本。

4>.链接文件/启动服务
[iyunv@ser5 drbd-utils-8.9.6]# ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm   
[iyunv@ser5 drbd-utils-8.9.6]# ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta     
[iyunv@ser5 drbd-utils-8.9.6]# ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup

5>.启动软件
[iyunv@ser5 drbd-utils-8.9.6]# /etc/rc.d/init.d/drbd start
## 为方便管理，可配置为系统服务自动启动

6.软件配置
1>.DRBD主配置文件(/etc/drbd.conf):
# vim  /etc/drbd.conf
# You can find an example in /usr/share/doc/drbd.../drbd.conf.example
include "/etc/drbd.d/global_common.conf";
include "/etc/drbd.d/*.res";
## global_common.conf文件包含global和common的DRBD全局配置部分；
## *.res文件包含DRBD资源的配置信息。

## 编辑全局配置文件（global_common.conf）：   
# vim /etc/drbd.d/global_common.conf
# DRBD is the result of over a decade of development by LINBIT.      
# In case you need professional services for DRBD or have      
# feature requests visit http://www.linbit.com
global {      
        usage-count  no;      # 是否加入DRBD官方统计      
}
common {
syncer {      
                verify-alg sha1;                 # 定义网络传输速率，一般传输速度的30%      
                rate 200M;   }
}      
resource r0 {      
        # 公用相同部分可以放到顶部，各节点会自动继承      
  protocol  C;          # 使用drbd的第三种同步协议,表示收到远程主机的写入确认后,则认为写入完成
   handlers {      
                # 定义处理机制程序，/usr/lib/drbd/ 里有大量的程序脚本。
                  pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";  
                   pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";  
                   local-io-error "echo o > /proc/sysrq-trigger ; halt -f";  
                   fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";   
                   pri-lost "echo pri-lost. Have a look at the log files. | mail -s 'DRBD Alert' denglei@ctfo.com";   
                   split-brain "/usr/lib/drbd/notify-split-brain.sh denglei@ctfo.com";   
                   out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh denglei@ctfo.com";           
        }
              startup {      
                       wfc-timeout  120;      
                      degr-wfc-timeout    120;  
        }
        options {      
                # cpu-mask on-no-data-accessible      
        }
        disk {                         # 磁盘相关公共设置，比如I/O、数据状态      
                on-io-error detach;   # 配置I/O错误处理策略为分离      
                fencing  resource-only;      
        }
        net {      
                # 设置DRBD同步时使用的验证方式和密码信息。      
                cram-hmac-alg sha1;      
                shared-secret "drbd";      
        }
        device    /dev/drbd0;   # DRBD逻辑设备的路径      
        meta-disk internal;      # drbd的元数据存放方式，DRBD磁盘内部。
        # 每个主机的说明以"on"开头,后面是主机名.在后面的{}中为这个主机的配置.      
        on ser5.hyzc.com {                                            # 此处是节点的主机名‘uname -n’      
                address         192.168.2.10:7788;            # 设置DRBD的监听端口      
                disk            /dev/sdb1;                               # 节点物理设备
                meta-disk internal;   
        }      
        on ser6.hyzc.com {      
                address         192.168.2.11:7788;      
                disk            /dev/sdb1;
               meta-disk internal;                               #DRBD的元数据存储方式      
        }      
}      

3>.启用DRBD资源
a.在两个节点执行      
## 创建设备元数据。这一步必须仅在创建初始化设备时完成。它初始化DRBD元数据。     
# drbdadm create-md r0
initializing activity log      
NOT initializing bitmap      
Writing meta data...      
New drbd meta data block successfully created.      

b.在两个节点执行启动服务
# /etc/init.d/drbd start      
# /etc/init.d/drbd start
最好在两个节点同时启动DRBD服务。
# netstat -anptul | grep :7788
c.在任意节点查看节点状态
登录任意drbd节点，然后执行”cat  /proc/drbd”命令，输出结果如下：
[iyunv@ser5 Desktop]# cat /proc/drbd   
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----     
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20980176     
输出的含义解释：
ro表示角色信息，第一次启动drbd时，两个drbd节点默认都处于Secondary状态，   
ds是磁盘状态信息，“Inconsistent/Inconsisten”，即为“不一致/不一致”状态，表示两个节点的磁盘数据处于不一致状态。     
Ns表示网络发送的数据包信息。     
Dw是磁盘写信息     
Dr是磁盘读信息
d.设置主用节点
  由于默认没有主用节点和备用节点之分，所以需要手动设置两个主机的主次节点。选择需要设置为主用节点的主机，然后执行如下命令：
[iyunv@ser5 drbd0]# drbdadm -- --overwrite-data-of-peer primary all   

也可执行下边命令
# drbdsetup /dev/drbd1 primary -o
第一次执行完此命令后，如果需要设置那个为主用节点，就可以使下边的命令
# /sbin/drbdadm primary r0   或者  # /sbin/drbdadm primary all
执行完命令后，开始同步两台机器对应的数据：

从ser5的drbd状态看出：“ro状态现在变为“Primary/Secondary”，“ds”状态也变为“UpToDate/Inconsistent”，也就是“实时/不一致”状态，现在数据正在主备两个主机的磁盘间进行同步，且同步进度为14.6%，同步速度每秒8M左右。   
等一会在查看drbd的状态：

      “ds”状态也变为“UpToDate/UpToDate”，也就是“实时/实时”状态
备注：
  
e.挂载DRBD设备
    由于mount操作只能在主用节点上进行，所以只有设置了主用节点后才能格式化磁盘分区，同时，在两个节点中，同一时刻只能有一台处于primary状态，另一台处于secondary状态。
    且处于secondary状态的节点上不能挂载DRBD设备，要在备用节点上挂载DRBD设备，要在备用节点上挂载DRBD设备，必须停用备用节点的DRBD服务或者将备用节点的服务提升为主用节点。
# mkfs.ext4 /dev/drbd0
# mount  /dev/drbd0 /mnt
# df –hT
/dev/drbd0     ext4      20G  172M   19G   1% /mnt   
    完成挂载后，就可以在/mnt下面读写数据，且数据会自动同步到备用节点上。

6. 测试DRBD数据镜像
第一种方法：
[iyunv@ser5 Desktop]# cd /mnt/   
[iyunv@ser5 mnt]# ls     
lost+found     
[iyunv@ser5 mnt]# mkdir haha     
[iyunv@ser5 mnt]# cd haha/     
[iyunv@ser5 haha]# echo success > pjc.txt
[iyunv@ser5 /]# umount /mnt/
然后使用drbdadm secondary r0把ser5主机变为备机
[iyunv@ser5 /]# drbdadm secondary r0   
[iyunv@ser5 /]# cat /proc/drbd     
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----     
    ns:21444324 nr:0 dw:464148 dr:20981929 al:119 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
现在ser5变成了备机，我们接下来到ser6里操作，使用drbdadm primary r0，使ser6变成主机
[iyunv@ser6 mnt]# drbdadm primary r0   
[iyunv@ser6 mnt]# cat /proc/drbd     
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----     
    ns:0 nr:21444324 dw:21444324 dr:672 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0     

从ser6的drbd输出可以看到，ser6成为了主机   
然后把drbd挂载到mnt目录下，查看是否有ser5里建立的文件
[iyunv@ser6 mnt]# mount /dev/drbd0 /mnt/   
[iyunv@ser6 mnt]# cd /mnt/     
[iyunv@ser6 mnt]# ll     
total 20     
drwxr-xr-x 2 root root  4096 Aug  5 06:09 haha     
drwx------ 2 root root 16384 Aug  5 05:58 lost+found     
[iyunv@ser6 mnt]# cd haha/     
[iyunv@ser6 haha]# ls     
pjc.txt
可以看出，ser6成为主机时，收到了之前主机ser5建立的文件夹。
第二种方法：
停止备用节点ser6上面的DRBD服务        注：停用服务必须退出当前挂载的目录，不然报
r0: State change failed: (-12) Device is held open by someone      
additional info from kernel:      
failed to demote      
ERROR: Module drbd is in use      

[iyunv@ser6 /]#  /etc/init.d/drbd stop   
[iyunv@ser6 /]# mount /dev/sdb1 /mnt/     
[iyunv@ser6 /]# df     
[iyunv@ser6 /]# cd /mnt/     
[iyunv@ser6 mnt]# ls     
[iyunv@ser6 haha]# ls     
haha  pjc.txt  tets
      注：测试完后，要重新启动备用节点上面的DRBD服务，此时必须先卸载/dev/sdb1设备，然后才能成功启动DRBD服务。
           这里挂载的是/dev/sdb1设备，而不是DRBD设备，因为DRBD服务只有到DRBD服务启动的时候才能加载到系统中。

7.DRBD主备节点切换
     在系统维护或者在高可用集群中，当主用节点出现故障，就需要主备节点的角色切换
A、停止DRBD服务切换
关闭主用节点服务，此时挂载的DRBD分区就自动在主用节点卸载了，操作如下：
[iyunv@ser6 /]# /etc/init.d/drbd stop   
Stopping all DRBD resources: .
查看备用节点DRBD状态
[iyunv@ser5 /]# cat /proc/drbd   
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----     
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0     

  从标志unknown状态，然后在备用节点切换
[iyunv@ser5 /]# drbdadm primary all   
[iyunv@ser5 /]# cat /proc/drbd     
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----     
    ns:0 nr:0 dw:0 dr:672 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0     

   此时已变为primary状态，启动原来ser6主用节点服务后，处于unknown会自动变为secondary状态
然后挂载DRBD设备，完成主备切换      
[iyunv@ser5 /]# mount /dev/drbd0 /mnt/     

B、正常切换
首先在主用节点卸载磁盘分区，后执行：
[iyunv@ser5 /]# umount /mnt/   
[iyunv@ser5 /]# drbdadm secondary all

此时查看ser5主状态
[iyunv@ser5 /]# cat /proc/drbd   
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----     
    ns:8 nr:0 dw:8 dr:1025 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
此时看到两个:Secondary/Secondary 状态，所以指定一个主状态，在备用节点执行以下命令：
[iyunv@ser6 /]# drbdadm primary all   
[iyunv@ser6 /]# cat /proc/drbd     
version: 8.4.6 (api:1/proto:86-101)     
GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by root@ser5.hyzc.com, 2016-08-05 02:12:56     
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----     
    ns:0 nr:8 dw:8 dr:672 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0     

然后挂载DRBD设备，完成主备切换   
[iyunv@ser5 /]# mount /dev/drbd0 /mnt/   
  

8.drbd脑裂手动恢复过程(以ser6的数据位主，放弃ser5不同步数据)：   
1）将ser6设置为主节点并挂载测试，r0为定义的资源名     
#drbdadm primary r0  
# mount /dev/drbd0 /mnt/
# ls -lh /mnt/   查看文件情况
2）将ser5设置为从节点并丢弃资源数据   
# drbdadm secondary r0     
# drbdadm -- --discard-my-data connect r0
3）在ser6主节点上手动连接资源   
# drbdadm connect r0
4）最后查看各个节点状态，连接已恢复正常   
#cat /proc/drbd


遇到的问题：
A、软件编译时，错误解决办法：   
  
make[1]: *** [drbdsetup.8] Error 4      
make[1]: Leaving directory `/root/Desktop/drbd-utils-8.9.6/documentation/v9'      
make: *** [doc] Error 2      

解决办法：
# yum -y install docbook-style-xsl
configure: error: Cannot build utils without flex, either install flex or pass the --without-utils option.      
解决方式：yum install flex

B、软件运行时，错误解决办法：     
/etc/rc.d/init.d/drbd start     
Starting DRBD resources: no resources defined!      
解决办法：没有配置DRBD资源，或编译时没指定配置文件路径（/etc/drbd.conf)。
2、当执行命令”drbdadm create-md r0”时，出现以下错误信息。   
Device size would be truncated, which would corrupt data and result in      
'access beyond end of device' errors.      
You need to either      
* use external meta data (recommended)      
* shrink that filesystem first      
* zero out the device (destroy the filesystem)      
Operation refused.      
Command 'drbdmeta 0 v08 /dev/xvdb internal create-md' terminated with exit code 40      
drbdadm create-md r0: exited with code 40      
解决办法：初始化磁盘文件格式, dd if=/dev/zero of=/dev/sdXYZ bs=1M count=1

C、主备切换过程中遇到报错