MYSQL+heratbeat+DRBD+LVS 数据库高可用群集

cxin

　　在企业数据库应用群集方案中MYSQL+heratbeat+DRBD+LVS已经很成熟了，通过heartbeat+DRBD实现MYSQL的主节点写操作的高可用性；通过MYSQL+LVS实现MYSQL读操作的负载均衡。
　　DRBD简单工作流程：
　　     当数据写入到本地主节点时，这些数据会通过网络发送到另一台主节点上。本地主节点和远程主节点数据通过TCP/IP协议保持同步，主节点故障时，远程节点保存相同的数据，可以接替主节点继续提供数据。两个主节点之间使用heartbeat来监测对方是否存活。
　　群集的简单架构图如下：
　　
　　
　　DRBD部分：
　　1、设置host
　　192.168.0.229    mysql-drbd-1
　　192.168.0.230    mysql-drbd-2
　　
　　
　　
　　2、磁盘的设置
　　本地主节点的分区要跟远程主节点的分区大小一致。
　　新添加的分区格式化后就放在那里等待以后的配置就可以。
　　
　　
　　3、yum安装DRBD以及配置文件
　　#yum install -y drbd83 kmod-drbd83 #yum安装
　　#modprobe drbd    #加载模块
　　
　　
　　[root@mysql-drbd-2 ~]# cat /etc/drbd.conf  #配置文件
　　#
# please have a a look at the example configuration file in
# /usr/share/doc/drbd83/drbd.conf
#
#create by yw_cy at 2013-07-10
　　global {
         # minor-count 64;
         # dialog-refresh 5; #5 seconds
         # disable-ip-verification;
         usage-count no;
}
　　common {
  syncer { rate 200M; }
}
　　resource r0 {
        protocol      C;
        handlers {
             pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";
             pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";
             local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
             fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t 5";
             pri-lost "echo pri-lost. Have a look at the log files. | mail -s 'DRBD Alert' root";
             split-brain "/usr/lib/drbd/notify-split-brain.sh root";
             out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
}
　　 net {
        # timeout           60;
        # connect-int       10;
        # ping-int          10;
        # max-buffers     2048;
        # max-epoch-size  2048;
        cram-hmac-alg "sha1";
        shared-secret "MySQL-HA";
}
　　disk {
        on-io-error detach;
        fencing resource-only;
}
　　startup {
        wfc-timeout 120;
        degr-wfc-timeout 120;
}
　　device       /dev/drbd0;
　　on mysql-drbd-1 {
        disk        /dev/sdb1;
        address     192.168.0.229:7788;
         meta-disk   internal;
}
　　on mysql-drbd-2 {
        disk        /dev/sdb1;
        address     192.168.0.230:7788;
        meta-disk   internal;
}
　　}
　　
　　本地跟远程的一样就可以。
　　
　　
　　
　　4、DRBD的启动
　　     创建DRBD元数据库信息，命令为 #drbdadm  create-md  r0
　　执行这个命令是有肯能会报错，这时需用dd命令覆盖文件系统中的块设备信息。
　　dd if/dev/zero  of=/dev/sdb1  bs=1M  count=128
　　然后在执行刚才那个创建元数据库信息的命令就会成功了，然后就可以启动了
　　/etc/init.d/drbd  start
　　启动有可能也会报错，一般是权限啊，所属组的问题，按照提示依次完成就可以了。然后在次启动，成功。
　　
　　
　　
　　5、将节点设置为primary节点
　　#drbdadm primary r0   
　　#drbdadm  --  --  overwrite-data-of-peer  primary all #如果上一步执行不成功，则执行此命令把此节点设置为primary,从头开始同步
　　#mkfs.ext3  /dev/sdb1
　　
　　
　　
　　6、从新启动drbd
　　记得上面的操作都是在两个节点同时操作。
　　 [root@mysql-drbd-1 ~]# /etc/init.d/drbd restart
Stopping all DRBD resources: .
Starting DRBD resources: [ d(r0) s(r0) n(r0) ].  
　　
　　
　　
　　7、查看数据同步情况
　　[root@mysql-drbd-1 ~]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder10.centos.org, 2013-03-27 16:01:26
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
　　具体意思不多说，主要看两个关键字，primary/secondary  表示两台节点的关系建立完成，一台主要，一台次要。
　　update/update表示数据也同步了。到此DRBD部分配置完毕。
　　
　　
　　8、DRBD的应用测试
　　有些时候我们对于程序的原理或者运行流程我们不太懂，那就通过一个简单的方式，来告诉大家drbd的主要功能时什么。
　　
　　（1）先查看两台drbd的状态，由hostname区分
　　[root@mysql-drbd-1 /]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder10.centos.org, 2013-03-27 16:01:26
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
    ns:331828 nr:36 dw:132696 dr:199493 al:49 bm:37 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
　　###############################################################################
　　[root@mysql-drbd-2 /]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder10.centos.org, 2013-03-27 16:01:26
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
    ns:36 nr:331828 dw:331864 dr:93 al:1 bm:37 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
　　由输出可知，目前两台都是从状态，而且完成同步。
　　
　　
　　
　　（2）现在我们将mysql-drbd-1 设置为主：r0是配置文件中对这个数据块起的名字，如果就建立了一个也可以用all
　　[root@mysql-drbd-1 /]# drbdadm primary all
[root@mysql-drbd-1 /]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder10.centos.org, 2013-03-27 16:01:26
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:331828 nr:36 dw:132696 dr:199493 al:49 bm:37 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
　　
　　
　　（3）然后在主机的根下建立个文件夹database,然后将drbd0（配置文件中设置的）挂载到database下。
　　[root@mysql-drbd-1 /]# mount /dev/drbd0 /database
[root@mysql-drbd-1 /]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                      7.1G  3.1G  3.8G  45% /
/dev/sda1              99M   13M   81M  14% /boot
tmpfs                 143M     0  143M   0% /dev/shm
/dev/drbd0            4.0G   73M  3.7G   2% /database
　　然后进入到/database中建立一个测试文件testdrbd.txt
　　[root@mysql-drbd-1 database]# touch testdrbd.txt
[root@mysql-drbd-1 database]# ll
total 16
-rw-r--r-- 1 root root     0 Jul 16 13:55 create_test_drbd
drwx------ 2 root root 16384 Jul 16 13:54 lost+found。
-rw-r--r-- 1 root root     0 Jul 16 14:26 testdrbd.txt
　　这样我们就模拟了前端将数据写入的drbd中。
　　
　　
　　
　　（4）切换drbd验证测试结果
　　现在我们把mysql-drbd-1还原成初始状态，还原的步骤就是卸载，然后降级成secondary。然后再把mysql-drbd-2设置成主，然后在挂载上drbd0。
　　[root@mysql-drbd-2 /]# cat /proc/drbd
version: 8.3.15 (api:88/proto:86-97)
GIT-hash: 0ce4d235fc02b5c53c1c52c53433d11a694eab8c build by mockbuild@builder10.centos.org, 2013-03-27 16:01:26
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:36 nr:331904 dw:331940 dr:93 al:1 bm:37 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
　　[root@mysql-drbd-2 /]# mount /dev/drbd0 /database
[root@mysql-drbd-2 /]# cd /database
[root@mysql-drbd-2 database]# ll
total 16
-rw-r--r-- 1 root root     0 Jul 16 13:55 create_test_drbd
drwx------ 2 root root 16384 Jul 16 13:54 lost+found
-rw-r--r-- 1 root root     0 Jul 16 14:26 testdrbd.txt

　　这样，mysql-drbd-2的database目录下就也出现了testdrbd.txt文件，验证了drbd的写入高可用功能，测试成功。
　　‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍