drbd+heartbeat+nfs高可用架构搭建

lsdwyl

一、客户需求

1、需求描述
有些客户有自己的存储设备，但是并没有集群文件系统服务，所以如果我们多个节点（计算节点）如果想同时使用其中的一个块且要保证高可用的话，就需要我们自己来完成类似集群文件系统的服务组合，在此我们使用的服务组合是：iscsi共享+drbd+heartbeat+nfs。
2、服务说明
Iscsi共享：这里通过iscsi共享服务将存储设备上的存储块共享出去，提供节点（NC1+NC2）使用，此处我们将在iscsi服务短创建两个镜像充当块设备。

Drbd   ：服务器之间镜像块设备内容的存储复制解决方案。数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回），此处在NC1、NC2上面部署，NC1为主NC2为备份，实时同步后数据相同。

Heartbeat：实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能，此处用于drbd服务，确保nfs能一直挂载iscsi提供给drbd的块设备。

Nfs     ：网络文件系统，通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件，此处在NC1和NC2上面分别部署，主要是提供计算节点对iscsi的块设备挂载目录。

计算节点：现实场景中应该是我们云平台的计算节点，但由于是测试环境，所以在虚拟机上面搭建了一台KVM充当计算节点，我们会将vhost存放在我们共享出来的iscsi存储上面，使用的挂载方式是nfs。
二、环境准备
1、测试环境拓扑结构

【图】搭建环境拓扑结构图

2、服务分配


3、环境描述
3.1、网络环境
Iscsi节点网络环境：红色参数为自定义参数，其他参数无需修改。
[root@iscsi~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
NM_CONTROLLED="yes"
ONBOOT=yes
HWADDR=00:0C:29:14:5D:03
TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.0.10
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03

NC1网络环境单网卡：红色参数为自定义参数，其他参数无需修改。
[root@nc1~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
NM_CONTROLLED="yes"
ONBOOT=yes
HWADDR=00:0C:29:83:71:98
TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.0.11
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03

NC2网络环境单网卡：红色参数为自定义参数，其他参数无需修改。
[root@nc2~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
NM_CONTROLLED="yes"
ONBOOT=yes
HWADDR=00:0C:29:45:5F:66
TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.0.12
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03

计算节点网络环境：红色参数为自定义参数，其他参数无需修改。
[root@kvm~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
NM_CONTROLLED="yes"
ONBOOT=yes
TYPE=Ethernet
BOOTPROTO=none
IPADDR=192.168.0.15
PREFIX=24
GATEWAY=192.168.0.1
DNS1=8.8.8.8
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
UUID=5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03
HWADDR=00:0C:29:18:8C:CB

3.2、系统环境
（1）、关闭ssh的DNS反向解析，加快ssh连接速度。
sed-ri 's/^#UseDNS yes/UseDNS  no/'/etc/ssh/sshd_config&&/etc/init.d/sshd restart

（2）、关闭防火墙和selinux
    /etc/init.d/iptables stop&&chkconfigiptables off&&setenforce 0
    sed  -ri's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

（3）、配置ntp，确保服务器之间的时间一致性。
    每服务器执行命令：yum install -yntpdate
          我们选择计算节点为ntp服务器，因为内网服务器不一定允许上网，但是计算节点可能允许，我们可以以它为ntp服务端，其他为客户端。
        服务端需执行命令：yum install –yntp
                           sed  -ri 's/restrict -6 ::1/restrict 192.168.0.0mask 255.255.255.0/' /etc/ntp.conf && /etc/init.d/ntpd restart && chkconfig ntpd on
每客户端执行命令：echo"0 *  *  * *   root  /usr/sbin/ntpdate 192.168.0.15">>/etc/crontab&&/etc/init.d/crond restart
三、安装配置
1、Iscsi共享部署
1.1、在iscsi服务端所需操作

（1）、生成共享块设备
[root@iscsi ~]#ddif=/dev/zero of=/root/iscsi01.imgbs=1M count=8000  用于drbd主（NC1）
[root@iscsi~]#dd if=/dev/zero of=/root/iscsi02.imgbs=1M count=8000  用于drbd从（NC2）

（2）、添加hosts记录到/etc/hosts文件
    192.168.0.10 iscsi
192.168.0.11 nc1
192.168.0.12 nc2

（3）、安装target服务
[root@iscsi ~]#yum installscsi-target-utils

（4）、iscsi服务端配置文件/etc/tgt/targets.conf最下面添加两个新条目：

  #定义名称
backing-store/root/iscsi01.img      #选择共享的块设备
initiator-address192.168.0.11       #允许访问的主机ip 此处为NC1
write-cache off


#定义名称
backing-store/root/iscsi02.img#选择共享的块设备
initiator-address192.168.0.12#允许访问的主机ip 此处为NC2
write-cache off


（5）、重启tgtd服务，并把它加入开机启动项。
[root@iscsi~]# /etc/init.d/tgtd restart
[root@iscsi~]# chkconfig tgtd on
1.2、在iscsi客户端上所需操作
1.2.1、在NC1、NC2上面的操作
（1）、添加hosts记录到/etc/hosts文件
    192.168.0.10 iscsi
192.168.0.11nc1
192.168.0.12nc2

（2）、首次连接tgtd服务端需要登录操作
NC1执行：iscsiadm-m node -T iqn.2014-05.inas.example:server.target1 --login
NC2执行：iscsiadm-m node -T iqn.2014-05.inas.example:server.target2 --login
“iqn.2014-05.inas.example:server.target1”此名称为tgtd配置文件设置的名称。

（3）、NC1、NC2同时安装tgtd客户端。
yum install iscsi-initiator-utils
iscsiadm-m discovery -t sendtargets -p 192.168.0.10 #测试是否能发现服务器允许的共享设备，如果没有结果，请查看服务端的配置是否允许此主机发现。

    NC1的结果应为：
[root@nc1~]# iscsiadm -m discovery -t sendtargets -p 192.168.0.10
192.168.0.10:3260,1iqn.2014-05.inas.example:server.target1
    NC2的结果应为：
[root@nc2~]# iscsiadm -m discovery -t sendtargets -p 192.168.0.10
192.168.0.10:3260,1iqn.2014-05.inas.example:server.target2
2、drbd部署
2.1、安装drbd
　　（1）、安装drbd
rpm-Uvh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
rpm-ql elrepo-release-6-5.el6.elrepo.noarch
yum--enablerepo=elrepo install drbd84-utils kmod-drbd84
rpm–Uvhhttp://mirrors.hust.edu.cn/epel//6/x86_64/epel-release-6-8.noarch.rpm
（2）、重启使用新内核
[root@nc1 ~]# init 6
[root@nc2 ~]# init 6
需要重启NC1和NC2，确保使用的是更新后的内核。
更新前的内核
[root@NC2 ~]# uname -r
2.6.32-220.el6.x86_64
更新后的内核
[root@nc2 ~]# uname -r
2.6.32-431.17.1.el6.x86_64
2.2、修改配置文件
（1）、全局配置文件/etc/drbd.d/global_common.confNC1、NC2配置需相同，配置内容如下:
[root@nc1~]# grep -v "#" /etc/drbd.d/global_common.conf
global{
usage-count no;
}

common{
protocol C;
handlers {
       pri-on-incon-degr"/usr/lib/drbd/notify-pri-on-incon-degr.sh;/usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ;reboot -f";
           pri-lost-after-sb"/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh;echo b > /proc/sysrq-trigger ; reboot -f";
  local-io-error"/usr/lib/drbd/notify-io-error.sh;/usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ;halt -f";
   }
startup {
  wfc-timeout 100;
  degr-wfc-timeout 120;
     }
options {
  }
  disk {
  on-io-error detach;
fencing resource-only;
   }
net {
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
cram-hmac-alg "sha1";
shared-secret "mydrbdlab";
}
}
（2）、Res配置文件：/etc/drbd.d/nfstest.resNC1和NC2配置相同
[root@nc1 drbd.d]# catnfstest.res
resource nfstest {
net{
                cram-hmac-alg "sha1";
                shared-secret"mydrbdlab";
}
  on nc1 {
     device  /dev/drbd1;
    disk   /dev/sdb;
     address 192.168.0.11:7789;
    meta-disk internal;
                   }
  on nc2 {
     device  /dev/drbd1;
     disk  /dev/sdb;
     address 192.168.0.12:7789;
    meta-disk internal;
                     }
}
2.3、创建资源
（1）、NC1和NC2上同时操作
drbdadmcreate-md nfstest          #建立 drbdresource
drbdadmup nfstest
[root@nc1~]# /etc/init.d/drbd restart
[root@nc1~]# chkconfig drbd on
####指定主节点（我们选NC1）
drbdadm-- --overwrite-data-of-peer primary nfstest
（2）、等待同步完成后格式化分区
----当结果为如下时，表明主从数据已经同步完成。
[root@nc1drbd.d]# cat /proc/drbd
version:8.4.4 (api:1/proto:86-101)
GIT-hash:599f286440bd633d15d5ff985204aff4bccffadd build by phil@Build64R6, 2013-10-1415:33:06

    1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate Cr-----
ns:1144 nr:4 dw:1148 dr:1041al:12 bm:1 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
----格式化操作只能在主DRBD上面运行，此处为NC1
2.4、完成drbd部署
（1）、查看设备是否挂载
    [root@nc1 drbd.d]# fdisk -l

Disk/dev/sda: 10.7 GB, 10737418240 bytes
255heads, 63 sectors/track, 1305 cylinders
Units= cylinders of 16065 * 512 = 8225280 bytes
Sectorsize (logical/physical): 512 bytes / 512 bytes
I/Osize (minimum/optimal): 512 bytes / 512 bytes
Diskidentifier: 0x00002f56
        Device Boot      Start         End      Blocks  Id  System
/dev/sda1   *          1          26      204800  83  Linux
Partition1 does not end on cylinder boundary.
/dev/sda2              26         157    1048576   82  Linux swap / Solaris
Partition2 does not end on cylinder boundary.
/dev/sda3             157        1306    9231360   83  Linux

Disk /dev/sdb:8388 MB, 8388608000 bytes  #可看出此设备是我们的挂载节点
64heads, 32 sectors/track, 8000 cylinders
Units= cylinders of 2048 * 512 = 1048576 bytes
Sectorsize (logical/physical): 512 bytes / 512 bytes
I/Osize (minimum/optimal): 512 bytes / 512 bytes
Diskidentifier: 0x00000000

（2）、格式化已挂载/dev/drbd1 只在master上面执行。
mkfs.ext4 /dev/drbd1
3、heartbeat部署
3.1、heartbeat安装
（1）、更新安装源NC1、NC2相同
rpm -Uvh http://mirrors.hust.edu.cn/epel//6/x86_64/epel-release-6-8.noarch.rpm
（2）、yum 安装heartbeatNC1、NC2相同
yum install -y heartbeat
3.2、heartbeat配置
　　（1）、NC1和NC2 配置相同的文件
[root@nc2 ha.d]#cat /etc/ha.d/haresources
nc1IPaddr::192.168.0.6/24/eth0 drbddisk::nfstest Filesystem::/dev/drbd1::/mnt/drbd::ext4killnfsd
[root@nc2 ha.d]#cat /etc/ha.d/authkeys
auth 1
1 crc
[root@nc2 ha.d]#cat /etc/ha.d/resource.d/killnfsd
killall -9 nfsd;/etc/init.d/nfs restart; exit 0; drbdadm -- --overwrite-data-of-peer primarynfstest
（2）、NC1上面的主配置文件/etc/ha.d/ha.cf
[root@nc1 ~]#cat /etc/ha.d/ha.cf
logfile /var/log/ha-log
logfacility local0
keepalive 2
deadtime 10
warntime 6
initdead 120
udpport 694
ucast eth0 192.168.0.12                   #NC2的ip
node nc1                             #定义主
node nc2                             #定义从
auto_failback off                       #主drbd恢复时不抢占
ping_group group1 192.168.0.11 192.168.0.12#仲裁，防止闹裂

（3）、NC2上面的主配置文件/etc/ha.d/ha.cf
[root@nc2 ~]#cat /etc/ha.d/ha.cf
logfile /var/log/ha-log
logfacility local0
keepalive 2
deadtime 10
warntime 6
initdead 120
udpport 694
ucast eth0 192.168.0.11                   #NC1的ip
node nc1                             #定义主
node nc2                             #定义从
auto_failback off                       #主drbd恢复时不抢占
ping_group group1 192.168.0.11 192.168.0.12 #仲裁，防止闹裂，也可写成ping 网关ip
3.3、完成heartbeat部署
　　（1）、保存配置重启生效
　　[root@nc1~]# /etc/init.d/heartbeat restart
[root@nc1 ~]# chkconfig heartneat on
（2）、查看结果，正确结果如下：
      NC1结果：


NC2结果：


（3）、测试高可用
关闭NC1后，NC2 自动切换为drbd主


关闭NC2后，NC1自动切换为drbd主



4、nfs服务端部署
4.1、安装nfs
    yum install  –y  nfs-utilsnfs4-acl-toolsnfs-utils-lib-develnfsometer
4.2、修改权限
echo "/mnt/drbd *(rw,no_root_squash)" >> /etc/exports
/etc/init.d/nfs restart
chkconfig nfs on
5、计算节点（iServer）
　　在管理平台存储管理中添加虚拟IP NFS 共享出的目录，并在上建立虚拟机。
　　重启及关闭高可用的主节点，测试VIP和挂载目录可正常切换。虚拟机有几秒钟中断之后正常。
6、计算节点部署（KVM）
6.1、安装kvm
　　在安装系统时可直接勾选kvm服务
　　

6.2、挂载nfs目录
　　echo "192.168.0.6:/mnt/drbd     /var/lib/libvirt/images/             nfs     defaults        00" >> /etc/fstab
　　mount -t nfs 192.168.0.6:/mnt/drbd/var/lib/libvirt/images/
四、完成测试
1.1、新建vhost
　　

1.2、检查drbd下的文件
　　在NC1（挂有drbd目录的）上面查看是否存在test1的镜像文件
　　

　　文件存在！
　　1.3、制造故障查看切换
　　此时将NC1关机查看切换状态
　　

　　已切换！
　　1.3、检查vhost切换后的状态
　　

　　

　　经验证服务无明显中断，可继续访问。