NFS+Heartbeat+DRBD 架构部署（NFS高可用）

xiuxuan

　　NFS高可用介绍
　　

　　1、NFS高可用生成业务需求
　　在企业实际生产应用场景中，NFS网络文件存储系统是中小型企业最常用的存储架构解决方案之一。该架构方案部署简单，维护方便，并且只需要通过配置Inotify（rsync+inotify）简单而高效的数据同步方式就可以实现对NFS存储系统的数据进行异机主从同步已经实现数据读写分离（类似Mysql的从同步方式），且多个从NFS存储系统还可以通过LVS或者HAPROXY等代理实现业务负载均衡，即分担大并发读数据的压力，同时又排除了从NFS存储的单点问题。
　　
　　在高可用的存储系统架构中，虽然从NFS存储系统是多个，但是主的NFS存储系统仅一个，也就是说主的NFS存储系统一旦宕机，所有的写业务都会终止，而从NFS存储系统宕机1个就没什么大影响，那么如何解决这个主NFS存储系统单点的问题呢，其实，可以做好业务的服务监控，然后，当主NFS存储系统宕机后，报警管理员来人为手工根据同步的日志记录选择最快的从NFS存储系统改为主，然后让其他从NFS存储系统和新主NFS存储同步，这个方案简单可行，但是需要人工处理。
　　    这里我们可以采用NFS+DRBD+Heartbeat高可以服务解决方案，这个解决方案可以有效解决主NFS存储系统单点的问题，当主NFS存储宕机后，可以实现把主NFS存储系统从一个主节点切换到另外一个备节点，而新的主NFS存储系统还会自动和所有其他的从NFS存储系统进行同步，且新主NFS存储系统的数据和宕机瞬间的主NFS存储系统几乎完全一致，这个切换过程完全是自动进行的，从而实现了NFS存储系统的热备方案
　　

　　2、NFS高可以生产需求描述
　　本案例假设有3台NFS存储系统服务器，他们的IP分别是
NFS1 10.0.0.3
NFS2 10.0.0.4
NFS3 10.0.0.5　　NFS1的NFS存储系统目录为/data，前端提供的访问VIP是10.0.0.103
　　配置目标：一段主NFS存储系统服务器NFS1宕机，该服务器上的NFS存储系统和虚拟IP会自动切换当热备服务器NFS2S上继续提供服务，从而达到NFS存储系统高可用宕机后无业务影响的目的
　　这里会有一个特别的问题，就是以前的多个从NFS存储服务器如何能和新的主NFS存储系统同步，经过实践，通过DRBD的方式同步的数据NFS存储系统，已经做从NFS存储系统是使用和主NFS系统对外提供服务的VIP为同步VIP，当主NFS存储系统宕机后，VIP漂移到热备主NFS存储系统，默认情况在几秒内，新的主NFS存储系统就可以启动同步程序把数据同步到所以的从NFS存储系统中
　　提示：本文讲解的NFS数据库服务主备高可用模式，对于NFS数据库服务高可用，也可以是主主的双向高可用模式。
　　

　　3、系统环境
##NFS_M
eth0：10.0.0.3      #管理IP，用于LAN内数据转发
eth1:172.16.1.3#NFS服务器间心跳连接（直链）
VIP:10.0.0.103    #用于提供对外NFS存储系统服务VIP
##NFS_S
eth0：10.0.0.4
eth1:172.16.1.4
##server
eth0：10.0.0.5　　

　　同时在NFS_M需要添加一个1G的磁盘，NFS_S需要添加一个1.5G的磁盘。测试用
　　

　　4、部署前准备
　　

　　#要配置主机名和hosts文件.
　　主机名称要以uname -n为准
[root@NFS_S ~]# uname -n
NFS_S
[root@NFS_S ~]# uname -m
x86_64
[root@NFS_S ~]#
================================
NFS_M
cp /etc/hosts /etc/hosts.bak
cp /etc/sysconfig/network /etc/sysconfig/network.bak
sed -i '$a 10.0.0.3 NFS_M' /etc/hosts
sed -i '$a 10.0.0.4 NFS_S' /etc/hosts
sed -i '/HOSTNAME=/d' /etc/sysconfig/network
sed -i '/$/aHOSTNAME=NFS_M' /etc/sysconfig/network
===============================
NFS_S
sed -i '$a 10.0.0.3 NFS_M' /etc/hosts
sed -i '$a 10.0.0.4 NFS_S' /etc/hosts
sed -i '/HOSTNAME=/d' /etc/sysconfig/network
sed -i '/$/aHOSTNAME=NFS_S' /etc/sysconfig/network
############################start测试：
[root@NFS_S ~]# ping NFS_M
PING NFS_M (10.0.0.3) 56(84) bytes of data.
64 bytes from NFS_M (10.0.0.3): icmp_seq=1 ttl=64 time=0.347 ms
64 bytes from NFS_M (10.0.0.3): icmp_seq=2 ttl=64 time=0.297 ms
^C
--- NFS_M ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1424ms
rtt min/avg/max/mdev = 0.297/0.322/0.347/0.025 ms
[root@NFS_S ~]# ping NFS_S
PING NFS_S (10.0.0.4) 56(84) bytes of data.
64 bytes from NFS_S (10.0.0.4): icmp_seq=1 ttl=64 time=0.027 ms
64 bytes from NFS_S (10.0.0.4): icmp_seq=2 ttl=64 time=0.043 ms
^C
--- NFS_S ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1226ms
rtt min/avg/max/mdev = 0.027/0.035/0.043/0.008 ms
[root@NFS_S ~]#
===========================
[root@NFS_M ~]# ping NFS_S
PING NFS_S (10.0.0.4) 56(84) bytes of data.
64 bytes from NFS_S (10.0.0.4): icmp_seq=1 ttl=64 time=0.720 ms
64 bytes from NFS_S (10.0.0.4): icmp_seq=2 ttl=64 time=0.346 ms
64 bytes from NFS_S (10.0.0.4): icmp_seq=3 ttl=64 time=0.329 ms
^C
--- NFS_S ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2150ms
rtt min/avg/max/mdev = 0.329/0.465/0.720/0.180 ms
[root@NFS_M ~]# ping NFS_M
PING NFS_M (10.0.0.3) 56(84) bytes of data.
64 bytes from NFS_M (10.0.0.3): icmp_seq=1 ttl=64 time=0.022 ms
64 bytes from NFS_M (10.0.0.3): icmp_seq=2 ttl=64 time=0.131 ms
^C
--- NFS_M ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1388ms
rtt min/avg/max/mdev = 0.022/0.076/0.131/0.055 ms
[root@NFS_M ~]#
###########################end　　#两台服务器都添加下面的心跳路由   生产环境建议加route。现在不加也不影响搭建.
/sbin/route add -host 172.16.1.4 dev eth1
/sbin/route add -host 172.16.1.3 dev eth1
echo '/sbin/route add -host 172.16.1.3 dev eth1' >> /etc/rc.local
echo '/sbin/route add -host 172.16.1.4 dev eth1' >> /etc/rc.local
#######测试
[root@NFS_M ~]# ping 172.16.1.4
PING 172.16.1.4 (172.16.1.4) 56(84) bytes of data.
64 bytes from 172.16.1.4: icmp_seq=1 ttl=64 time=1.56 ms
64 bytes from 172.16.1.4: icmp_seq=2 ttl=64 time=0.310 ms
^C
--- 172.16.1.4 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1267ms
rtt min/avg/max/mdev = 0.310/0.935/1.561/0.626 ms
[root@NFS_M ~]#
============================
[root@NFS_S ~]# /sbin/route add -host 172.16.1.3 dev eth1
[root@NFS_S ~]#
[root@NFS_S ~]# ping 172.16.1.3
PING 172.16.1.3 (172.16.1.3) 56(84) bytes of data.
64 bytes from 172.16.1.3: icmp_seq=1 ttl=64 time=0.391 ms
^C
--- 172.16.1.3 ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 897ms
rtt min/avg/max/mdev = 0.391/0.391/0.391/0.000 ms
[root@NFS_S ~]#
###########################end　　

　　5、安装heartbeat
　　a、下载并安装epel包.两台服务器都要操作
mkdir -p /home/deng/tools && cd /home/deng/tools
wget http://mirrors.opencas.cn/epel/6/x86_64/epel-release-6-8.noarch.rpm
rpm -qa |grep epel
[ epel-release-6-8.noarch.rpm ]&& rpm -ivh epel-release-6-8.noarch.rpm
rpm -qa |grep epel　　b、安装heartbeat，下面是在centos版本系统中部署，.两台服务器都要操作。所有用yum install heartbeat* -y
yum install heartbeat -y　　

　　c、拷贝ha的配置文件，资源文件以及授权文件到/etc/ha.d/下面
ll /usr/share/doc/heartbeat-3.0.4/
cd /usr/share/doc/heartbeat-3.0.4/
cp ha.cf haresources  authkeys /etc/ha.d/　　

　　d、开始配置
cd /etc/ha.d
mv ha.cf ha.bak
mv authkeys authkeys.bak
mv haresources haresources.bak　　注意点：下面ha.cf、authkeys、haresources这三个文件在主备都是一样的
　　########配置ha.cf
cat>/etc/ha.d/ha.cf