Heartbeat+nfs+drbd(ubuntu)

zhk2369

Heartbeat+nfs+drbd

前言说明：

heartbeat+nfs+drbd

背景：
现在好多公司为了省钱，都没有存储服务器，但是企业还要求双机热备，数据的快速读写和数据的可靠性。
现在公司大部分架构是这个样子的： 前端两台web服务器做ha单台工作（热备）比如说是两台nginx，后面就是真正的应用服务器，数据都放在本地然后用rsync同步。但是rsync同步有弊端实时性差，耗费资源，占用系统性能。

大致过程描述和说明：
当client访问web server（nginx）请求数据，nginx处理请求（分发），第一次请求会被分到A主机，第二次请求就会被分到B主机，A和B可以是java应用服务器也可以是php应用服务器或者是web服务器都可以（返回请求数据的应用服务器）。如果是A，会从A本地读取数据或者写入数据。但是如果client一个星期后再次访问就有可能被分到B，这时就会出问题，因为B上面没有A上面的数据。

解决办法有很多种，使用存储是最好解决方案：

1.使用IBM dell 等硬件存储服务器。（有钱就用，相对来说没啥缺点）
2.使用 rsync 同步。             （如果数据库不太重要，不要求实时性的可以使用）
3.使用nfs mfs 等共享磁盘        （存在单点故障）
4.使用ha+nfs+drbd 最好的解决方案 （完美解决方案）

说明：
ha  nfs   drbd   
ha用做vip  #使用heartbeat软件，对外提供一个虚拟ip。
nfs做共享  #nfs服务 很简单很好配置的软件，然后由heartbeat来控制nfs服务。
drbd做最底层的数据库同步效率很快   #用于主机间数据块的同步，实时同步。drbd可以自己配置主从，但是nfs必须跟drbd master在一起。最终也由heartbeat控制。

其实这个地方少了个一个监控机制，heartbeat无法监控到nfs和drbd服务（可以考虑使用heartbeat的crm工具），如果再加上监控机制那就真的完美了。

作者：消失的光年
日期：2012/08/03


具体操作步骤：
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

系统ubuntu 8.0.4


Server1=192.168.1.10
Server2=192.168.1.11
Vip=192.168.1.100



1.   安装

apt-get install heartbeat
apt-get install drbd8-utils
apt-get install nfs-kernel-server

2.   配置drbd

1）磁盘配置
+++++++++++++++++++++++++++++++++++++++++
添加一块磁盘  /sdb
fdisk /dev/sdb
n      #新建分区
P      #定义为主分区
1      #分区号
回车   #选择设备开始的节点号 默认就行
回车   #选择设备结束的节点号 默认就行
w      #保存退出
partprobe /dev/sdb    重新读取分区信息
%注意千万不要使用mkfs 命令格式化磁盘分区，现在还有没有drbd设备，文件系统要建立在drbd设备上面%

第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++

2）修改主机名
+++++++++++++++++++++++++++++++++++++++++++

hostname server1                           #执行hostname命令实现临时修改主机名
echo "server1" > /etc/hostname                #修改主机名配置文件实现永久修改主机名

vim /etc/hosts            #增加hosts主机名解析条目，后面的drbd.conf配置文件会用到
192.168.1.10server1
192.168.1.11server2

第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++++

3）drbd配置文件
+++++++++++++++++++++++++++++++++++++++++++++++++
cat /etc/drbd.conf
global { usage-count no; }
       common { syncer { rate 100M; } }
       resource drbdtest {
            protocol C;
            startup {
                 wfc-timeout 600;
                 degr-wfc-timeout 120;
            }

            disk {
                 on-io-error   detach;
            }
            net {
                 timeout 30;
                 connect-int 4;
                 ping-int 4;
                 max-buffers 2048;
                 max-epoch-size 2048;
                 ko-count 0;
                 #on-disconnect reconnect;
                 cram-hmac-alg sha1;
                 shared-secret "FooFunFactory";
                 after-sb-0pri discard-zero-changes;
                 after-sb-1pri discard-secondary;
                 after-sb-2pri disconnect;
           }
           syncer {
                 rate 100M;
           }

            on server1 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   192.168.1.10:7898;
                 meta-disk  internal;
            }
            on server2 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   192.168.1.11:7898;
                 meta-disk  internal;
            }
       }
以上是drbd.conf 在/etc下面  可以直接拷贝过去使用
第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

4）创建drbd存储设备
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
drbdadm create-md drbdtest    #如果执行第一遍不成功，就再执行一次。选择yes回车就行
/etc/init.d/drbd start
/etc/init.d/drbd status          #查看drbd状态
drbdsetup /dev/drbd0 primary -o  #强制为主
mkfs.ext3 /dev/drbd0           #格式化磁盘（必须强制为主后才可以执行格式化命令）
mkdir /nfs
mount /dev/drbd0 /nfs        
测试下

在做第二台服务器的时候要先停掉第一台服务器上面drbd服务，再强制第二台服务器为主，然后才能格式化磁盘
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

3. 配置heartbeat

1）/etc/ha.d/ha.cf配置文件
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
root@tc-nfs1:/home# cat /etc/ha.d/ha.cf

logfile /var/log/ha-log
keepalive 2
deadtime 10
warntime 5
initdead 120
udpport 694
bcast eth0
ucast eth0 192.168.1.11
auto_failback off
node server1
node server2
ping 192.168.1.254
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluste




#####配置文件ha.cf解析########
    keepalive 2    //保持时间
    deadtime 10    //死亡时间
    warntime 5    //警告时间
    initdead 120   //启动时间
    udpport 694    //使用udp的端口
    bcast eth0     //心跳接口
    logfile /var/log/ha-log  //日志文件
    auto_failback on  //失败自动退回
    node node1.a.org  //节点对应的主机名，这里面要写所有的
    node node2.a.org  




2）haresources配置内容;

server1 IPaddr::192.168.1.10024/eth0 drbddisk::drbdnfs Filesystem::/dev/drbd0::/data::ext3


3)authkeys的配置内容：
cat /etc/ha.d/authkeys
auth 1
1 sha1 sss
###解析#####
    1 sha1 jlasdlfladddd //这个后面的密码可以随意写，也可以使用自动生成随机数（#dd if=/dev/urandom bs=512 count=1 |md5sum ）的方式来生成，但是节点之间是一样的








4.配置nfs服务

1）nfs配置文件

cat /etc/exports
/data   *(rw,sync,no_root_squash,subtree_check)

2) 启动nfs服务
/etc/init.d/nfs-kernel-server start



5. 验证