Heartbeat+nfs+drbd(ubuntu)
Heartbeat+nfs+drbd前言说明：
heartbeat+nfs+drbd
背景：
现在好多公司为了省钱，都没有存储服务器，但是企业还要求双机热备，数据的快速读写和数据的可靠性。
现在公司大部分架构是这个样子的： 前端两台web服务器做ha单台工作（热备）比如说是两台nginx，后面就是真正的应用服务器，数据都放在本地然后用rsync同步。但是rsync同步有弊端实时性差，耗费资源，占用系统性能。
大致过程描述和说明：
当client访问web server（nginx）请求数据，nginx处理请求（分发），第一次请求会被分到A主机，第二次请求就会被分到B主机，A和B可以是java应用服务器也可以是php应用服务器或者是web服务器都可以（返回请求数据的应用服务器）。如果是A，会从A本地读取数据或者写入数据。但是如果client一个星期后再次访问就有可能被分到B，这时就会出问题，因为B上面没有A上面的数据。
解决办法有很多种，使用存储是最好解决方案：
1.使用IBM dell 等硬件存储服务器。（有钱就用，相对来说没啥缺点）
2.使用 rsync 同步。 （如果数据库不太重要，不要求实时性的可以使用）
3.使用nfs mfs 等共享磁盘 （存在单点故障）
4.使用ha+nfs+drbd 最好的解决方案 （完美解决方案）
说明：
hanfs drbd
ha用做vip#使用heartbeat软件，对外提供一个虚拟ip。
nfs做共享#nfs服务 很简单很好配置的软件，然后由heartbeat来控制nfs服务。
drbd做最底层的数据库同步效率很快 #用于主机间数据块的同步，实时同步。drbd可以自己配置主从，但是nfs必须跟drbd master在一起。最终也由heartbeat控制。
其实这个地方少了个一个监控机制，heartbeat无法监控到nfs和drbd服务（可以考虑使用heartbeat的crm工具），如果再加上监控机制那就真的完美了。
作者：消失的光年
日期：2012/08/03
具体操作步骤：
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
系统ubuntu 8.0.4
Server1=192.168.1.10
Server2=192.168.1.11
Vip=192.168.1.100
1. 安装
apt-get install heartbeat
apt-get install drbd8-utils
apt-get install nfs-kernel-server
2. 配置drbd
1）磁盘配置
+++++++++++++++++++++++++++++++++++++++++
添加一块磁盘/sdb
fdisk /dev/sdb
n #新建分区
P #定义为主分区
1 #分区号
回车 #选择设备开始的节点号 默认就行
回车 #选择设备结束的节点号 默认就行
w #保存退出
partprobe /dev/sdb 重新读取分区信息
%注意千万不要使用mkfs 命令格式化磁盘分区，现在还有没有drbd设备，文件系统要建立在drbd设备上面%
第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++
2）修改主机名
+++++++++++++++++++++++++++++++++++++++++++
hostname server1 #执行hostname命令实现临时修改主机名
echo "server1" > /etc/hostname #修改主机名配置文件实现永久修改主机名
vim /etc/hosts #增加hosts主机名解析条目，后面的drbd.conf配置文件会用到
192.168.1.10server1
192.168.1.11server2
第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++++
3）drbd配置文件
+++++++++++++++++++++++++++++++++++++++++++++++++
cat /etc/drbd.conf
global { usage-count no; }
common { syncer { rate 100M; } }
resource drbdtest {
protocol C;
startup {
wfc-timeout 600;
degr-wfc-timeout 120;
}
disk {
on-io-error detach;
}
net {
timeout 30;
connect-int 4;
ping-int 4;
max-buffers 2048;
max-epoch-size 2048;
ko-count 0;
#on-disconnect reconnect;
cram-hmac-alg sha1;
shared-secret "FooFunFactory";
after-sb-0pri discard-zero-changes;
after-sb-1pri discard-secondary;
after-sb-2pri disconnect;
}
syncer {
rate 100M;
}
on server1 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.1.10:7898;
meta-diskinternal;
}
on server2 {
device /dev/drbd0;
disk /dev/sdb1;
address 192.168.1.11:7898;
meta-diskinternal;
}
}
以上是drbd.conf 在/etc下面可以直接拷贝过去使用
第二台服务器上面做同样的操作
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
4）创建drbd存储设备
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
drbdadm create-md drbdtest #如果执行第一遍不成功，就再执行一次。选择yes回车就行
/etc/init.d/drbd start
/etc/init.d/drbd status #查看drbd状态
drbdsetup /dev/drbd0 primary -o#强制为主
mkfs.ext3 /dev/drbd0 #格式化磁盘（必须强制为主后才可以执行格式化命令）
mkdir /nfs
mount /dev/drbd0 /nfs
测试下
在做第二台服务器的时候要先停掉第一台服务器上面drbd服务，再强制第二台服务器为主，然后才能格式化磁盘
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
3. 配置heartbeat
1）/etc/ha.d/ha.cf配置文件
+++++++++++++++++++++++++++++++++++++++++++++++++++++++
root@tc-nfs1:/home# cat /etc/ha.d/ha.cf
logfile /var/log/ha-log
keepalive 2
deadtime 10
warntime 5
initdead 120
udpport 694
bcast eth0
ucast eth0 192.168.1.11
auto_failback off
node server1
node server2
ping 192.168.1.254
respawn hacluster /usr/lib/heartbeat/ipfail
apiauth ipfail gid=haclient uid=hacluste
#####配置文件ha.cf解析########
keepalive 2 //保持时间
deadtime 10 //死亡时间
warntime 5 //警告时间
initdead 120 //启动时间
udpport 694 //使用udp的端口
bcast eth0 //心跳接口
logfile /var/log/ha-log//日志文件
auto_failback on//失败自动退回
node node1.a.org//节点对应的主机名，这里面要写所有的
node node2.a.org
2）haresources配置内容;
server1 IPaddr::192.168.1.10024/eth0 drbddisk::drbdnfs Filesystem::/dev/drbd0::/data::ext3
3)authkeys的配置内容：
cat /etc/ha.d/authkeys
auth 1
1 sha1 sss
###解析#####
1 sha1 jlasdlfladddd //这个后面的密码可以随意写，也可以使用自动生成随机数（#dd if=/dev/urandom bs=512 count=1 |md5sum ）的方式来生成，但是节点之间是一样的
4.配置nfs服务
1）nfs配置文件
cat /etc/exports
/data *(rw,sync,no_root_squash,subtree_check)
2) 启动nfs服务
/etc/init.d/nfs-kernel-server start
5. 验证
页:
[1]