Glusterfs(distribute) + DRBD + heartbeat + mon 实现分布式文件系统1

不信网恋

由于最新公司业务使用的NFS系统偶尔发生故障,恢复起来需要很多时间,于是学习了下文件系统,之前一直在做mfs的测试,但是由于mfs有单点故障的存在,也就放下了,希望以后mfs可以解决单点的问题,那就造福于大众了.
Glusterfs的简介:
GlusterFS是一个高层次的分布式文件系统解决方案.通过增加一个逻辑层，对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布.内部实现是整合了许多存储块（server）通过Infiniband RDMA 或者Tcp/Ip方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来.

采用这种方式的理由:

由于glusterfs文件系统可以采用多种模式,之前做了cluster/Replicate,但是经过读写性能测试,发现写操作不是很理想,虽然可以确保数据的完整性和防止单点故障.于是有了标题这个方式,既可以确保读写速度又可以确保数据完整性和防止单点故障.利用heartbeat来检测2个主机的存活,glusterfs磁盘挂载的切换.

网络拓扑:



说明:由于drbd同步机制只允许在一个服务器上进行磁盘的挂载,另外一个服务器不允许再进行挂载,否则导致同步失败.为了避免master节点down机之后 ,还需要手动去slave节点上进行手动挂载,在此时间内客户端无法正常的读写数据,这里利用heartbeat来自动进行磁盘挂载切换工作,当master节点down机,它会把磁盘资源释放到slave文件服务器,切换工作仅仅需要10秒左右的时间,大大的提高了故障恢复相应时间.由于heartbeat不能对服务项进行检测,于是又写了moniter脚本来弥补这个缺陷.
测试环境
OS平台：

REDHAT  AS  5.1

Ip地址规划:  

192.168.0.59    glusterfs-1    drbd-1
192.168.0.60    glusterfs-2    drbd-2   
磁盘规划:
   Sda:安装相关的安装包  
   Sdb:用来做drbd的同步
   
Sofrware:  

fuse-2.8.3.tar.gz
glusterfs-3.0.3.tar.gz
drbd-8.3.5.tar.gz
libnet-1.1.2.1.tar.gz
heartbeat-2.0.7.tar.gz
安装相关的包
//在2个server节点都安装glusterfs和drbd,由于glusterfs使用到了fuse模块,所以需要先安装FUSE.

#tar zxvf fuse-2.8.3.tar.gz
#cd fuse-2.8.3
#./configure -enable-dependency-tracking -enable-lib -enable-util
#make && make install

#tar zxvf glusterfs-3.0.3.tar.gz
#cd glusterfs-3.0.3
#./configure
#make && make install

#tar zxvf drbd-8.3.5.tar.gz
#cd drbd-8.3.5
#make && make install

#tar zxvf libnet-1.1.2.1.tar.gz
#cd libnet
#./configure
#make && make install

#tar zxvf heartbeat-2.0.7.tar.gz
#cd heartbeat-2.0.7
# ./ConfigureMe configure --disable-swig --disable-snmp-subagent
   #make && make install

相关文件的配置
//在2个节点上添加如下的hosts.
   # vi hosts
     192.168.0.59            drbd-1
     192.168.0.60            drbd-2

//配置master节点的glusterfs配置文件

#cd  /usr/local/etc/glusterfs
#cp  glusterfsd.vol.sample  glusterfsd.vol
#vi   glusterfsd.vol                       //配置如下


### Export volume "brick" with the contents of "/home/export" directory.
volume brick
  type storage/posix                        # POSIX FS translator
  option directory /home/gluster            # Export this directory
end-volume

volume locker
  type features/locks
  subvolumes brick
  end-volume

volume bricks
  type performance/io-threads
  option thread-count 50                   //开启50个线程
  subvolumes locker
end-volume

### Add network serving capability to above brick.
volume server
  type protocol/server
  option transport-type tcp/server
  option listen-port 6996                    # Default is 6996
  subvolumes locker
  option auth.addr.bricks.allow *
  option auth.addr.locker.allow *
end-volume



//配置slave节点的glusterfs配置文件

### Export volume "brick" with the contents of "/home/export" directory.
volume brick
  type storage/posix                    # POSIX FS translator
  option directory /home/gluster        # Export this directory
end-volume

volume locker
type features/posix-locks
subvolumes brick
end-volume

volume bricks
  type performance/io-threads
  option thread-count 50                //开启50个线程
  subvolumes locker
end-volume

### Add network serving capability to above brick.
volume server
  type   protocol/server
  option transport-type tcp/server
  option listen-port 6996
  subvolumes locker
  option auth.addr.bricks.allow *        
  option auth.addr.locker.allow *
end-volume  

//在2个节点上执行下面的命令,启动server端的服务

  #gluster –f /usr/loca/etc/gluster/glusterfd.vol


//配置drbd的配置文件,2个节点的配置相同

common {
  syncer { rate 100M; }       //限制流量
}

resource db {

  protocol C;                 //使用C协议

  disk {
  on-io-error detach;
  }

  on drbd-1 {                  //drbd-1为第一台机器的机器名
  device /dev/drbd0;           //创建的虚拟资源  
  disk /dev/sdb1;              //实际的物理分区
  address 192.168.0.59:7788;   //第一台机器的ip地址,及通讯端口         
  meta-disk internal;          //类型,局域网
  }
      
  on drbd-2 {
  device /dev/drbd0;
  disk /dev/sdb1;
  address 192.168.1.60:7788;
  meta-disk internal;
  }        
}

//在2个节点上执行如下命令, 创建相应的元数据保存的数据块

#modprobe  /lib/modules/2.6.18-53.el5/kernel/drivers/block/drbd.ko
#lsmod |grep drbd            //drbd模块是否加载成功

//由于我这里是有数据的,先要保存下数据.
drbd-1 # dd if=/dev/sdb1 of=/root/backup bs=500M count=1  //这里要根据自己的数据
                                                            大小进行修改.
#drbdadm create-md db        //在2个主机上的 /dev/sdb1 分区上创建相应的元数据保存的数据块
#/etc/init.d/drbd start
#chkconfig drbd on  
# ps aux | grep drbd

avahi     2239  0.0  1.1   2552  1384 ?        Ss   19:38   0:00 avahi-daemon: running [drbd-1.local]
root      2702  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_worker]
root      2715  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_receiver]
root      2726  0.0  0.0      0     0 ?        S    20:32   0:00 [drbd1_asender]


//如果看到这4个进程就说明drbd启动正常. drbd0_worker是drbd0的主要进程drbd0_asender是primary上drbd0的数据发送进程,drbd0_receiver是secondary上drbd0的数据接收进程.