分布式存储MooseFS的搭建

st0627

搭建的环境介绍
　　Master server: 10.96.153.223
　　Metalogger server : 10.96.153.224
　　chunk server : 10.96.153.221 10.96.153.222
　　client server : 10.96.153.225
　　这里使用两台chunk server，master、metalogger和client各一台进行测试，当然，如果由于服务器有限，可以把master和metalogger分别放在chunkserver上。
Master Server安装
　　1、下载解压

• 　　#cd /usr/src
  
• 　　#wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz
  
• 　　#tar xzf mfs-1.6.26.tar.gz
  

　　2、配置编译参数

• 　　#groupadd mfs
  
• 　　#useradd -g mfs mfs
  
• 　　#cd mfs-1.6.26/
  
• 　　#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfschunkserver
  

　　3、编译并安装

• 　　#make
  
• 　　#make install
  

　　4、配置文件

• 　　#cd /usr/local/mfs/etc
  
• 　　#cp mfsmaster.cfg.dist mfsmaster.cfg
  
• 　　#cp mfsexports.cfg.dist mfsexports.cfg
  

　　更改配置文件mfsexports.cfg

• 　　10.96.153.0/24 / rw,alldirs,maproot=0
  

　　5、启动前准备

• 　　#cd /usr/local/mfs/var/mfs
  
• 　　#cp metadata.mfs.empty metadata.mfs
  
• 　　#echo "10.96.153.221 mfsmaster" >> /etc/hosts
  

　　6、启动mfsmaster

• 　　#/usr/local/mfs/sbin/mfsmaster start
  

　　7、监控服务

• 　　#/usr/local/mfs/sbin/mfscgiserv
  

　　浏览器输入10.96.153.221:9425
mfsmetalogger搭建
　　1、下载解压

• 　　#cd /usr/src
  
• 　　#wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz
  
• 　　#tar xzf mfs-1.6.26.tar.gz
  

　　2、配置编译参数

• 　　#groupadd mfs
  
• 　　#useradd -g mfs mfs
  
• 　　#cd mfs-1.6.26/
  
• 　　#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfschunkserver
  

　　3、编译并安装

• 　　#make
  
• 　　#make install
  

　　4、配置文件

• 　　#cd /usr/local/mfs/etc
  
• 　　#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
  

　　5、启动前准备

• 　　#echo "10.96.153.221 mfsmaster" >> /etc/hosts
  

　　6、启动mfsmetalogger

• 　　##/usr/local/mfs/sbin/mfsmetalogger start
  

Chunk servers 安装
　　1、下载解压

• 　　#cd /usr/src
  
• 　　#wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz
  
• 　　#tar xzf mfs-1.6.26.tar.gz
  

　　2、配置编译参数

• 　　#groupadd mfs
  
• 　　#useradd -g mfs mfs
  
• 　　#cd mfs-1.6.26/
  
• 　　#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmount --disable-mfsmaster
  

　　3、编译并安装

• 　　#make
  
• 　　#make install
  

　　4、创建磁盘(100G)

• 　　#dd if=/dev/zero of=/mnt/storage/mfschunks1 bs=1024 count=1 seek=$((100*1024*1024-1))
  
• 　　#mkfs -t ext3 /mnt/storage/mfschunks1
  
• 　　#mkdir -p /mnt/mfs1
  
• 　　#mount -t ext3 -o loop /mnt/storage/mfschunks1 /mnt/mfs1
  

　　5、配置文件

• 　　#cd /usr/local/mfs/etc
  
• 　　#cp mfschunkserver.cfg.dist mfschunkserver.cfg
  
• 　　#cp mfshdd.cfg.dist mfshdd.cfg
  

　　更改配置文件mfshdd.cfg,加入：

• 　　/mnt/mfs1
  

　　6、启动前准备

• 　　#echo "10.96.153.221 mfsmaster" >> /etc/hosts
  
• 　　#chown -R mfs:mfs /mnt/mfs1
  

　　7、启动chunkserver

• 　　##/usr/local/mfs/sbin/mfschunkserver start
  

mfsclient安装
　　1、下载解压

• 　　#cd /usr/src
  
• 　　#wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.26/mfs-1.6.26.tar.gz
  
• 　　#tar xzf mfs-1.6.26.tar.gz
  

　　2、配置编译参数

• 　　#groupadd mfs
  
• 　　#useradd -g mfs mfs
  
• 　　#cd mfs-1.6.26/
  
• 　　#./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster--disable-mfschunkserver
  

　　3、编译并安装

• 　　#make
  
• 　　#make install
  

　　4、启动前准备

• 　　mkdir /mnt/mfs
  
• 　　#echo "10.96.153.221 mfsmaster" >> /etc/hosts
  

　　5、开始挂载

• 　　#/usr/local/mfs/bin/mfsmount /mnt/mfs -H mfsmaster
  

　　6、检查
　　df -h查看输出
MFS维护
　　5.1、启动MFS集群

• 　　1、启动mfsmaster 进程
  
• 　　2、启动所有的mfschunkserver 进程
  
• 　　3、启动mfsmetalogger 进程（如果配置了mfsmetalogger）
  
• 　　4、当所有的chunkservers 连接到MooseFS master 后，任何数目的客户端可以利用mfsmount 去挂接被export 的文件系统。（可以通过检查master 的日志或是CGI 监视器来查看是否所有的chunkserver被连接）。
  

　　5.2、停止MFS集群

• 　　1、在所有的客户端卸载MooseFS 文件系统（用umount 命令或者是其它等效的命令）
  
• 　　2、用mfschunkserver stop 命令停止chunkserver 进程
  
• 　　3、用mfsmetalogger stop 命令停止metalogger 进程
  
• 　　4、用mfsmaster stop 命令停止master 进程
  

　　5.3、MFS chunkservers 的维护
　　若每个文件的goal（目标）都不小于2，并且没有under-goal 文件（这些可以用mfsgetgoal –r和mfsdirinfo 命令来检查），那么一个单一的chunkserver 在任何时刻都可能做停止或者是重新启动。以后每当需要做停止或者是重新启动另一个chunkserver 的时候，要确定之前的chunkserver 被连接，而且要没有under-goal chunks。
　　5.4、MFS元数据备份
　　用rsync定时备份/usr/local/app/soft/mfs/var/mfs/metadata.mfs.back
　　5.5、MFS Master的恢复

• 　　mfsmetarestore -a
  

　　5.6、从MetaLogger中恢复Master

• 　　mfsmetarestore -m metadata.mfs.back -o metadata.mfs changelog_ml.*.mfs