moosefs2.0初探及部署

jdxyzlh

　　前言：分布式文件系统是大型网站的必用架构，我们公司网站升级的时候考虑使用分布式文件系统，最初考虑使用fastdfs，但是性能不足，hdfs配置复杂，所以使用了moosefs文件系统。moosefs配置简单，并且性能也不错，唯一缺点就是master单点故障问题，不过1.6以上版本使用了metalogger server，它会定时把master上的meta数据下载到本机上，故障发生时，可以实现恢复。对于恢复这块，我会在后续的文章中给出比较完善的解决方案。此博还附带有moosefs2.0的tar包，需要的小伙伴可以下载，因为我在写这篇博客的时候，www.moosefs.org，打开速度太慢。以下是正文。

Moosefs原理
原理图

　　 从上图可以看到master是整个系统的大脑，它知道数据被分成了多少份，放在那个服务器上的那个位置，client每次访问都要经过master。chunk是数据真正存放的地方。

实现过程
　　   Master负责整个系统数据的管理，保存数据分成多少份，在那个服务器存放等信息；metalogger会定时备份master的管理数据，master故障后，通过metalogger的备份数据，可以实现系统的恢复；chunk server是数据真正的存放位置，数据会被分成多份chunk放在chunk server中；client端是分布式系统的使用者，系统搭建成功后，可以把系统像挂载硬盘一样挂载在client上，实现系统的分布式应用。
安装规范：
　　1、moosefs源码文件包统一放在所有服务器的/usr/local/src下
　　2、创建独立的运行用户：mfs
　　3、安装目录为：/usr，配置文件路径为：/etc/mfs，
　　4、Chunk server的存储路径为/mfschunk
　　5、Client 端的挂载点为/mnt/mfs
　　6、Master和chunk server的启动加入到/etc/rc.local文件中，使其随开机启动
安装过程
Master端
　　1、把tar包上传到/usr/loca/src下
　　2、在/etc/hosts文件中填入一下内容：“IP mfsmaster”（其中IP为master的ip地址）

　　3、添加mfs用户：useradd mfs
　　4、解包：tar xf moosefs-2.0.81-1.tar.gz
　　5、进入安装目录：cd moosefs-2.0.81
　　6、编译安装：./configure--prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib--with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver--disable-mfsmount
　　7、编译：make&&make install
　　8、# cd/etc/mfs/更改配置文件名称：
把原来的文件名改为cfg文件
# cp mfsmaster.cfg.dist mfsmaster.cfg
#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
#cp mfsexports.cfg.dist mfsexports.cfg
#cp mfstopology.cfg.dist mfstopology.cfg
　　9、启动master:/usr/sbin/mfsmasterstart
Metalogger server端
　　1、把tar包上传到/usr/loca/src下
　　2、在/etc/hosts文件中填入一下内容：“IP mfsmaster”（其中IP为master的ip地址）
　　3、添加mfs用户：useradd mfs
　　4、解包：tar xf moosefs-2.0.81-1.tar.gz
　　5、进入安装目录：cd moosefs-2.0.81
　　6、编译安装：./configure--prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib--with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver--disable-mfsmount
　　7、编译：make&&makeinstall
　　8、启动metaloggerserver：/usr/sbin/mfsmetalogger start
Chunk server端
　　1、把tar包上传到/usr/loca/src下
　　2、在/etc/hosts文件中填入一下内容：“IP mfsmaster”（其中IP为master的ip地址）
　　3、添加mfs用户：useradd mfs
　　4、解包：tar xf moosefs-2.0.81-1.tar.gz
　　5、进入安装目录：cd moosefs-2.0.81
　　6、编译安装：./configure--prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster
　　7、编译：make&&makeinstall
　　8、更改配置文件名称：
#cd /etc/mfs
#cp mfschunkserver.cfg.dist mfschunkserver.cfg
#cp mfshdd.cfg.dist mfshdd.cfg
#cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
　　9、创建目录：mkdir /mfschunk
　　10、修改权限 chmod –R mfs：mfs /mfschunk
　　11、修改配置文件：在/etc/mfs/mfshdd.cfg文件中添加内容：/mfschunk
　　
　　12、启动chunk server:/usr/sbin/mfschunkserverstart
Client 端
　　1、安装fuse：yum install –y fuse*
　　2、在/etc/hosts文件中填入一下内容：“IP mfsmaster”（其中IP为master的ip地址）
　　3、把tar包上传到/usr/loca/src下
　　4、解包：tar xf moosefs-2.0.81-1.tar.gz
　　5、进入安装目录：cd moosefs-2.0.81
　　6、编译安装：./configure--prefix=/usr --sysconfdir=/etc --localstatedir=/var/lib--with-default-user=mfs --with-default-group=mfs --disable-mfsmaster--disable-mfschunkserver
　　7、编译：make&&makeinstall
　　8、挂载文件系统：/usr/bin/mfschunk/mnt/mfs –H mfsmaster
　　9、使用df -h 查看，出现类似如下内容说明安装成功
　　
　　现在就可以像使用普通硬盘一样，使用整个文件系统了。
　　总结：moosefs故障后，只能通过手动的方式来解决，网上有说法搭配keepalived可是实现自动切换，做到无延时故障处理，这个我没有实验，我会在后续的文章中继续探讨moosefs的故障问题。