MogileFS与FastDFS的见解

2321212dd

MogileFS与FastDFS的个人见解

MogileFS & FastDFS 为两个开源分布式文件系统，都主要适用于互联网文件共享，上传，下载等功能，主要用于多上传和下载，不经常修改的操作。M和F部署架构都比较类似，设计中都避免的cluster中某一个环节的单点问题。

MogileFS

————————-
官网：https://code.google.com/p/mogilefs/
基本架构：TrackerServer(Tracker + DataBase) + StorageServer

[ Mogilefs的组成部分 ]

1. 数据库（MySQL）部分
你可以用mogdbsetup程序来初始化数据库。数据库保存了Mogilefs的所有元数据，你可以单独拿数据库服务器来做，也可以跟其他程序跑在一起，数据库 部分非常重要，类似邮件系统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs将处于不可用状态。因此最好是HA结构。

2. storageServer（存储节点）
mogstored 程序的启动将使本机成为一个存储节点。启动时默认去读/etc/mogilefs/mogstored.conf ，具体配置可以参考配置部分。mogstored启动后，便可以通过mogadm增加这台机器到cluster中。一台机器可以只运行一个mogstored作为存储节点即可，也可以同时运行其他程序。

3. trackersServer（跟踪器）
mogilefsd即 trackers程序，类似mogilefs的wiki上介绍的，trackers做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。mogadm,mogtool的所有操作都要跟trackers打交 道，Client的一些操作也需要定义好trackers，因此最好同时运行多个trackers来做负载均衡。trackers也可以只运行在一台机器 上，也可以跟其他程序运行在一起，只要你配置好他的配置文件即可，默认在/etc/mogilefs/mogilefsd.conf。

4. 工具
主要就是mogadm，mogtool这两个工具了，用来在命令行下控制整个mogilefs系统以及查看状态等等。
如果使用其他语言调用接口，需要二次开发。

5. Client
Client实际上是一个Perl的pm，可以写程序调用该pm来使用mogilefs系统，对整个系统进行读写操作。

[ 逻辑原理 ]

每次文件的上传和读取，都经过前端TrackerServer服务器，trackerServer服务器受到client端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。upload操作返回就是成功或者失败的结果，read操作就是返回对应的查询数据。

====================================

FastDFS

————————-
官网：https://code.google.com/p/fastdfs/
基本架构：TrackerServer + StorageServer

[ FastDFS的组成部分 ]

1. Storage server
在其他文件系统中通常称作Trunk server或Data server。Storage server直接利用OS的文件系统存储文件。FastDFS不会对文件进行分块存储，客户端上传的文件和Storage server上的文件一一对应。

2. TrackerServer
Tracker server作为中心结点，其主要作用是负载均衡和调度。Tracker server在内存中记录分组和Storage server的状态等信息，不记录文件索引信息，占用的内存量很少。另外，客户端（应用）和Storage server访问Tracker server时，Tracker server扫描内存中的分组和Storage server信息，然后给出应答。

[ 逻辑原理 ]

StorageServer作为主动方，在服务起来之后，会定时（时间可以配置）向他对应的tracker发布自己的状态和相关信息。TrackerServer服务只是会记录相对于的group对应的服务器IP，以便在read的时候直接 返回服务器IP。TrackerServer里面存储着每一个group的server列表，server列表里面的storage服务器都是实时相互备份操作。

在单个tracker，多个storage的架构的环境中，首先是upload操作：
client端将upload的请求直接发送给tracker服务器，tracker收到之后，会根据自己的一套定义的规则（可以配置），将回复可以上传的storage服务器IP，client将文件upload至storage服务器，完成操作。
read操作：
client端发送需要get的URL地址，tracker根据URL中的group来划分属于哪些storage服务器，然后返回可以访问的服务器IP地址。
client直接访问指定storage服务器，此storage服务器已经部署Nginx类似的HTTP服务，并加载fastdfs的模块，需提前进行域名跳转的设定，完成文件的读取。

关于多tracker和多storage的系统架构设计
根据fastdfs的架构描述，tracker和storage都是可以横向无限延伸，现还未有一个比较标准的一个tracker和storage配对的模式，只是说个人建议在一个group中，storage尽量保证在2-3台存储服务器，配对的tracker保持2台即可。
对于一个cluster的模式，大概可以这样去设计系统架构：
2台Nginx最前端的服务器，用于client端的read请求，主要作用是用来做负载均衡服务，热备操作，最好在nginx的config配置里面加入location设置，根据groupname直接跳转到对应的storage服务器。
2台tracker服务器，用于write操作的分发，也可以做热备操作，后端的storage服务器配置中tracker设置需要将2台服务器都绑定上去。
N台storage服务器，一个group配备2-3台服务器，可以根据数据量的大小，从小的规模做起，如有新的扩容，直接新增新的group和storage服务器即可，这样只需修改前端那nginx服务配置，其他都不用调整。

====================================

MogileFS VS FastDFS

[ 类似点 ]

1. 架构都比较雷同，都具备tracker和storage两个部分的cluster架构，可以都很方便进行横向扩张。
2. 对于storageServer方面一旦有某机器宕机，硬盘损坏情况，都能自动完成修复功能。
3. 架构设计都无单点失败问题，cluster中服务器都无需采用raid服务，避免出现类似hadoop设计的cluster中前端mapreduce宕机，整个系统失效的问题
4. 文件存储都不能对大文件拆分（hadoop可以实现），所以如果单个文件超过一台存储物理机的存储空间，就不能使用此系统存储
5. 文件系统的存储格式都不是原文存储，就算你登陆到文件服务器也无法获取到系统中的数据，必须经过一定的接口才能获取

[ 不同点 ]

1. FastDFS完善程度较高，不需要二次开发即可直接使用；
2. 和MogileFS相比，FastDFS裁减了跟踪用的数据库，只有两个角色：tracker和storage。FastDFS的架构既简化了系统，同时也消除了性能瓶颈；
3. 在系统中增加任何角色的服务器都很容易：增加tracker服务器时，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服务器时，通常不需要修改任何配置文件，系统会自动将该卷中已有文件复制到该服务器；
4. FastDFS比MogileFS更高效。表现在如下几个方面：
1）参见上面的第2点，FastDFS和MogileFS相比，没有文件索引数据库，FastDFS整体性能更高；
2）从采用的开发语言上看，FastDFS比MogileFS更底层、更高效。FastDFS用C语言编写，代码量不到2万行，没有依赖其他开源软件或程序包，安装和部署特别简洁；而MogileFS用perl编写；
3）FastDFS直接使用socket通信方式，相对于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile传输文件，采用了内存零拷贝，系统开销更小，文件传输效率更高。
5. FastDFS有着详细的设计和使用文档，而MogileFS的文档相对比较缺乏。
6. FastDFS的日志记录非常详细，系统运行时发生的任何错误信息都会记录到日志文件中，当出现问题时方便管理员定位错误所在。
7. FastDFS还对文件附加属性（即meta data，如文件大小、图片宽度、高度等）进行存取，应用不需要使用数据库来存储这些信息。

附录01

1 2 3 4 5 6 7 8

mogadm class listdomain               class                mindevcount   replpolicy ——————– ——————– ————- ———— toast                byhost                    2        MultipleHosts() toast                default                   2        MultipleHosts() toast                four                      4        MultipleHosts() toast                fourbynamenet             1        HostsPerNetwork(near=2,far=1) mogadm class add toast twoontwonets –replpolicy “HostsPerNetwork(near=2,far=2)” mogadm class modify toast twoontwonets –replpolicy “HostsPerNetwork(near=3,far=3)”