分布式存储之MogileFS简单应用

kient88

　　分布式存储之MogileFS分布式文件系统简单应用
　　
　　
一． 分布式存储原理：
a) 分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是 可靠性和安全性的焦点，不能满足大规模存储数据的需要。分布式网络存储采用扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
b) 网络存储系统分为
1. 从传统的直接存储系统DAS（直接附加存储）
2. 发展出了网络存储架构SAN（存储区域网络）
3. NAS（网络附加存储）
4. FAS（网络化存储）
c) 存储分类：
1. 封闭系统的存储
2. 开放系统的存储：
i. 内置存储
ii. 外挂存储：
a) 直连式存储（DAS）
b) 网络存储（FAS）：
i.              网络附加存储（NAS）
ii.             存储区域网络（SAN）
d) NAS存储：
NAS存储也通常被称为附加存储，顾名思义，就是存储设备通过标准地网络拓扑结构他（例如以太网）添加到一群计算机上，NAS是文件级的存储方法，它的重点在于帮助工作组和部门机构解决迅速增加存储容量的需求。如今用户采用NAS较多的功能是文件共享，图片共享
、电影共享等等，而且随着云计算的发展，一些NAS厂商也推出了云存储功能，大大方便了企业和个人用户的使用。
   NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内，同时NAS的应用非常灵活。
但NAS又一个关键性问题，即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网（SAN）不同，NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外，还必须处理包括备份操作的存储磁盘请求。
　　SAN存储:
存储区域网络，这个是通过光纤通道交换机连接存储阵列和服务器主机，最后成为一个专用的存储网络。SAN经过十多年历史的发展，已经相当成熟，成为业界的事实标准（但各个厂商的光纤交换技术不完全相同，其服务器和SAN存储有兼容性的要求）。
SAN提供了一种与现有LAN连接的简易方法，并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是，随着存储容量的爆炸性增长，SAN允许企业独立地增加它们的存储容量。SAN的结构允许任何服务器连接到任何存储阵列，这样不管数据置放在那里，服务器都可直接存取所需的数据。因为采用了光纤接口，SAN还具有更高的带宽。
因为SAN解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化，特别是对于全部存储设备都集群在一起的时候。最后一点，光纤接口提供了10公里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。
总结：DAS存储一般应用在中小企业，与计算机采用直连方式，NAS存储则通过以太网添加到计算机上，SAN存储则使用FC接口，×××能更佳的存储。NAS与SAN的主要区别体现在操作系统在什么位置。

二． MogileFS文件系统
mogilefs的特性
1.支持多节点冗余
2.可实现自动的文件复制
3.使用名称空间（命名空间），每个文件通过key来确定
4.不需要RAID，应用层可以直接实现RAID，不共享任何东西，通过“集群”接口提供服务
5.工作与应用层，没有特殊的组件要求
6.不共享任何数据，mogilefs不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的硬盘
mogilefs主要由三部分构成：tracker节点、database节点、storage节点
1．tracker（mogileFSd进程）：这个是 MogileFS 的核心部分，他是一个调度器，
2．MogileFSd 进程就是trackers进程程序，trackers 做了很多工作：Replication（复制）,Deletion（删除）,Query（查询）,Reaper（接受）,Monitor（监听）等等，这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed),，包括将请求负载平衡到多个“query workers”中，然后让 MogileFSd 的子进程去处理；
3．Database：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)，是Trackers 来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；
4．Storage Nodes：这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节点,也叫 Storage Server,一台存储主要都要启动一个 mogstored 服务.扩容就是增加这些机器，实际文件存放的地方。
MogileFs工作流程图：
每次文件的上传和读取，都要经过前端TrackerServer服务器，trackServer服务器受到client端请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。ipload操作返回就是成功或者失败的结构，read操作就是犯规对应的查询数据

三． MogileFs管理的几个概念
1. Domain：一个mogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须唯一，不同Domain内，key可以相同;
2.每一个存储节点称为一个主机host，一个主机上可以有多个存储设备dev（单独的硬盘），每个设备都有ID号，Domain+Fid用来定位文件
3.Class：文件属性管理，定位文件存储在不同设备上的分数
　　
四． MogileFS的安装及配置
A）.实验环境：
1. tracker+mysql  ：172.17.252.64
2. storage 1：172.17.250.2
3. storage2 ：172.17.254.208
安装所需要的包（tracker和storage都需要装）
yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes
MogileFS-Server-2.46-2.el7.centos.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el7.centos.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el7.centos.noarch.rpm
MogileFS-Utils-2.19-1.el7.centos.noarch.rpm
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
perl-MogileFS-Client-1.14-1.el7.centos.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm

B）.在tracker+mysql节点上配置
1.初始化数据库
Mysql > GRANT ALL PRIVILEGES ON *.* TO 'mogile' @'127.0.0.1' IDENTIFIED BY 'mogile' WITH GRANT OPTION;

2.mysql>flush  privileges；
3.添加运行用户
useradd -r mogilefs
mkdir /var/run/mogilefsd/
chown -R mogilefs.mogilefs /var/run/mogilefsd #yum安装的话已经完成
mogdbsetup --dbpass=mogile

4. 修改主配置文件

5. 定义一个tracker特殊的配置
Vim   /etc/mogilefs/mogilefs.conf
trackers=172.17.252.64:7001
6. 启动服务

C）配置storage节点
1.安装所需要的包
2.vim  /etc/mogilefs/mogstored.conf
docroot = /data/mogdata
3. mkdir /data/mogdata
chown mogilefs.mogilefs /data/mogdata
4. 3./etc/init.d/mogstored start
D)tracker+mysql节点的配置
1. 添加主机，将主机信息注册到数据库中
modam (--tracker=172.17.252.64:7001) host add node1 --ip=172.17.250.2 --port=7500 --status=alive
mogadm (--tracker=172.17.252.64:7001) host add node2 --ip=172.17.254.208 --port=7500 --status=alive

2.检查主机是否加入到MogileFs的系统中
mogadm host list


3. MogileFS 中的存储设备管理
1.建一个目录 ( 并且需要 mount 一个硬盘给这个目录 ) 给这个"设备" 使用, 我们这的例子是使用dev1在主机中建一个目录,建目录使用 dev + ID 这种格式,记的所有系统中 ID 不能重复.也必须和配置文件中的路径一样（上面已经建立过）
2.给“设备”加入存储的节点当中。相当于为每个设备加入MogileFS的存储系统
mogadm  -tracker=172.17.252.64:7001 device add node1 1  
mogadm  -tracker=172.17.252.64:7001 device add node2 2

3.检查是否加入
Mogadm check

　　4.添加域和添加类，并上传文件
　　mogadm domain add img   #添加名为img的域
　　mogadm class add img(域名) m26（类名） --mindevcount=3  #添加类
　　mogupload   --domain=img  --key=test --file=1.jpg  #上传文件

　　5.查看文件
　　Mogfileinfo  --domain=img  -key=bug4

　　Mogfileinfo  --domain=img  -key=bug3

7. 测试访问