基于mogilefs实现分布式存储

yyert

一、mogileFS简介
（1）mogileFS是一个开源的分布式文件存储系统，具有以下特性：
1、支持多节点冗余
2、可实现自动的文件复制
3、使用名称空间（命名空间），每个文件通过key来确定
4、工作在应用层，没有特殊的组件要求
5、不共享任何磁盘，mogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只需要维护好自己的磁盘
（2）、mogileFS的架构
mogileFS主要由三部分构成：tracker节点，database节点，storage节点
1、Tracker(MogileFSd 进程)：这个是 MogileFS 的核心部分
2、MySQL：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)
3、Storage Nodes：这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节
点
（3）、mogileFS工作机制

每次文件的上传和读取，都经过前端TrackerServer服务器，trackerServer服务器受到client端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。upload操作返回就是成功或者失败的结果，read操作就是返回对应的查询数据。
二、实验规划
centos服务器四台，一台作为MySQL（主），一台作为MySQL（备），两台作为存储节点，结合keepalived，实现数据库的主从切换，配置好yum源、关闭防火墙以及SELinux、各节点时钟同步。

三、实验准备
mogileFS是使用Perl语言写的，所以在安装Perl语言之前要先安装Perl语言需要的包
yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO
安装mogileFS需要的软件包
MogileFS-Server-2.46-2.el6.noarch.rpm        #核心服务
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm        #socket
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm        # tracker节点
perl-MogileFS-Client-1.14-1.el6.noarch.rpm           #客户端
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm         #Storage存储节点
MogileFS-Utils-2.19-1.el6.noarch.rpm         #主要是MogileFS的一些管理工具，例如mogadm等

四、实验步骤
1、实现数据库的主从

数据库master站点
    vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
server-id=1
log-bin=zuozuo-bin
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

授权主从复制的用户
grant replication slave,replication client  on *.* to slave@'172.17.%.%' identified by '123456';

数据库slave站点
    vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
server-id=2
relay_log=zuozuo-relay-bin
read_only=1
log_bin=zuozuo-bin
log_slave_updates=1

启动从服务器复制线程
MariaDB [(none)]> change master to master_host='172.17.253.21', master_user='slave', master_password='123456', master_log_file='zuozuo-bin.000003', master_log_pos=245;

2、配置keepalived，实现在master数据库宕机时，VIP漂移到slave数据库上

[iyunv@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
        root@localhost
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id MOGILEFS_DEVEL
}
vrrp_script chk_mysql {
        script "killall -0  -u mysql"
        interval 2
        weight -50
        fall 2
        rise 2
}

vrrp_instance VI_1 {
    state MASTER
    interface eth1
    virtual_router_id 70
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.17.252.70/16
    }

track_script {
    chk_mysql
    }
}

3、配置tracker

[iyunv@localhost ~]# vim /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=172.17.252.70  //keepalived设置的VIP
db_user = mogile
db_pass = 123456

listen = :7001   //监听所有端口，避免VIP不在本机导致服务不能启动
启动服务
/etc/init.d/mogilefsd start   有时候会出现启动成功但报错的情况，可以使用ss -ntl查看端口有没有启动查看是否启动成功

授权数据库
GRANT ALL PRIVILEGES ON *.* TO 'mogile' @'172.17.%.%' IDENTIFIED BY '123456' WITH GRANT OPTION;

数据库初始化
mogdbsetup --dbpass=123456
在每个tracker节点写一个配置文件指明tracker的位置
[iyunv@localhost ~]# cat /etc/mogilefs/mogilefs.conf
trackers=172.17.252.70:7001

4、配置storage

mkdir -p  /mydata/dev1
chown -R mogilefs.mogilefs /mydata/

[iyunv@web-server2-70 ~]# vim /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mydata

5、在tracker中添加storage节点

mogadm --tracker=172.17.252.70:7001 host add node1 --ip=172.17.252.63 --port=7500 --status=alive
mogadm --tracker=172.17.252.70:7001 host add node2 --ip=172.17.253.59 --port=7500 --status=alive

6、在设备中添加节点

mogadm  device add node1 1
mogadm  device add node2  2

7、 添加域以及class并设置副本数

mogadm admin add image  #image为domain_name
mogadm class add m26 --mindevcount 3   #--mindevcount 3     副本3份

五、测试

1、上传文件
mogupload --domain=image --key=test1 --file=./1.jpg
2、查看文件
mogfileinfo --domain=image --key=test1
3、删除文件
mogdelte --domain=image --key=test1

qianketian

感觉这个文件系统 架构有的那个了。。。
我们现在的分布式文件系统架构是
client -> Server -> Storage
    |            |
    - ------Cache--------|

整体分为 客户端 ， 服务器 ， 缓存服务器 ， 存储服务器
客户端 与 服务器 缓存服务器 存储 保持链接
获取文件 随机到一台服务器 服务器查询缓存服务器 缓存直接返回 不存在则根据算法到对应存储服务器获取
全局可横向拓展