基于mogilefs实现分布式存储

blueice

　　一、mogileFS简介
（1）mogileFS是一个开源的分布式文件存储系统，具有以下特性：
1、支持多节点冗余
2、可实现自动的文件复制
3、使用名称空间（命名空间），每个文件通过key来确定
4、工作在应用层，没有特殊的组件要求
5、不共享任何磁盘，mogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只需要维护好自己的磁盘
（2）、mogileFS的架构
mogileFS主要由三部分构成：tracker节点，database节点，storage节点
1、Tracker(MogileFSd 进程)：这个是 MogileFS 的核心部分
2、MySQL：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)
3、Storage Nodes：这个是 MogileFS 存储文件存放在这些机器上,也是 mogstored 节
点
（3）、mogileFS工作机制

每次文件的上传和读取，都经过前端TrackerServer服务器，trackerServer服务器受到client端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。upload操作返回就是成功或者失败的结果，read操作就是返回对应的查询数据。
二、实验规划
centos服务器四台，一台作为MySQL（主），一台作为MySQL（备），两台作为存储节点，结合keepalived，实现数据库的主从切换，配置好yum源、关闭防火墙以及SELinux、各节点时钟同步。

三、实验准备
mogileFS是使用Perl语言写的，所以在安装Perl语言之前要先安装Perl语言需要的包
yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO
安装mogileFS需要的软件包

MogileFS-Server-2.46-2.el6.noarch.rpm        #核心服务
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm        #socket
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm        # tracker节点
perl-MogileFS-Client-1.14-1.el6.noarch.rpm           #客户端
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm         #Storage存储节点
MogileFS-Utils-2.19-1.el6.noarch.rpm         #主要是MogileFS的一些管理工具，例如mogadm等
　　四、实验步骤
1、实现数据库的主从

数据库master站点
vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
server-id=1
log-bin=zuozuo-bin
[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid
授权主从复制的用户
grant replication slave,replication client  on *.* to slave@'172.17.%.%' identified by '123456';
数据库slave站点
vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0
server-id=2
relay_log=zuozuo-relay-bin
read_only=1
log_bin=zuozuo-bin
log_slave_updates=1
启动从服务器复制线程
MariaDB [(none)]> change master to master_host='172.17.253.21', master_user='slave', master_password='123456', master_log_file='zuozuo-bin.000003', master_log_pos=245;
　　2、配置keepalived，实现在master数据库宕机时，VIP漂移到slave数据库上

[root@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id MOGILEFS_DEVEL
}
vrrp_script chk_mysql {
script "killall -0  -u mysql"
interval 2
weight -50
fall 2
rise 2
}
vrrp_instance VI_1 {
state MASTER
interface eth1
virtual_router_id 70
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.17.252.70/16
}
track_script {
chk_mysql
}
}
　　3、配置tracker

[root@localhost ~]# vim /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=172.17.252.70  //keepalived设置的VIP
db_user = mogile
db_pass = 123456
listen = :7001   //监听所有端口，避免VIP不在本机导致服务不能启动
启动服务
/etc/init.d/mogilefsd start   有时候会出现启动成功但报错的情况，可以使用ss -ntl查看端口有没有启动查看是否启动成功
授权数据库
GRANT ALL PRIVILEGES ON *.* TO 'mogile' @'172.17.%.%' IDENTIFIED BY '123456' WITH GRANT OPTION;
数据库初始化
mogdbsetup --dbpass=123456
在每个tracker节点写一个配置文件指明tracker的位置
[root@localhost ~]# cat /etc/mogilefs/mogilefs.conf
trackers=172.17.252.70:7001

　　4、配置storage

mkdir -p  /mydata/dev1
chown -R mogilefs.mogilefs /mydata/
[root@web-server2-70 ~]# vim /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mydata
　　5、在tracker中添加storage节点

mogadm --tracker=172.17.252.70:7001 host add node1 --ip=172.17.252.63 --port=7500 --status=alive
mogadm --tracker=172.17.252.70:7001 host add node2 --ip=172.17.253.59 --port=7500 --status=alive
　　6、在设备中添加节点

mogadm  device add node1 1
mogadm  device add node2  2
　　7、 添加域以及class并设置副本数

mogadm admin add image  #image为domain_name
mogadm class add m26 --mindevcount 3   #--mindevcount 3     副本3份
　　五、测试

1、上传文件
mogupload --domain=image --key=test1 --file=./1.jpg
2、查看文件
mogfileinfo --domain=image --key=test1
3、删除文件
mogdelte --domain=image --key=test1