MogileFS高可用分布式文件系统详解
一、关于MogileFSMongileFS是一个由Perl开发的分布式文件系统，遵循CAP理论，即Consistency：数据的一致性；Availability：数据的可用性；Tolerance of network Partition：数据的容错性；而这里的MongileFS满足了后俩者，也就是只满足数据的可用性和容错性，对于大型网站，数据的可用性和容错性要优先于数据的一致性。
MongileFS使用一致性hash来解决数据的可用性，使用虚拟节点来解决数据倾斜的问题；MongileFS特别适合存储海量小文件的数据，与之类似的分布式文件系统还有：FastDFS，MooseFS等，也适合存储海量小文件。
MongileFS的特性：
1、应用层实现，不需要特殊的核心组件；
2、无单点失败，MogileFS分布式文件存储系统安装的三个组件（存储节点、跟踪器、跟踪用的数据库）,均可运行在多个机器上,因此没有单点失；
3、自动的文件复制 — 基于不同的文件“分类”,文件可以被自动的复制到多个有足够存储空间的存储4节点上,这样可以满足这个“类别”的最少复制要求；
4、简单的命名空间 –文件通过一个给定的key来确定,是一个全局的命名空间.你可以自己生成多个命名空间,只要你愿意,不过这样可能在同一MogileFS中会造成key冲突；
5、不用共享任何东西 — MogileFS分布式文件存储系统不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘；
实现MogileFS分布文件系统所需要的主机角色：
1、Tracker(MogileFSd 进程)：这个是 MogileFS 的核心部分，他是一个调度器，MogileFSd 进程就是trackers进程程序，trackers 做了很多工作：Replication ,Deletion,Query,Reaper,Monitor 等等，这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed),，包括将请求负载平衡到多个“query workers”中，然后让 MogileFSd 的子进程去处理；
2、MySQL：用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里)，是Trackers 来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；
3、Storage Nodes：实际文件存放的地方，存储节点是一个HTTP服务器,用来做删除,存放,重命名等事情，任何WebDAV服务器都可以, 不过推荐使用mogstored，MogileFSd 可以配置到两个机器上使用不同端口，mogstored来进行所有的DAV操作和流量，IO监测, 并且你自己选择的HTTP服务器(默认为 perlbal)用来做GET操作给客户端提供文件。
MogileFS管理的几个概念：
1、Domain：一个MogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须为一，不同Domain内，key可以相同；
2、Class：文件属性管理，定位文件存储在不同设备上的份数；
二、MongileFS工作原理图
http://s3.运维网.com/wyfs02/M00/23/E7/wKiom1NGZNiTKzaNAAD4rEDUBXs571.jpg
三、实验环境
10.232.50.239 OS：CentOS 6.4 x86_64node1.luojianlong.com
10.232.42.218 OS：CentOS 6.4 x86_64node2.luojianlong.com
10.232.42.219 OS：CentOS 6.4 x86_64node3.luojianlong.com
拓扑图
http://s3.运维网.com/wyfs02/M00/23/E7/wKiom1NGaLOjannfAAEA7emcEBk572.jpg
首先，分别在node1，node2，node3上面安装cpan以及依赖的包
# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes cpan
使用cpan命令安装MogileFS::Server，MogileFS::Client，以及依赖的模块，前提是主机能够上互联网
# 安装过程中，如有提示安装依赖的模块，直接回答yes即可
# cpan -i install MogileFS::Server
# cpan -i install MogileFS::Client
# cpan -i install MogileFS::Utils
# cpan -i install MogileFS::Server
# cpan -i install MogileFS::Client
# cpan -i install MogileFS::Utils
# cpan -i install MogileFS::Server
# cpan -i install MogileFS::Client
# cpan -i install MogileFS::Utils 安装完成以后，在node1上面安装mysql
# useradd -r mysql
# tar zxvf mysql-5.5.33-linux2.6-x86_64.tar.gz -C /usr/local/
# cd /usr/local/
# ln -s mysql-5.5.33-linux2.6-x86_64 mysql
# cd mysql
# chown -R root.mysql ./*
# mkdir /mydata/data -p
# chown -R mysql.mysql /mydata/data/
# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
# chmod +x /etc/rc.d/init.d/mysqld
# chkconfig --add mysqld
# chkconfig mysqld on
# cp support-files/my-large.cnf /etc/my.cnf
# ./scripts/mysql_install_db --user=mysql --datadir=/mydata/data
# vi /etc/my.cnf
# 添加如下俩行
datadir = /mydata/data
innodb_file_per_table = 1
# vi /etc/profile.d/mysql.sh
export PATH=/usr/local/mysql/bin:$PATH
# . /etc/profile.d/mysql.sh
# service mysqld start
Starting MySQL.... SUCCESS!
创建Tracker连接mysql的远程用户
mysql> grant all on *.* to 'root'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
配置Tracker
# useradd -r mogilefs
# mkdir /var/run/mogilefsd/ -p
# chown -R mogilefs.mogilefs /var/run/mogilefsd
# mkdir /etc/mogilefs/
# 编辑配置文件：/etc/mogilefs/mogilefsd.conf
# vi /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=10.232.50.239;port=3306;mysql_connect_timeout=5
db_user = mogile
db_pass = 123456
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1
# 编写mogilefsd启动脚本
# vi /etc/rc.d/init.d/mogilefsd
#!/bin/bash
#
# mogilefsd - Startup script for the MogileFS tracker
#
# chkconfig: - 85 15
# description: MogileFS tracker
# processname: mogilefsd
# config: /etc/mogilefs/mogilefsd.conf
# pidfile: /var/run/mogilefsd/mogilefsd.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE-/var/lock/subsys/mogilefsd}
RETVAL=0
prog=$(which mogilefsd)
start() {
ulimit -n 65535
echo -n $"Starting mogilefsd"
su - mogilefs -c "$prog -c /etc/mogilefs/mogilefsd.conf --daemon"
RETVAL=$?
[ $RETVAL = 0 ] && success && touch ${lockfile} || failure
echo
return $RETVAL
}
stop() {
echo -n $"Stopping mogilefsd"
netstat -nlp|grep "mogilefsd"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9
RETVAL=$?
[ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure
echo
}
reload() {
echo -n $"Reloading mogilefsd: "
killall mogilefsd -HUP
RETVAL=$?
[ $RETVAL = 0 ] && success || failure
echo
}
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status mogilefsd
RETVAL=$?
;;
restart)
stop
sleep 1
start
;;
reload)
reload
;;
*)
echo $"Usage: mogilefsd {start|stop|restart|reload|status}"
exit 1
esac
exit $RETVAL
# chmod +x /etc/rc.d/init.d/mogilefsd
# chkconfig --add mogilefsd
# chkconfig mogilefsd on
# 初始化数据库
# mogdbsetup --dbhost=127.0.0.1 --dbrootuser=root --dbpass=123456 --dbname=mogilefs --dbuser=mogile --dbpassword=123456
This will attempt to setup or upgrade your MogileFS database.
It won't destroy existing data.
Run with --help for more information.Run with --yes to shut up these prompts.
Continue? : y
Create/Upgrade database name 'mogilefs'? : y
Grant all privileges to user 'mogile', connecting from anywhere, to the mogilefs database 'mogilefs'? : y
# ln -s /usr/local/bin/mogilefsd /usr/bin/
# ln -s /usr/local/bin/mogilefsd /usr/sbin/
# service mogilefsd start
Starting mogilefsd
# ss -anptl
Recv-Q Send-Q Local Address:Port Peer Address:Port
0 128 :::22 :::* users:(("sshd",8066,4))
0 128 *:22 *:* users:(("sshd",8066,3))
0 128 *:7001 *:* users:(("mogilefsd",3444,6))
0 50 *:3306 *:* users:(("mysqld",1003,11))
# 启动成功
# 在node2,node3上面执行相同的操作，安装mogilefsd,不需要初始化数据 配置mogstored
# 编辑mogstored配置文件
# vi /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogdata
# mkdir /mogdata/dev1
# chown -R mogilefs.mogilefs /mogdata/dev1
# 编写mogstored启动脚本
# vi /etc/rc.d/init.d/mogstored
#!/bin/bash
#
# mogstored - Startup script for the MogileFS storage
#
# chkconfig: - 86 14
# description: MogileFS storage
# processname: mogstored
# config: /etc/mogilefs/mogstored.conf
# pidfile: /var/run/mogilefsd/mogstored.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Path to the apachectl script, server binary, and short-form for messages.
lockfile=${LOCKFILE-/var/lock/subsys/mogstored}
RETVAL=0
configfile='/etc/mogilefs/mogstored.conf'
prog=$(which mogstored)
start() {
ulimit -n 65535
echo -n $"Starting mogstored"
su - mogilefs -c "$prog -c $configfile --daemon"&> /dev/null
RETVAL=$?
[ $RETVAL = 0 ] && success && touch ${lockfile} || failure
echo
return $RETVAL
}
stop() {
echo -n $"Stopping mogstored"
netstat -nlp|grep "mogstored"|grep -v grep|awk '{print $7}'|awk -F"/" '{print $1}'|xargs kill -9
RETVAL=$?
[ $RETVAL = 0 ] && success && rm -f ${lockfile} || failure
echo
}
reload() {
echo -n $"Reloading mogstored: "
killall mogstored -HUP
RETVAL=$?
[ $RETVAL = 0 ] && success || failure
echo
}
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status mogstored
RETVAL=$?
;;
restart)
stop
sleep 1
start
;;
reload)
reload
;;
*)
echo $"Usage: mogstored {start|stop|restart|reload|status}"
exit 1
esac
exit $RETVAL
# chmod +x /etc/rc.d/init.d/mogstored
# chkconfig --add mogstored
# chkconfig mogstored on
# ln -s /usr/local/bin/mogstored/usr/bin/
# ln -s /usr/local/bin/mogstored/usr/sbin/
# service mogstored start
Starting mogstored
# ss -anptl
Recv-Q Send-Q Local Address:Port Peer Address:Port
0 128 *:7500 *:* users:(("mogstored",5108,4))
0 128 *:7501 *:* users:(("mogstored",5108,9))
0 128 :::22 :::* users:(("sshd",8066,4))
0 128 *:22 *:* users:(("sshd",8066,3))
0 128 *:7001 *:* users:(("mogilefsd",3444,6))
0 50 *:3306 *:* users:(("mysqld",1003,11))
# 启动成功
# node2，node3执行相同的操作,对应的存储目录为/mogdata/dev2，/mogdata/dev3 在node2上面编译安装nginx
# yum -y groupinstall "Development Tools" "Server Platform Deveopment"
# yum -y install openssl-devel pcre-devel
# groupadd -r nginx
# useradd -r -g nginx nginx
# 解压nginx的第三方模块mogilefs模块
# unzip nginx-mogilefs-module-master.zip
# tar zxvf nginx-1.4.2.tar.gz
# cd nginx-1.4.2
# ./configure \
> --prefix=/usr \
> --sbin-path=/usr/sbin/nginx \
> --conf-path=/etc/nginx/nginx.conf \
> --error-log-path=/var/log/nginx/error.log \
> --http-log-path=/var/log/nginx/access.log \
> --pid-path=/var/run/nginx/nginx.pid\
> --lock-path=/var/lock/nginx.lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path=/var/tmp/nginx/client/ \
> --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
> --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
> --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
> --http-scgi-temp-path=/var/tmp/nginx/scgi \
> --with-pcre \
> --add-module=/root/nginx-mogilefs-module-master
# make && make install
# mkdir /var/tmp/nginx/client -p
# nginx
Nginx 做为 MogileFS 的前端客户端，我们使用Nginx来吐文件,做前端的查询代理时,我们需要使用到mogilefs的这个模块，可以下载这个模块编译进Nginx就行了，直接使用 ./configure -add-module=这个参数就可以了，最新的这个模块的下载地址是:https://github.com/vkholodkov/nginx-mogilefs-module
在node1上，使用mogadm添加节点
# mogadm host add 10.232.50.239 --ip=10.232.50.239 --status=alive
# mogadm host add 10.232.42.218 --ip=10.232.42.218 --status=alive
# mogadm host add 10.232.42.219 --ip=10.232.42.219 --status=alive
# mogadm check
Checking trackers...
127.0.0.1:7001 ... OK
Checking hosts...
[ 1] 10.232.50.239 ... OK
[ 2] 10.232.42.218 ... OK
[ 3] 10.232.42.219 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
---- ------------ ---------- ---------- ---------- ------
total: 0.000 0.000 0.000 0.00%
# 添加host成功
为每个host添加device
# mogadm device add 10.232.50.239 1
# mogadm device add 10.232.42.218 2
# mogadm device add 10.232.42.219 3
# mogadm check
Checking trackers...
127.0.0.1:7001 ... OK
Checking hosts...
[ 1] 10.232.50.239 ... OK
[ 2] 10.232.42.218 ... OK
[ 3] 10.232.42.219 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[ 1] dev1 7.472 2.443 5.02932.69%writeable N/A
[ 2] dev2 7.472 1.839 5.63324.61%writeable N/A
[ 3] dev3 7.472 1.647 5.82522.04%writeable N/A
---- ------------ ---------- ---------- ---------- ------
total: 22.416 5.928 16.48826.45%
# 添加成功
添加domain
# mogadm domain add files
# mogadm domain add images
# mogadm domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
# 发现已经自动添加了default class
上传文件测试
# mogupload --trackers=10.232.50.239 --domain=files --key='/fstab' --file='/etc/fstab'
# mogfileinfo --trackers=10.232.50.239 --domain=files --key='/fstab'
- file: /fstab
class: default
devcount: 3
domain: files
fid: 5
key: /fstab
length: 463
- http://10.232.42.219:7500/dev3/0/000/000/0000000005.fid
- http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
# 可以看到文件被自动保存为2个副本
# curl http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
/dev/xvda1 / ext3 noatime,acl,user_xattr 1 1
/dev/xvdc swap swap defaults 0 0
proc /proc proc defaults 0 0
sysfs /sys sysfs noauto 0 0
debugfs /sys/kernel/debug debugfs noauto 0 0
devpts /dev/pts devpts mode=0620,gid=5 0 0
# 可以正常访问 模拟down掉一个节点，看文件会不会丢失
# mogadm host mark 10.232.42.218 down
# mogadm check
Checking trackers...
127.0.0.1:7001 ... OK
Checking hosts...
[ 1] 10.232.50.239 ... OK
[ 2] 10.232.42.218 ... skipping; status = down
[ 3] 10.232.42.219 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[ 1] dev1 7.472 2.443 5.02932.70%writeable N/A
[ 3] dev3 7.472 1.648 5.82422.05%writeable N/A
---- ------------ ---------- ---------- ---------- ------
total: 14.944 4.091 10.85327.37%
# mogfileinfo --trackers=10.232.42.218 --domain=files --key='/fstab'
- file: /fstab
class: default
devcount: 1
domain: files
fid: 5
key: /fstab
length: 463
- http://10.232.42.218:7500/dev2/0/000/000/0000000005.fid
# 发现文件依然存在
下面使用Nginx来替换storage nodes上 mogstored中的Perlbal
# vi /etc/nginx/nginx.conf
# 添加如下
upstream trackers {
server 10.232.50.239:7001;
server 10.232.42.218:7001;
server 10.232.42.219:7001;
}
location /files/ {
mogilefs_tracker trackers;
mogilefs_domain files;
mogilefs_methods get;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
# nginx -s reload
关于如上配置解释一下，比如:
http://www.a.com/files/A6B00135E24AB17E043B9B5453762438.png
这个URL中的UUID是A6B00135E24AB17E043B9B5453762438.png.这时我们使用这个做key来存到MogileFS中就行，再结合rewrite,只要key在url里有,就能直接代理到后端的mogilefs，如果使用了多个tracker的话，要配置使用多个tracker来进行负载均衡和备份，可以直接配置tracker到upstrame里面，然后后面配置tracker的连接时,直接加上mogilefs_tracker online_mogilefs就行了，如果你还想配置使用 mogilefs 的 Nginx 上传,使用其中的 put 功能然后就不要安装客户端上传送,就需要打个补丁，上面的配置一样，关键对于上传的配置,需要给方法修改为mogilefs_methods PUT DETEL。
上传文件测试
# 设置files domain的class复制份数为3
# mogadm class modify files default --mindevcount=3
# 上传文件
# echo "9966" > /tmp/index11.html
# mogupload --trackers=10.232.50.239 --domain=files --key='index11.html' --file='/tmp/index11.html'
# mogfileinfo --trackers=10.232.50.239 --domain=files --key='index11.html'
- file: index11.html
class: default
devcount: 3
domain: files
fid: 24
key: index11.html
length: 5
- http://10.232.42.218:7500/dev2/0/000/000/0000000024.fid
- http://10.232.50.239:7500/dev1/0/000/000/0000000024.fid
- http://10.232.42.219:7500/dev3/0/000/000/0000000024.fid
# 发现有3个副本
# curl http://10.232.42.218/files/index11.html
9966
测试正常访问
下面模拟down掉一个节点
# mogadm host mark 10.232.50.239 down
# mogadm check
Checking trackers...
127.0.0.1:7001 ... OK
Checking hosts...
[ 1] 10.232.50.239 ... skipping; status = down
[ 2] 10.232.42.218 ... OK
[ 3] 10.232.42.219 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[ 2] dev2 7.472 1.843 5.62924.67%writeable N/A
[ 3] dev3 7.472 1.652 5.82022.11%writeable N/A
---- ------------ ---------- ---------- ---------- ------
total: 14.944 3.495 11.44923.39%
# curl http://10.232.42.218/files/index11.html
9966
发现访问一切正常
如果想根据跨多机房多网段来复制不同class份数，需要安装MogileFS::Network模块
# cpan -i MogileFS::Network
# 安装完成后
# 添加网段名称，这里添加2个
# mogadm settings set network_zones near,far
# 添加网段地址
# mogadm settings set zone_near 10.0.0.0/8
# 修改class属性
# mogadm class modify files default --replpolicy "HostsPerNetwork(near=2)"
# 发现修改生效
# mogadm class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 HostsPerNetwork(near=2) NONE
files index 3 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
# 这里就实现了根据网段不同复制不同的class数量
注意：如果是多个tracker的话，每个tracker主机上都需要安装MogileFS::Network模块。
常见问题及解决方法：
如果遇到class的devcount始终为1，修改class的mindevcount也无效的话，可以设置如下：
# perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.25
# 显示为0.25版本，这就会有问题
# cpanm http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz
# perl -MSys::Syscall -e 'print $Sys::Syscall::VERSION'
0.23
# 降级为0.23的版本就能解决次问题了
到此，MogileFS， nginx-mogilefs高可用分布式文件系统配置完成。
页:
[1]