分布式文件系统之MogileFS的使用
一.mogilefs简介MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。
MogileFS由3个部分组成：
第1个部分： 是server端，包括mogilefsd和mogstored两个程序。前者即是mogilefsd的tracker，它将一些全局信息保存在数据库 里，例如站点domain,class,host等。后者即是存储节点(store node)，它其实是个HTTP Daemon，默认侦听在7500端口，接受客户端的文件备份请求。在安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控。
第2个部分：是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。
第3个部分：是客户端API，目前只有Perl API(MogileFS.pm)、PHP，用这个模块可以编写客户端程序，实现文件的备份管理功能,提供MogileFS.pm。
MogileFS分布式文件系统的架构组件详解：
跟踪器：tracker，类似于name node，作为文件系统的访问入口；
是整个系统核心，是调度器，工作进程为mogilefsd，
借助于mysql关系型数据库保存元数据
需要查询数据库的元数据信息，返回信息给客户端，数据存储在哪个节点上；
主要工作：
replication：节点间文件复制，保证足量副本
deletion：从空间删除文件，
query worker：查询工作进程，实现响应客户端请求；
reaper：在磁盘存储失败后将文件复制请求重新放置进队列中；
monitor：检测主机和设备dev的健康状态和其它状态
database：保存mogilefs的元数据（数据名称，访问路径，数据块），一般使用mysql，建议使用冗余方案保证其可用性。
表的创建使用需要mogilefs提供的组件mogdbsetup来实现，可用于实现初始化数据库；
存储节点：数据存储节点，storage node，仅提供存储数据使用；
需要在本地提供一个文件系统；分区格式化挂载后提供存储空间后给tracker
进程为mogstored，加入tracker中后就是存储节点了；
一个准备好的mogstored节点可通过mogadm加入到现有的集群中；
在存储节点上需要定义设备（dev），每个设备都有其唯一ID号；
数据存取协议：
http协议：默认支持的协议
可以理解为数据节点为可以上传数据的web服务器节点；
NFS协议
客户端：client
客户端用于与mogilefs建立通信的接口（API）
MogileFS的特点：
1
2
3
4
5
6
7
8
1）.工作于应用层，没有特殊的组件要求；
2）.无单点，tracker节点可以高可用，存储节点可以存储多个数据副本，对应数据库有高可用方案；
3）.实现自动文件复制，默认副本是2份；建议存三份；
4）.传输中立，无须特殊协议，MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器一下。
5）.使用名称空间（命名空间），每个文件通过key来确定，domain，切割成不同的空间，单个空间的名称不重复，也可以根据应用来分空间；
domain内部有多个小的组件组成，成为class类，整个空间由不同节点提供的，每个文件需要存副本，在数据库中保存元数据，也适用于存储海量小文件，class把多个文件合并起来当作一个复制最小单元；
6）.无需raid，但比raid更优，MogileFS在不同的机器之间进行文件复制，因此文件始终是可用的。
7）.不共享任何数据，MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。
二.实验介绍
1.实验架构图如下
图中的数字含义说明：
1
2
3
4
5
6
7
8
1）.客户端向服务器发送请求，nginx服务器将请求接收；
2）.nginx服务器通过反向代理挑选后端一台trackers服务器响应请求；
3）.trackers接收到请求后再向后端数据库获取数据存储的位置；
4）.数据库返回数据存储位置给trackers；
5）.trackers接收到数据库响应回来的数据位置后再响应给nginx；
6）.nginx服务器接收到trackers响应回来的数据位置后再到Stored服务器上获取实际的存储数据；
7）.stored服务器再响应数据给nginx代理服务器；
8）.nginx服务器拿到最终数据之后再发送给客户端；
2.实验说明
由于我的电脑内存8G，开4台虚拟机已经很不错了，我就将mogilefs的trackers和stored放在了同一节点里面了，数据库就单独存放；
node6节点是nginx的反向代理服务器；
node7和node8节点是一组mogilefs服务器，包含了trackers和stored两个组件；
node9是数据库服务器，安装的mariadb数据库软件；数据库安装过程略。如有疑问参考我的博客：《源码编译安装mariadb-10.0.12数据库》
三.实验的实现过程
1.安装MogileFS软件
获取关于MogileFS相关的软件包如下：软件放在附件中了，需要就下载哦！
1
2
3
4
5
6
7
8
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
Perlbal-1.78-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
安装相关的软件，在node7和node8节点上安装
1
# yum install -y MogileFS-Server-* MogileFS-Utils-2.19-1.el6.noarch.rpm Perlbal-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm perl-IO-AIO
2.MogileFS服务器trackers的配置
配置mogilefs.conf这个配置文件：
配置mogilefs如何连接数据库和mogilefs内部进程启动配置：
1
2
3
4
5
6
7
8
9
10
11
12
# grep -v "^#" /etc/mogilefs/mogilefsd.conf
daemonize = 1
pidfile = /var/run/mogilefsd/mogilefsd.pid
db_dsn = DBI:mysql:mogilefs:host=172.16.31.53 #定义数据库服务器主机
db_user = mogilefs #定义登录mogilefs数据库所使用的用户名
db_pass = mogpass #定义登录mogilefs数据库所使用的密码
listen = 0.0.0.0:7001 #0.0.0.0表示监听所有地址
conf_port = 7001
query_jobs = 10
delete_jobs = 1
replicate_jobs = 5
reaper_jobs = 1
将配置文件复制一份拷贝到node8节点：
1
# scp /etc/mogilefs/mogilefsd.conf node8:/etc/mogilefs/
配置完成后需要登录我们安装的数据库mariadb服务器节点node9上进行授权操作，操作过程如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# mysql -uroot -p
Enter password:
Welcome to the MariaDB monitor.Commands end with ; or g.
Your MariaDB connection id is 5
Server version: 10.0.12-MariaDB-log Source distribution
Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.
Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.
MariaDB [(none)]> grant all on *.* to 'root'@'172.16.%.%' identified by 'oracle' with grant option;
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> grant all on mogilefs.* to 'mogilefs'@'172.16.%.%' identified by 'mogpass';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.01 sec)
MariaDB [(none)]> q
Bye
授权完成后到mogilefs节点进行mogilefs数据库初始化操作：
1
# mogdbsetup --dbhost=172.16.31.53 --dbport=3306 --dbname=mogilefs --dbrootuser=root --dbrootpass=oracle --dbuser=mogilefs --dbpass=mogpass --yes
初始化mogilefs数据库后我们到数据库服务器节点上检查是否安装：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
# mysql -uroot -p
Enter password:
Welcome to the MariaDB monitor.Commands end with ; or g.
Your MariaDB connection id is 10
Server version: 10.0.12-MariaDB-log Source distribution
Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.
Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.
#查看数据库；
MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| binlog |
| information_schema |
| mogilefs |
| mysql |
| performance_schema |
| relaylog |
| test |
+--------------------+
7 rows in set (0.04 sec)
#发现有mogilefs数据库，我们切换到mogilefs数据库；
MariaDB [(none)]> use mogilefs;
Database changed
#查看数据库的表；
MariaDB > show tables;
+----------------------+
| Tables_in_mogilefs |
+----------------------+
| checksum |
| class |
| device |
| domain |
| file |
| file_on |
| file_on_corrupt |
| file_to_delete |
| file_to_delete2 |
| file_to_delete_later |
| file_to_queue |
| file_to_replicate |
| fsck_log |
| host |
| server_settings |
| tempfile |
| unreachable_fids |
+----------------------+
17 rows in set (0.00 sec)
MariaDB > q
Bye
#
初始化安装完成。
3.在node7和node8节点上配置mogstored
如下操作在两个节点都需要进行；
尽量提供一个分区，将分区格式化后挂载后贡献给trackers；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# echo -n -e "np3+10Gt38ew" |fdisk /dev/sda
# partx -a /dev/sda
# mke2fs -t ext4 /dev/sda3
# mkdir /mogilefs
# vim /etc/fstab
#添加如下选项，开机自动挂载；
/dev/sda3 /mogilefs ext4 defaults 0 0
使用命令先挂载：
# mount -a
查看挂载：
# mount
/dev/mapper/vg0-root on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw)
/dev/sda1 on /boot type ext4 (rw)
/dev/mapper/vg0-usr on /usr type ext4 (rw)
/dev/mapper/vg0-var on /var type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/dev/sda3 on /mogilefs type ext4 (rw)#已经挂载上了；
在挂载目录下创建一个dev1目录，将其作为存储共享给trackers；
在节点node7上创建的目录是：
# mkdir /mogilefs/dev1
在node8节点创建的目录是：
# mkdir /mogilefs/dev2
将文件目录的属主属组更改为mogilefs；
# chown -R mogilefs.mogilefs /mogilefs/dev1/
配置mogstored.conf这个关于存储的配置文件：
我们这里只是测试，所以只需要定义一下贡献给trackers的存储路径：
1
2
3
4
5
# vim /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogilefs
配置完成复制一份到节点node8上去：
1
# scp /etc/mogilefs/mogstored.conf node8:/etc/mogilefs/
至此，我们的mogilefs服务器的节点的trackers和stored都配置完成了，下面就可以启动服务了：
4.启动mogilefs服务器的指定服务，两个mogilefs节点都启动；
1
2
3
4
# /etc/init.d/mogilefsd start
Starting mogilefsd
# /etc/init.d/mogstored start
Starting mogstored
查看进程监听端口：
1
2
3
4
# netstat -tunlp |grep mog
tcp 0 0 0.0.0.0:7001 0.0.0.0:* LISTEN 2643/mogilefsd
tcp 0 0 0.0.0.0:7500 0.0.0.0:* LISTEN 2690/mogstored
tcp 0 0 0.0.0.0:7501 0.0.0.0:* LISTEN 2690/mogstored
可以发现mogilefsd服务和mogstored服务都启动成功了。
我们来进行trackers节点的检查：
1
2
3
4
5
# mogadm --trackers=172.16.31.51:7001 check
Checking trackers...
172.16.31.51:7001 ... OK
Checking hosts...
No devices found on tracker(s).
可以发现trackers是正常的，但是没有主机节点的存在，并且存储设备也没有在节点上，下面就应该添加主机节点和存储设备了。
也可以使用如下命令检查主机状态：
1
2
3
4
5
# mogadm --trackers=172.16.31.51:7001 host list
node7.stu31.com : alive
IP: 172.16.31.51:7500
node8.stu31.com : alive
IP: 172.16.31.52:7500
5.trackers的主机节点和存储设备的添加；
在两个节点的其中一个节点上添加主机：
1
2
# mogadm --trackers=172.16.31.51:7001 host add node7.stu31.com --ip=172.16.31.51 --status=alive
# mogadm --trackers=172.16.31.51:7001 host add node8.stu31.com --ip=172.16.31.52 --status=alive
再次进行trackes节点的检查：
1
2
3
4
5
6
7
8
9
10
11
# mogadm --trackers=172.16.31.51:7001 check
Checking trackers...
172.16.31.51:7001 ... OK
Checking hosts...
[ 1] node7.stu31.com ... OK
[ 2] node8.stu31.com ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
---- ------------ ---------- ---------- ---------- ------
total: 0.000 0.000 0.000 0.00%
我们发现节点和主机都正常了，但是存储设备还是没有，下面就进行存储设备的添加：
1
2
# mogadm --trackers=172.16.31.51:7001 device add node7.stu31.com 1
# mogadm --trackers=172.16.31.51:7001 device add node8.stu31.com 2
再次进行trackers检查：
1
2
3
4
5
6
7
8
9
10
11
12
13
# mogadm --trackers=172.16.31.51:7001 check
Checking trackers...
172.16.31.51:7001 ... OK
Checking hosts...
[ 1] node7.stu31.com ... OK
[ 2] node8.stu31.com ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[ 1] dev1 9.221 0.023 9.198 0.25%writeable 0.0
[ 2] dev2 9.221 0.022 9.199 0.24%writeable 0.0
---- ------------ ---------- ---------- ---------- ------
total: 18.443 0.045 18.398 0.24%
我们可以发现trackers，hosts，devices都正常了。
我们也可以使用如下命令检查存储设备的状态：
1
2
3
4
5
6
7
# mogadm --trackers=172.16.31.51:7001 device list
node7.stu31.com : alive
used(G) free(G) total(G)weight(%)
dev1: alive 0.022 9.198 9.221 100
node8.stu31.com : alive
used(G) free(G) total(G)weight(%)
dev2: alive 0.021 9.199 9.221 100
6.创建domain，实现名称空间的定义
假设我们有图片，文件和html静态网页需要分开存储，我们就定义名称空间如下：
1
2
3
# mogadm --trackers=172.16.31.51:7001 domain add images
# mogadm --trackers=172.16.31.51:7001 domain add files
# mogadm --trackers=172.16.31.51:7001 domain add html
定义完成后我们来查看名称空间：
1
2
3
4
5
6
# mogadm --trackers=172.16.31.51:7001 domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 MultipleHosts() NONE
html default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
7.创建名称空间中的class类
如我们在图片images这个名称空间中创建一个类：
1
2
3
4
5
6
7
# mogadm --trackers=172.16.31.51:7001 class add images first.class
# mogadm --trackers=172.16.31.51:7001 domain list domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 MultipleHosts() NONE
html default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
images first.class 2 MultipleHosts() NONE
#mindevcount 表示最少设备数量，默认是2个，我们这里就2个设备；
至此，我们的mogilefs分布式文件系统就定义完成了。
8.进行上传文件测试
我这里为了测试准备了2张图片和1个html静态网页文件；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# ls
image1.jpg
image2.jpg
index.html
使用的上传命令：mogupload
上传图片和静态网页到存储中：
# mogupload --trackers=172.16.31.51:7001 --domain=images --key='image1.jpg' --file='/root/image1.jpg'
# mogupload --trackers=172.16.31.51:7001 --domain=images --key='image2.jpg' --file='/root/image2.jpg'
# mogupload --trackers=172.16.31.51:7001 --domain=html --key='index.html' --file='/root/index.html'
上传成功后，我们查看存储的key值信息：
# moglistkeys --trackers=172.16.31.51 --domain=images
image1.jpg
image2.jpg
# moglistkeys --trackers=172.16.31.51 --domain=html
index.html
查看上传的文件的信息：
# mogfileinfo --trackers=172.16.31.51:7001 --domain=images --key='image1.jpg'
- file: image1.jpg
class: default
devcount: 2
domain: images
fid: 10
key: image1.jpg
length: 304436
- http://172.16.31.52:7500/dev2/0/000/000/0000000010.fid
- http://172.16.31.51:7500/dev1/0/000/000/0000000010.fid
这里是每上传一个文件就都会在两个节点是都存一份，如果节点多的话它会根据定义的devcount自己选择节点存储几份，这样在一个节点掉了也可以在别的节点在有相同的资源可用；
由上面的信息我们知道了文件的fid，我们通过提供的URL进行访问测试一下：
我们在mogilefs服务器节点的配置到此就暂时告一段落，我们下面就去进行nginx服务器的反向代理配置：
9.nginx服务器的安装和基础配置
这里安装Nginx需要编译安装，因为他需要装载第三方模块才可以使用mogilefs；
第三方模块在此：在附件中有下载。
nginx_mogilefs_module-1.0.4.tar.gz
nginx的源码程序包：这个自己解决哦！
nginx-1.6.2.tar.gz
开发环境准备：
1
2
# yum install -y pcre-devel openssl-devel
# yum groupinstall -y "Development Tools"
创建nginx用户和组：
1
2
# groupadd -r nginx
# useradd -r -g nginx nginx
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
先解压第三方模块的源码包：
# tar xf nginx_mogilefs_module-1.0.4.tar.gz
编译安装nginx：
# tar xf nginx-1.6.2.tar.gz
# cd nginx-1.6.2
# ./configure
--prefix=/usr
--sbin-path=/usr/sbin/nginx
--conf-path=/etc/nginx/nginx.conf
--error-log-path=/var/log/nginx/error.log
--http-log-path=/var/log/nginx/access.log
--pid-path=/var/run/nginx/nginx.pid
--lock-path=/var/lock/nginx.lock
--user=nginx
--group=nginx
--with-http_ssl_module
--with-http_flv_module
--with-http_stub_status_module
--with-http_gzip_static_module
--http-client-body-temp-path=/var/tmp/nginx/client/
--http-proxy-temp-path=/var/tmp/nginx/proxy/
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi
--http-scgi-temp-path=/var/tmp/nginx/scgi
--with-pcre
--with-debug
--add-module=/root/nginx_mogilefs_module-1.0.4
编译完成后进行安装：
# make && make install
编译安装完nginx后需要给nginx提供一个服务脚本：
新建文件/etc/rc.d/init.d/nginx，内容如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description:Nginx is an HTTP(S) server, HTTP(S) reverse
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=([^ ]*).*//g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
而后为此脚本赋予执行权限：
# chmod +x /etc/rc.d/init.d/nginx
添加至服务管理列表，并让其开机自动启动：
# chkconfig --add nginx
# chkconfig nginx on
而后就可以启动服务并测试了：
# service nginx start
访问测试：
10.前端nginx服务器的反向代理配置
nginx的配置文件如下：我使用sed和awk结合去掉了所有以#开头的行和空白行；
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# sed -e "s/#.*//g" /etc/nginx/nginx.conf |awk '{if (length !=0) print $0}' |sed '/^ *$/d'
worker_processes1;
events {
worker_connections1024;
}
http {
include mime.types;
default_typeapplication/octet-stream;
sendfile on;
keepalive_timeout65;
upstream mogsrvs {
server 172.16.31.51:7001;
server 172.16.31.52:7001;
}
server {
listen 80;
server_namelocalhost;
location /images/ {
mogilefs_tracker mogsrvs;
mogilefs_domain images;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
error_page 500 502 503 504/50x.html;
location = /50x.html {
root html;
}
}
}
配置完成后我们启动nginx服务：
#service nginx restart
我们再次上传一张图片上去：
1
2
3
4
5
6
7
8
9
10
11
# mogupload --trackers=172.16.31.51:7001 --domain=images --key='image3.png' --file='/root/image3.png'
# mogfileinfo --trackers=172.16.31.51:7001 --domain=images --key='image3.png'
- file: image3.png
class: default
devcount: 2
domain: images
fid: 13
key: image3.png
length: 74726
- http://172.16.31.51:7500/dev1/0/000/000/0000000013.fid
- http://172.16.31.52:7500/dev2/0/000/000/0000000013.fid
访问测试：
我们将其中一个节点的mogilefs服务关闭，查看是否还能提供服务：
还是能提供服务的。
至此，整个实验过程就结束了，我们的分布式文件系统mogilefs的搭建和nginx服务器反向代理访问mogilefs就实现了。
页:
[1]