分布式文件系统之MogileFS
系统环境1.系统环境：
# uname -smr
Linux 2.6.32-504.23.4.el6.centos.plus.x86_64 x86_64
# cat /etc/issue
CentOS release 6.6 (Final)
2.MogileFS规划：
数据库 (MySQL)：192.168.10.241 (储存MogileFS元数据)
管理节点(tarckers)：192.168.10.200:7001 （负责MogileFS的调度，管理）
存储节点(storage1)：192.168.10.220:7500 （存储文件）
存储节点(storage2)：192.168.10.231:7500 （存储文件）
反向代理服务器(Nginx):192.168.10.231:8080 （为MogileFS的Tracker提供反向代理服务）
1.特性
1).工作于应用层：无需特殊的核心组件；
2).单点：三大组件(tracker，mogstore，database)皆可实现高可用；
3).自动文件复制：复制的最小单位不是文件，而是class；基于不同的class，文件可以被自动的复制到多个有足够存储空间的存储节点上；
4).传输中立，无特殊协议：可以通过NFS或HTTP协议进行通信；
5).简单的命名空间：文件通过一个给定的key来确定，是一个全局的命名空间；没有目录，基于域实现文件隔离；
6).不共享数据：无需通过昂贵的SAN来共享磁盘，每个存储节点只需维护自己所属的存储设备(device) 2.MogileFS架构（如果数据量较大可以对MySQL做主从，并使用amoeba实现读写分离）
http://s3.运维网.com/wyfs02/M00/6F/B0/wKiom1Wk1ZOjxpzlAADH0rsOij4019.jpg
Tracker：MogileFS的核心，是一个调度器；服务进程为mogilefsd；可以做负载均衡调度；
[*]主要职责有：
[*]数据删除；
[*]数据复制；
[*]监控：故障后生成新的数据副本；
[*]查询；
Database：Tracker访问Database，返回用户可用的Storage Node及文件的存放位置；
mogstored：数据存储的位置，通常是一个HTTP(WebDAV)服务器，用于数据的创建、删除、获取等；不可做负载均衡调度；
3. 组成
MogileFS由3部分组成：
server：主要包括mogilefsd和mogstored两个应用程序。
[*]mogilefsd实现的是tracker，它通过数据库来保存元数据信息，包括站点domain、class、host等；
[*]mogstored是存储节点(store node)，它其实是个WebDAV服务，默认监听在7500端口，接受客户端的文件存储请求。
Utils（工具集）：主要是MogileFS的一些管理工具，例如mogadm等；
[*]在MogileFS安装完后，要运行mogadm工具将所有的store node注册到mogilefsd的数据库里，mogilefsd会对这些节点进行管理和监控；
客户端API：MogileFS的客户端API很多，例如Perl、PHP、Java、Python等，用这个模块可以编写客户端程序，实现文件的备份管理功能等；
4.安装部署MogileFS（在192.168.10.220和192.168.100.231执行相同操作）
1.安装MogileFS分布式文件系统
yum install perl perl-YAML
cpan -I Danga::Socket
cpan -I IO::AIO
cpan -INet::Netmask
cpan -I Perlbal
cpan -I DBD::mysql
cpan -I IO::WrapTie
tar xf MogileFS-Client-1.17.tar.gz
cd MogileFS-Client-1.17
perl Makefile.PL
make && make install
tar xf MogileFS-Server-2.72.tar.gz
perl Makefile.PL
make
make install
cpan -IMogileFS::Utils
2.MogileFS不能以root用户启动，必须为Mogilefs创建用户
useradd mogilefs
3. 增大打开文件数，并且重启服务器（默认1024）
vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
4. 准备存储设备
mkdir /etc/mogilefs
mkdir -p /data/mogdata/dev1
将添加一块磁盘挂载至/data/mogdata/dev1
chown -R mogilefs /data/mogdata/dev1
5. 为MogileFS提供配置文件
# vim /etc/mogilefs/mogilefsd.conf #MogileFS（调度节点或管理节点）的配置文件
daemonize = 1
db_dsn = DBI:mysql:mogilefs:host=192.168.10.241;port=3306;mysql_connect_timeout=5
db_user = mogilefs
db_pass = mogilefs
trackers = 192.168.10.241
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1
query_jobs = 10
delete_jobs = 1
replicate_jobs = 5
reaper_jobs = 1
# vim /etc/mogilefs/mogilefs.conf #该文件在MogileFS的家目录下
trackers = 192.168.10.220:7001
# vim /etc/mogilefs/mogstored.conf #MogileFS的Storage（存储节点）的配置文件
maxconns = 10000
httplisten=0.0.0.0:7500
mgmtlisten=0.0.0.0:7501
docroot=/data/mogdata
chown -R mogilefs /etc/mogilefs/
6. 部署数据库，参照以前文章，配置数据库，保存MogileFS的元数据
创建数据库
mysql> CREATE DATABASE mogilefs;
mysql> GRANT ALL ON mogilefs.* TO 'mogilefs'@'%' IDENTIFIED BY 'mogilefs';
mysql> FLUSH PRIVILEGES;
mysql> quit
初始化Mogilefs存储元数据的数据库（执行一次即可）
$ mogdbsetup --dbhost=192.168.10.241 --dbname=mogilefs --dbuser=mogilefs --dbpassword=mogilefs --yes
启动Trackers
$ mogilefsd
启动Storage
$ mogstored -d
5.向MogileFS的Trackers节点添加host（主机）,device（设备）,domain（域）,class（文件的最小复制单位）
添加节点
$ mogadm --trackers=192.168.10.220:7001 host add 192.168.10.220 --ip=192.168.10.220 --status=alive
$ mogadm --trackers=192.168.10.220:7001 host add 192.168.10.231 --ip=192.168.10.231 --status=alive
$ mogadm host list # 查看已添加节点
添加设备
$ mogadm device add 192.168.10.220 1
$ mogadm device add 192.168.10.231 2
$ mogadm device list # 查看已添加设备
在192.168.10.231 创建设备
mkdir -p /data/mogdata/dev2
chown -R mogilefs /data/mogdata/dev2
$ mogadm device list
192.168.10.220 : alive
used(G) free(G) total(G)weight(%)
dev1: alive 0.021 9.200 9.222 100
192.168.10.231 : alive
used(G) free(G) total(G)weight(%)
dev2: alive 16.371 9.725 26.096 100
添加domain(域)：
$mogadm domain add images
$ mogadm domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
images default 2 MultipleHosts() NONE
添加class(文件类别)
$ mogadm class add images upload1 --mindevcount=2 # 在域images中添加类别upload和upload2，最小文件复制份数为2
$ mogadm class add images upload2 --mindevcount=2
测试文件
$ mogtool--trackers=192.168.10.220:7001 --domain=images inject /home/mogilefs/1.jpeg "1.jpeg"
$ mogtool--trackers=192.168.10.220:7001 --domain=imagesinject/home/mogilefs/2.jpg "/2.jpg"
$ moglistkeys --domain=images
/2.jpg
1.jpeg
查看文件信息
$ mogfileinfo --domain=images --key='fish.jpg'
- file: fish.jpg
class: default
devcount: 2
domain: images
fid: 15
key: fish.jpg
length: 50040
- http://192.168.10.220:7500/dev1/0/000/000/0000000015.fid
- http://192.168.10.231:7500/dev2/0/000/000/0000000015.fid 6.通过Python脚本实现MogileFS文件的迁移，也可以结合Rsync实现备份：
#!/usr/bin/python
# Author:zhooukanggen
# Dump FileofMogileFS
import subprocess
import time
def MogileFS_Dump():
moglistkeys = '/usr/local/bin/moglistkeys --trackers=127.0.0.1:7001 --domain=common_raw'
Rest = subprocess.Popen(,stdout=subprocess.PIPE,shell=True).communicate().split('\n')
for i in Rest:
status = subprocess.call(['/usr/local/bin/mogfetch','--trackers=127.0.0.1:7001','--domain=common_raw','--key=' + i,'--file=./' + i])
time.sleep(1)
if status == 0:
print "Success"
else:
print "Fail"
MogileFS_Dump()#导出文件
def MogileFS_Upload():
Upload = subprocess.Popen(['ls -1 /home/web/mogilefs'],stdout=subprocess.PIPE,shell=True).communicate().split('\n')[:-1]
for i in Upload:
status = subprocess.call(['/usr/local/bin/mogupload','--trackers=192.168.10.220:7001','--domain=images','--key=' + i,'--file=/home/web/mogilefs/' + i])
time.sleep(5)
if status == 0:
print "Success"
else:
print "Fail"
MogileFS_Upload() #导入文件
7.使用nginx作为MogileFS的反向代理
1. 安装nginx
# wget
# wget
# tar xf nginx-1.8.0.tar.gz
# tar xf nginx_mogilefs_module-1.0.4.tar.gz
# cd nginx-1.8.0 ./configure \
--prefix=/usr/local/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx/nginx.pid\
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
--http-scgi-temp-path=/var/tmp/nginx/scgi \
--with-pcre --with-debug \
--add-module=../nginx_mogilefs_module-1.0.4
# make && make install
2. 配置nginx作为MogileFS的反向代理
worker_processes1;
events {
worker_connections1024;
}
http {
include mime.types;
default_typeapplication/octet-stream;
log_formatmain'$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
sendfile on;
tcp_nopush on;
keepalive_timeout65;
fastcgi_cache_path /var/tmp/nginx/fcgi levels=1:2 keys_zone=fcgicache:10m inactive=5m;
server {
listen 8080;
server_namelocalhost;
location / {
root html;
indexindex.html index.htm;
}
error_page404 /404.html;
error_page 500 502 503 504/50x.html;
location = /50x.html {
root html;
}
location /images/ {
mogilefs_tracker 192.168.10.220:7001;
mogilefs_domain images;
mogilefs_noverify on;
mogilefs_pass{
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
}
}
3. 启动nginx # /usr/local/nginx/sbin/nginx -c /etc/nginx/nginx.conf
8. 验证：
检查MogileFS
$ mogadm check
Checking trackers...
192.168.10.220:7001 ... OK
Checking hosts...
[ 1] 192.168.10.220 ... OK
[ 2] 192.168.10.231 ... OK
Checking devices...
host device size(G) used(G) free(G) use% ob state I/O%
---- ------------ ---------- ---------- ---------- ------ ---------- -----
[ 1] dev1 9.222 0.040 9.182 0.43% writeable 0.0
[ 2] dev2 26.096 16.389 9.707 62.80% writeable N/A
---- ------------ ---------- ---------- ---------- ------
total: 35.318 16.429 18.88946.52%
获取详细状态
$ mogstats -c /etc/mogilefs/mogilefsd.conf
Fetching statistics... (all)
Statistics for devices...
device host files status
---------- ---------------- ------------ ----------
dev1 192.168.10.220 107 alive
dev2 192.168.10.231 107 alive
---------- ---------------- ------------ ----------
Statistics for file ids...
Max file id: 619 Statistics for files...
domain class files size (m)fullsize (m)
-------------------- ----------- ---------- ----------- -------------
images default 107 17 35
-------------------- ----------- ---------- ----------- -------------
Statistics for replication...
domain class devcount files
-------------------- ----------- ---------- ----------
images default 2 107
-------------------- ----------- ---------- ----------
Statistics for replication queue...
status count
-------------------- ------------
-------------------- ------------
Statistics for delete queue...
status count
-------------------- ------------
-------------------- ------------
Statistics for general queues...
queue status count
--------------- -------------------- ------------
--------------- -------------------- ------------
done
列出hots
$ mogadm host list
192.168.10.220 : alive
IP: 192.168.10.220:7500
192.168.10.231 : alive
IP: 192.168.10.231:7500
查看domain
$ mogadm domain list domain
class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
images default 2 MultipleHosts() NONE
images upload1 2 MultipleHosts() NONE
images upload2 2 MultipleHosts() NONE
查看host信息$ mogadm class list domain
class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
images default 2 MultipleHosts() NONE
images upload1 2 MultipleHosts() NONE
images upload2 2 MultipleHosts() NONE
查看设备信息
$ mogadm device list
192.168.10.220 : alive
used(G) free(G) total(G)weight(%)
dev1: alive 0.039 9.183 9.222 100
192.168.10.231 : alive
used(G) free(G) total(G)weight(%)
dev2: alive 16.389 9.707 26.096 100
添加文件
$ mogupload --domain=images--key='1.jpg' --file='/home/mogilefs/2.jpg'
查看key为1.jpg的信息
$ mogfileinfo --domain=images --key='1.jpg'
- file: 1.jpg
class: default
devcount: 2
domain: images
fid: 619
key: 1.jpg
length: 279696
- http://192.168.10.220:7500/dev1/0/000/000/0000000619.fid
- http://192.168.10.231:7500/dev2/0/000/000/0000000619.fid
导出文件
$ mogfetch --domain=images --key='1.jpg' --file='./test.jpg'
通过浏览器访问1.jpg
http://s3.运维网.com/wyfs02/M01/6F/AD/wKioL1Wk3oHyCRODAAgjzsi49G4619.jpg
使用将host（192.168.10.231）的状态修改为down，并通过浏览器访问1.jpg
$ mogadmhost modify 192.168.10.231 --ip=192.168.10.231 --status=down
$ mogadm host list
192.168.10.220 : alive
IP: 192.168.10.220:7500
192.168.10.231 : down
IP: 192.168.10.231:7500http://s3.运维网.com/wyfs02/M01/6F/B0/wKiom1Wk3Rfw-AsWAAiFPc8Yst0325.jpg
注意 ：
1.当Sys-Syscal 使用 Sys-Syscall-0.25.tar.gz版本 会导致副本就只有一份(自身的bug)，通过查找资料当Sys-Syscall模块需要使用 Sys-Syscall-0.23.tar.gz 副本就会恢复正常
2.增大MogileFS用户最大打开文件数，重启服务器,如果不增大最大打开文件数，启动Mogstored就会报错ERROR: Need to be root to increase max connections.
页:
[1]