六、将tracker、mogstored、mariadb组装成完整的mogilefs系统,并测试使用
在三个节点中任选一个,启动mogilefsd服务,然后使用mogadm添加各项组件
比如:node1上启动服务:
[root@node1 mogilefs]# service mogilefsd start
Starting mogilefsd [ OK ]
对此节点做检测:
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 check
Checking trackers... 172.16.20.50:7001 ... OK
Checking hosts...No devices found on tracker(s).
mogilefs各种组件的组装时通过mogadm 命令来添加的。
使用 “ # mogadm --help” 可以查看用法
(一)添加主机host
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore1 --ip=172.16.20.50 --status=alive
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore2 --ip=172.16.20.100 --status=alive
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore3 --ip=172.16.20.150 --status=alive
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host list
mogstore1 [1]: alive IP: 172.16.20.50:7500
mogstore2 [2]: alive IP: 172.16.20.100:7500
mogstore3 [3]: alive IP: 172.16.20.150:7500
( 二)添加设备
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore1 1
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore2 2
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore3 3
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list
mogstore1 [1]: alive used(G) free(G) total(G) weight(%) dev1:
alive 0.000 0.000 0.000 100
mogstore2 [2]: alive used(G) free(G) total(G) weight(%) dev2:
alive 0.000 0.000 0.000 100
mogstore3 [3]: alive used(G) free(G) total(G) weight(%) dev3:
alive 0.000 0.000 0.000 100
问题: 在添加设备后,用设备显示命令查看结果,total都是0,而原来我们设定的是10G,产生这样结果的原因是程序没有读取到设备造成的。通过“ps aux”命令可以查看到,mogstored守护进程的属主是mogilefs,但是设备的属主和属组都是root,其他用户也没有rw权限,mogilefs没法使用挂载的分区。
[root@node2 mogilefs]# ps aux | grep mogstored
mogilefs 10966 0.0 1.4 229224 14368 ? Ssl 17:54 0:00 mogstored
mogilefs 10968 0.0 0.2 122900 2708 ? S 17:54 0:00 mogstored [diskusage]
mogilefs 10969 0.0 0.2 122900 2684 ? S 17:54 0:00 mogstored [iostat]
root 11448 0.0 0.0 103252 840 pts/1 S+ 18:21 0:00 grep mogstored
[root@node2 mogilefs]# ll /mogstore/
total 20
drwxr-xr-x 2 root root 4096 Jun 27 17:47 dev2
drwx------ 2 root root 16384 Jun 27 11:33 lost+found 修改3个节点相关目录属主和属组,并重新查看
# chown -R mogilefs:mogilefs /mogstore
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list
mogstore1 [1]: alive used(G) free(G) total(G) weight(%) dev1:
alive 0.021 9.196 9.218 100
mogstore2 [2]: alive used(G) free(G) total(G) weight(%) dev2:
alive 0.021 9.196 9.218 100
mogstore3 [3]: alive used(G) free(G) total(G) weight(%) dev3:
alive 0.021 9.196 9.218 100 设备已经可用!
(三)添加domain
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add images
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add conffiles
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add rpms
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
rpms default 2 MultipleHosts() NONE
(四)添加class
通过“# mogadm --tracker=172.16.20.50:7001 class”可获得class的相关帮助:
mogadm class add [opts] Add a file class to a domain.
mogadm class delete Delete a file class from a domain.
mogadm class list List all classes, for each domain.
mogadm class modify [opts] Modify properties of a file class.
通过“# mogadm --tracker=172.16.20.50:7001 class add”可获得class add的相关帮助:
mogadm class add [opts] Add a file class to a domain.
Name of class to add.
Domain to add class to.
--hashtype=s Hash algorithm string ('MD5', 'NONE').
--mindevcount=i Minimum number of replicas.
--replpolicy=s Replication policy string.
依此类推
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class add rpms nginxs --mindevcount 3
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 2 MultipleHosts() NONE
rpms default 2 MultipleHosts() NONE
rpms nginxs 3 MultipleHosts() NONE
(五)上传文件使用
[root@node2 mogilefs]# mogupload
Usage: /usr/bin/mogupload --trackers=host --domain=foo --key='/hello.jpg' --file='./hello.jpg'
[root@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"
[root@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="/nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"
上传的文件,如果是图片,可以直接打开,如果是其他类型,根据浏览器设置,有可能直接下载(如上面的nginx程序包)
[root@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class modify images default --mindevcount=3
[root@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=images --key="/3.jpg"
- file: /3.jpg
class: default
devcount: 3
domain: images
fid: 7
key: /3.jpg
length: 662705
- http://172.16.20.150:7500/dev3/0/000/000/0000000007.fid
- http://172.16.20.50:7500/dev1/0/000/000/0000000007.fid
- http://172.16.20.100:7500/dev2/0/000/000/0000000007.fid
[root@node2 mogilefs]# mogupload --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab" --file="/etc/fstab"
[root@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab"
- file: /fstab
class: default
devcount: 2
domain: conffiles
fid: 8
key: /fstab
length: 1076
- http://172.16.20.150:7500/dev3/0/000/000/0000000008.fid
-
http://172.16.20.100:7500/dev2/0/000/000/0000000008.fid
删除class:
[root@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class delete rpms nginxs
[root@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles default 2 MultipleHosts() NONE
images default 3 MultipleHosts() NONE
rpms default 3 MultipleHosts() NONE
注:
1、无论是删除domain、class还是host,只要里面包含有文件,都不能删除。
2、要删除domain,必须先确保里面除default外没有新加的class
七、高可用说明
在此处的三个节点中都提供了tracker和mogstored,只要都启动tracker和mogstored, 就提供了tracker和mogstored的高可用。
确保node2和node3的”/etc/mogilefs/mogilefsd.conf“文件与node1配置好的文件一致,除了监听地址修改为节点自己的IP:
listen = 172.16.20.100:7001
listen = 172.16.20.150:7001
# service mogilefsd start
此时,可以通过任意一个节点的tracker访问:
# mogadm --trackers=172.16.20.10:7001,172.16.20.150:7001,172.16.20.50:7001 host list
注:虽然有错误IP,但只要有一个IP是正确的,都可以执行成功
八、通过nginx反向代理实现存储文件的快捷访问
没有反向代理时,要通过浏览器访问则只能将长长的pid路径复制到地址栏才可以,极不方便。
而nginx支持各种各样的模块,其中就有一个模块能让我们实现快捷访问。
详细帮助文档查看nginx官网网页:
http://www.grid.net.ru/nginx/mogilefs.en.html
因为node1节点上的程序没有使用80端口的,所以,此次就用node1上安装nginx做反代。
yum安装的nginx不支持此扩展模块,需编译安装。
(一)编译安装nginx
确保编译的环境——两个程序包组已经安装:
Development tools
Server Platform Development
安装pcre-devel-7.8-6.el6.x86_64.rpm 程序包:
# yum -y install pcre-devel
# groupadd -r nginx
# useradd -r -g nginx nginx
下载nginx源码包,版本一般不要太新,生产环境以稳为前提。
nginx-1.6.2.tar.gz
nginx_mogilefs_module-1.0.4.tar.gz
# ./configure --prefix=/usr/local/nginx \
> --sbin-path=/usr/local/nginx/sbin/nginx \
> --conf-path=/etc/nginx/nginx.conf \
> --error-log-path=/var/log/nginx/error.log \
> --http-log-path=/var/log/nginx/access.log \
> --pid-path=/var/run/nginx/nginx.pid \
> --lock-path=/var/lock/nginx.lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path=/var/tmp/nginx/client/ \
> --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
> --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
> --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
> --http-scgi-temp-path=/var/tmp/nginx/scgi \
> --with-pcre \
> --add-module=/root/nginx_mogilefs_module-1.0.4
编译过程有以下显示:
adding module in /root/nginx_mogilefs_module-1.0.4
+ ngx_http_mogilefs_module was configured
# mkdir -pv /var/tmp/nginx/{client,proxy,uwsgi}
提供服务脚本:
# vim /etc/rc.d/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# service nginx restart
网页访问正常:
(二)修改nginx配置文件,提供mogilefs的反向代理
# vim /etc/nginx/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream mogtrackers {
server 172.16.20.50:7001;
server 172.16.20.100:7001;
server 172.16.20.150:7001;
}
server {
listen 80;
server_name localhost;
location / {
root html;
index index.html index.htm;
}
location /images {
mogilefs_tracker mogtrackers;
mogilefs_domain images;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
location /upload {
allow 172.16.0.0/16;
deny all;
mogilefs_tracker 172.16.20.50:7001;
mogilefs_domain images;
mogilefs_methods PUT DELETE;
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
# service nginx configtest
# service nginx reload
浏览器查看结果,代理设置成功:
这里只设置了images 域的反向代理,需要其他域的反向代理,只需要再添加location即可
使用curl命令删除文件:
但是上传文件时会出错,需要打补丁:
详情见这个 https://www.ruby-forum.com/topic/217606
(注:不保证patch无安全问题)
实际应用中,一般是在网页上,程序员编写大代码调用mogilefs的API,我们只需要点一个按钮就能选择本地文件,并在后面的输入框里填写上传后的文件名,点击确认就能完成上传。删除也是按钮化操作。
试验结束。
运维网声明
1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网 享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com