分布式文件存储系统 mogilefs 的使用（2）

rgfwwq

六、将tracker、mogstored、mariadb组装成完整的mogilefs系统，并测试使用

  在三个节点中任选一个，启动mogilefsd服务，然后使用mogadm添加各项组件
  比如：node1上启动服务：
[iyunv@node1 mogilefs]# service mogilefsd start
Starting mogilefsd                                         [  OK  ]
对此节点做检测：
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 check

1 2	Checking trackers...  172.16.20.50:7001 ... OK Checking hosts...No devices found on tracker(s).

mogilefs各种组件的组装时通过mogadm 命令来添加的。
使用 “ # mogadm --help” 可以查看用法

（一）添加主机host

1 2 3 4 5 6 7

[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore1 --ip=172.16.20.50 --status=alive [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore2 --ip=172.16.20.100 --status=alive [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host add mogstore3 --ip=172.16.20.150 --status=alive [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 host list mogstore1 [1]: alive  IP:       172.16.20.50:7500 mogstore2 [2]: alive  IP:       172.16.20.100:7500 mogstore3 [3]: alive  IP:       172.16.20.150:7500

（二）添加设备

1 2 3 4 5 6 7 8 9 10

[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore1 1 [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore2 2 [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device add mogstore3 3 [iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list mogstore1 [1]: alive    used(G)    free(G)   total(G)  weight(%)   dev1:               alive      0.000      0.000      0.000        100 mogstore2 [2]: alive    used(G)    free(G)   total(G)  weight(%)   dev2:               alive      0.000      0.000      0.000        100 mogstore3 [3]: alive    used(G)    free(G)   total(G)  weight(%)   dev3:               alive      0.000      0.000      0.000        100

问题：在添加设备后，用设备显示命令查看结果，total都是0，而原来我们设定的是10G，产生这样结果的原因是程序没有读取到设备造成的。通过“ps aux”命令可以查看到，mogstored守护进程的属主是mogilefs，但是设备的属主和属组都是root，其他用户也没有rw权限，mogilefs没法使用挂载的分区。

1 2 3 4 5 6 7 8 9

[iyunv@node2 mogilefs]# ps aux | grep mogstored mogilefs  10966  0.0  1.4 229224 14368 ?        Ssl  17:54   0:00 mogstored mogilefs  10968  0.0  0.2 122900  2708 ?        S    17:54   0:00 mogstored [diskusage] mogilefs  10969  0.0  0.2 122900  2684 ?        S    17:54   0:00 mogstored [iostat] root      11448  0.0  0.0 103252   840 pts/1    S+   18:21   0:00 grep mogstored [iyunv@node2 mogilefs]# ll /mogstore/ total 20 drwxr-xr-x 2 root root  4096 Jun 27 17:47 dev2 drwx------ 2 root root 16384 Jun 27 11:33 lost+found

修改3个节点相关目录属主和属组，并重新查看
# chown -R mogilefs:mogilefs /mogstore

1 2 3 4 5 6 7

[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 device list mogstore1 [1]: alive      used(G)    free(G)   total(G)  weight(%)   dev1:                alive      0.021      9.196      9.218        100 mogstore2 [2]: alive      used(G)    free(G)   total(G)  weight(%)   dev2:                alive      0.021      9.196      9.218        100 mogstore3 [3]: alive      used(G)    free(G)   total(G)  weight(%)   dev3:                alive      0.021      9.196      9.218        100

设备已经可用！

（三）添加domain
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add images
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add conffiles
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain add rpms
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 domain list
domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles            default                   2        MultipleHosts() NONE  
images               default                   2        MultipleHosts() NONE  
rpms                 default                   2        MultipleHosts() NONE
（四）添加class
通过“# mogadm --tracker=172.16.20.50:7001 class”可获得class的相关帮助：

1 2 3 4

mogadm class add <domain> <class> [opts]           Add a file class to a domain.   mogadm class delete <domain> <class>               Delete a file class from a domain.   mogadm class list                                  List all classes, for each domain.   mogadm class modify <domain> <class> [opts]        Modify properties of a file class.

通过“# mogadm --tracker=172.16.20.50:7001 class add”可获得class add的相关帮助：
  mogadm class add <domain> <class> [opts]           Add a file class to a domain.
      <class>              Name of class to add.
      <domain>             Domain to add class to.
      --hashtype=s         Hash algorithm string ('MD5', 'NONE').
      --mindevcount=i      Minimum number of replicas.
      --replpolicy=s       Replication policy string.


依此类推


[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class add rpms nginxs --mindevcount 3
[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class list
domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles            default                   2        MultipleHosts() NONE  
images               default                   2        MultipleHosts() NONE  
rpms                 default                   2        MultipleHosts() NONE   
rpms                 nginxs                    3        MultipleHosts() NONE


（五）上传文件使用
[iyunv@node2 mogilefs]# mogupload
Usage: /usr/bin/mogupload --trackers=host --domain=foo --key='/hello.jpg' --file='./hello.jpg'


[iyunv@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"


[iyunv@node2 mogilefs]# mogupload --tracker=172.16.20.50:7001 --domain=rpms --key="/nginx.1.6.2.rpm" --file="/root/nginx-1.6.2.tar.gz"





上传的文件，如果是图片，可以直接打开，如果是其他类型，根据浏览器设置，有可能直接下载（如上面的nginx程序包）



[iyunv@node2 mogilefs]# mogadm --tracker=172.16.20.50:7001 class modify images default --mindevcount=3
[iyunv@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=images --key="/3.jpg"


- file: /3.jpg
     class:              default
  devcount:                    3
    domain:               images
       fid:                    7
       key:               /3.jpg
    length:               662705
- http://172.16.20.150:7500/dev3/0/000/000/0000000007.fid
- http://172.16.20.50:7500/dev1/0/000/000/0000000007.fid
- http://172.16.20.100:7500/dev2/0/000/000/0000000007.fid


[iyunv@node2 mogilefs]# mogupload --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab" --file="/etc/fstab"


[iyunv@node2 mogilefs]# mogfileinfo --trackers=172.16.20.50:7001 --domain=conffiles --key="/fstab"


- file: /fstab
     class:              default
  devcount:                    2
    domain:            conffiles
       fid:                    8
       key:               /fstab
    length:                 1076
- http://172.16.20.150:7500/dev3/0/000/000/0000000008.fid
-
http://172.16.20.100:7500/dev2/0/000/000/0000000008.fid


删除class：
[iyunv@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class delete rpms nginxs
[iyunv@node2 mogilefs]# mogadm --trackers=172.16.20.50:7001 class list


domain               class                mindevcount   replpolicy   hashtype
-------------------- -------------------- ------------- ------------ -------
conffiles            default                   2        MultipleHosts() NONE  
images               default                   3        MultipleHosts() NONE  
rpms                 default                   3        MultipleHosts() NONE


注：
1、无论是删除domain、class还是host，只要里面包含有文件，都不能删除。
2、要删除domain，必须先确保里面除default外没有新加的class

七、高可用说明


在此处的三个节点中都提供了tracker和mogstored，只要都启动tracker和mogstored， 就提供了tracker和mogstored的高可用。
确保node2和node3的”/etc/mogilefs/mogilefsd.conf“文件与node1配置好的文件一致，除了监听地址修改为节点自己的IP：
listen = 172.16.20.100:7001
listen = 172.16.20.150:7001
# service mogilefsd start

此时，可以通过任意一个节点的tracker访问：
# mogadm --trackers=172.16.20.10:7001,172.16.20.150:7001,172.16.20.50:7001 host list


注：虽然有错误IP，但只要有一个IP是正确的，都可以执行成功


八、通过nginx反向代理实现存储文件的快捷访问


没有反向代理时，要通过浏览器访问则只能将长长的pid路径复制到地址栏才可以，极不方便。
而nginx支持各种各样的模块，其中就有一个模块能让我们实现快捷访问。


详细帮助文档查看nginx官网网页：
http://www.grid.net.ru/nginx/mogilefs.en.html

因为node1节点上的程序没有使用80端口的，所以，此次就用node1上安装nginx做反代。
yum安装的nginx不支持此扩展模块，需编译安装。


（一）编译安装nginx
确保编译的环境——两个程序包组已经安装：
Development tools
Server Platform Development

安装pcre-devel-7.8-6.el6.x86_64.rpm  程序包：
# yum -y install pcre-devel

# groupadd -r nginx
# useradd -r -g nginx nginx
   
下载nginx源码包，版本一般不要太新，生产环境以稳为前提。
nginx-1.6.2.tar.gz
nginx_mogilefs_module-1.0.4.tar.gz

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

# ./configure --prefix=/usr/local/nginx \ >   --sbin-path=/usr/local/nginx/sbin/nginx \ >   --conf-path=/etc/nginx/nginx.conf \ >   --error-log-path=/var/log/nginx/error.log \ >   --http-log-path=/var/log/nginx/access.log \ >   --pid-path=/var/run/nginx/nginx.pid  \ >   --lock-path=/var/lock/nginx.lock \ >   --user=nginx \ >   --group=nginx \ >   --with-http_ssl_module \ >   --with-http_flv_module \ >   --with-http_stub_status_module \ >   --with-http_gzip_static_module \ >   --http-client-body-temp-path=/var/tmp/nginx/client/ \ >   --http-proxy-temp-path=/var/tmp/nginx/proxy/ \ >   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \ >   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \ >   --http-scgi-temp-path=/var/tmp/nginx/scgi \ >   --with-pcre  \ >    --add-module=/root/nginx_mogilefs_module-1.0.4

编译过程有以下显示：
adding module in /root/nginx_mogilefs_module-1.0.4
+ ngx_http_mogilefs_module was configured


# mkdir -pv /var/tmp/nginx/{client,proxy,uwsgi}
提供服务脚本：
# vim /etc/rc.d/init.d/nginx

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126

#!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig:   - 85 15 # description:  Nginx is an HTTP(S) server, HTTP(S) reverse \ #               proxy and IMAP/POP3 proxy server # processname: nginx # config:      /etc/nginx/nginx.conf # config:      /etc/sysconfig/nginx # pidfile:     /var/run/nginx.pid    # Source function library. . /etc/rc.d/init.d/functions    # Source networking configuration. . /etc/sysconfig/network    # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0    nginx="/usr/local/nginx/sbin/nginx" prog=$(basename $nginx)    NGINX_CONF_FILE="/etc/nginx/nginx.conf"    [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx    lockfile=/var/lock/subsys/nginx    make_dirs() {    # make required directories    user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`    options=`$nginx -V 2>&1 | grep 'configure arguments:'`    for opt in $options; do        if [ `echo $opt | grep '.*-temp-path'` ]; then            value=`echo $opt | cut -d "=" -f 2`            if [ ! -d "$value" ]; then                # echo "creating" $value                mkdir -p $value && chown -R $user $value            fi        fi    done }    start() {     [ -x $nginx ] || exit 5     [ -f $NGINX_CONF_FILE ] || exit 6     make_dirs     echo -n $"Starting $prog: "     daemon $nginx -c $NGINX_CONF_FILE     retval=$?     echo     [ $retval -eq 0 ] && touch $lockfile     return $retval }    stop() {     echo -n $"Stopping $prog: "     killproc $prog -QUIT     retval=$?     echo     [ $retval -eq 0 ] && rm -f $lockfile     return $retval }    restart() {     configtest || return $?     stop     sleep 1     start }    reload() {     configtest || return $?     echo -n $"Reloading $prog: "     killproc $nginx -HUP     RETVAL=$?     echo }    force_reload() {     restart }    configtest() {   $nginx -t -c $NGINX_CONF_FILE }    rh_status() {     status $prog }    rh_status_q() {     rh_status >/dev/null 2>&1 }    case "$1" in     start)         rh_status_q && exit 0         $1         ;;     stop)         rh_status_q || exit 0         $1         ;;     restart|configtest)         $1         ;;     reload)         rh_status_q || exit 7         $1         ;;     force-reload)         force_reload         ;;     status)         rh_status         ;;     condrestart|try-restart)         rh_status_q || exit 0             ;;     *)         echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"         exit 2 esac

# chmod +x /etc/rc.d/init.d/nginx
# chkconfig --add nginx
# service nginx restart
网页访问正常：


（二）修改nginx配置文件，提供mogilefs的反向代理
# vim /etc/nginx/nginx.conf

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50

worker_processes  1;   events {       worker_connections  1024;   }   http {       include       mime.types;       default_type  application/octet-stream;       sendfile        on;           keepalive_timeout  65;           upstream mogtrackers {          server 172.16.20.50:7001;          server 172.16.20.100:7001;          server 172.16.20.150:7001;       }       server {           listen       80;           server_name  localhost;           location / {               root   html;               index  index.html index.htm;           }            location /images {        mogilefs_tracker mogtrackers;        mogilefs_domain images;        mogilefs_pass {     proxy_pass $mogilefs_path;     proxy_hide_header Content-Type;     proxy_buffering off;        }    }    location /upload {       allow 172.16.0.0/16;       deny all;       mogilefs_tracker 172.16.20.50:7001;       mogilefs_domain images;       mogilefs_methods PUT DELETE;       mogilefs_pass {     proxy_pass $mogilefs_path;     proxy_hide_header Content-Type;     proxy_buffering off;       }    }           error_page   500 502 503 504  /50x.html;           location = /50x.html {               root   html;           }       }   }

  
# service nginx configtest
# service nginx reload

浏览器查看结果，代理设置成功：





这里只设置了images 域的反向代理，需要其他域的反向代理，只需要再添加location即可
使用curl命令删除文件：





但是上传文件时会出错，需要打补丁：
详情见这个 https://www.ruby-forum.com/topic/217606
（注：不保证patch无安全问题）
实际应用中，一般是在网页上，程序员编写大代码调用mogilefs的API，我们只需要点一个按钮就能选择本地文件，并在后面的输入框里填写上传后的文件名，点击确认就能完成上传。删除也是按钮化操作。
试验结束。