论坛 › MogileFS › Nginx+MogileFS分布式文件系统部署实验

4323213 发表于 2017-3-3 12:59:15

Nginx+MogileFS分布式文件系统部署实验

实验要求
1、部署mogilefs分布式文件系统
2、nginx代理

实验环境
1、拓扑

2、网络地址规划
    node1:172.16.76.10 nginx （centos6.8）
    node2:172.16.76.20 Trackers 、storage Node   （centos7.2）
    node3:172.16.76.30 storage Node                   （centos7.2）
    node4:172.16.76.40 storage Node(Mariadb) （centos7.2）

实验准备
         同步时间、关闭iptables、selinux等。同时自己配置/etc/hots

基本配置
node1
1、nginx配置
a、解决依赖关系

# yum groupinstall "DevelopmentTools" "Server Platform Deveopment"
# yum install openssl-devel pcre-devel
b、安装

首先添加用户nginx，实现以之运行nginx服务进程：
# groupadd -r nginx
# useradd -r -g nginx nginx

c、开始编译和安装：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# tar -xvfnginx-1.10.3.tar.gz
# tar -xvfnginx_mogilefs_module-1.0.4.tar.gz
# cd nginx-1.10.3/
#./configure--prefix=/usr \
--sbin-path=/usr/sbin/nginx--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log\
--pid-path=/var/run/nginx/nginx.pid   \
--lock-path=/var/lock/nginx.lock\
--user=nginx   --group=nginx\
--with-http_ssl_module\
--with-http_flv_module\
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
--http-scgi-temp-path=/var/tmp/nginx/scgi\
--with-pcre--with-debug\
--add-module=/root/nginx_mogilefs_module-1.0.4/
# make &&make install
#vim /etc/rc.d/init.d/nginx
         #脚本内容见文章后附件。
#chmod +x /etc/rc.d/init.d/nginx
#chkconfig –add nginx
#service nginx start






node1为centos6


node2
# ls mogilefs/
MogileFS-Server-2.46-2.el6.noarch.rpm         MogileFS-Utils-2.19-1.el6.noarch.rpm perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpmPerlbal-1.78-1.el6.noarch.rpm      perl-MogileFS-Client-1.14-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpmPerlbal-doc-1.78-1.el6.noarch.rpm   perl-Perlbal-1.78-1.el6.noarch.rpm
# for i in {2,3,4} ;do scp -rmogilefs node$i:/root/;done
                           #将mogilefs拷贝至其余各节点
# for i in {2,3,4};do sshnode$i 'yum install perl-Net-Netmask perl-IO-stringy perl-Sys-Syslogperl-IO-AIO -y';done   #各节点安装
# for i in {2,3,4};do sshnode$i 'yum install ./mogilefs/*.rpm -y';done #各节点安装


node4:
    # yum install mariadb-server –y

2、初始化数据
a、数据库授权
    #vim /etc/my.cnf
    skip_name_resolve=ON
    innodb_file_per_table=ON
    # systemctl start mariadb
    # mysql
    MariaDB > grant all ON *.* tomogile@'172.16.%.%' identified by 'mogilepass'
    MariaDB > GRANT ALL PRIVILEGES ON mogilefs.*TO mogile@'172.16.%.%' IDENTIFIED BY ‘mogile’ WITH GRANT OPTION;
    MariaDB > flush privileges;

b、初始化数据
    # mogdbsetup --dbhost=172.16.76.40 --dbname=mogilefs--dbrootuser=mogilefs --   dbrootpass=mogilefs --dbuser=mogile --dbpass=mogile--yes

3、设定连接数据库
   # vim /etc/mogilefs/mogilefsd.conf
      db_dsn =DBI:mysql:mogilefs:host=172.16.76.40
      db_user = mogile
      db_pass =mogile
      # IP:PORT tolisten on for mogilefs client requests
      listen = 0.0.0.0:7001
         # service mogilefsd start

存储节点配置

node2
    # vim/etc/mogilefs/mogstored.conf
    maxconns = 10000
    httplisten = 0.0.0.0:7500
    mgmtlisten = 0.0.0.0:7501
    docroot = /apps/data/mogilefs
    #mkdir -pv/apps/data/mogilefs
    # chown -Rmogilefs.mogilefs /apps/data/mogilefs/
启动服务报错
https://s3.iyunv.com/wyfs02/M01/8E/25/wKioL1i2yL7jsn_8AABIn7JSPRg401.jpg
#此处是因为启动脚本问题
# vim /etc/init.d/mogstored
图中红线标记处为添加内容，修改保存后再次启动服务正常
# systemctl daemon-reload


文章后 会将修改后脚本上传为附件。

    # for i in {3,4}; do scp/etc/mogilefs/mogstored.conf node$i:/etc/mogilefs/;done
    #将此文件传递到node3、node4节点（配置相同）

    #for i in {3,4}; do scp/etc/init.d/mogstored node$i:/etc/init.d/ ;done
         #修改后的启动脚本
    # for i in {3.4}; do sshnode$i 'mkdir -pv /apps/data/mogilefs' ;done
         #node3、node4节点创建存储目录
   # for i in {3,4}; do ssh node$i 'chown -R mogilefs.mogilefs /apps/data/mogilefs/' ;done#权限

    # for i in {3,4}; do ssh node$i 'systemctl daemon-reload' ;done
    # for i in {3,4}; do ssh node$i ' service mogstored start' ;done
    #启动各节点 mostored服务。

添加存储节点主机

    # mogadm host add172.16.76.20 --ip=172.16.76.20 --port=7500 --status=alive
    # mogadm host add172.16.76.30 --ip=172.16.76.30 --port=7500 --status=alive
    # mogadm host add172.16.76.40 --ip=172.16.76.40 --port=7500 --status=alive


添加存储设备
node2:
      # cd /apps/data/mogilefs/
      # mkdir dev1
      # chown -Rmogilefs.mogilefs /apps/data/mogilefs/

node3
      # cd /apps/data/mogilefs/
      # mkdir dev2
      # chown -Rmogilefs.mogilefs /apps/data/mogilefs/

node4
      # cd /apps/data/mogilefs/
      # mkdir dev3
      # chown -Rmogilefs.mogilefs /apps/data/mogilefs/

node2:
      # mogadm device add172.16.76.20 1
      # mogadm device add172.16.76.30 2
      # mogadm device add172.16.76.40 3


域（名称空间）、类添加
添加域
         node2
         # mogadm domain add file #添加域 file
      #mogadm domain add imgs#添加域imgs
      #mogadm domain list#域列表





添加类
      node2
         # mogadm class add imgs jpg --hashtype=MD5 --mindevcount=2
                   #添加类jpg ，MD5算法最小文件分数为2
      #mogadm class add imgs png --hashtype=MD5 --mindevcount=2
      #mogadm class list#类列表


测试存储
上传文件
# mogupload --trackers=172.16.76.20:7001 --domain=imgs--class=jpg --key='/default.jpg' --file='/root/test.jpg'
# mogupload--trackers=172.16.76.20--domain=file --key='t1.html'--file='/root/anaconda-ks.cfg'

查询文件
# mogfileinfo--trackers=172.16.76.20:7001 --domain=imgs --key='default.jpg'
#注意此处显示devcount这是有问题，文章最后有说明

查看详细信息

# mogfiledebug --trackers=172.16.76.20:7001 --domain=imgs--key='default.jpg'



浏览器测试查看
http://172.16.76.20:7500/dev1/0/000/000/0000000041.fid

此时说明mogilefs已经可以正常使用。

配置Nginx代理

vim /etc/nginx/nginx.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
#user nobody;
worker_processes1;

#error_log logs/error.log;
#error_log logs/error.lognotice;
#error_log logs/error.loginfo;
#pid       logs/nginx.pid;
events {
   worker_connections1024;
}
http {
   include       mime.types;
   default_type application/octet-stream;

   #log_formatmain'$remote_addr - $remote_user [$time_local]"$request" '
   #                  '$status$body_bytes_sent "$http_referer" '
   #               '"$http_user_agent" "$http_x_forwarded_for"';

   #access_loglogs/access.logmain;

   sendfile      on;
   #tcp_nopush   on;

   #keepalive_timeout0;
   keepalive_timeout65;

   #gzipon;

         server{
             listen       80;
             server_name yourdomain.com default;

             location /imgs{
             mogilefs_tracker 172.16.76.20:7001;#代理trackers
             mogilefs_domain imgs;#imgs域
             mogilefs_methods get;#请求方法

             mogilefs_pass {
                  proxy_pass $mogilefs_path;#mogilefs模块内置变量
                  proxy_hide_headerContent-Type;
                  proxy_buffering off;
             }   
             expires 1h;
             }   
   location /file/ {
             mogilefs_tracker 172.16.76.20:7001;
             mogilefs_domain file;#file域
             mogilefs_methods get;

             mogilefs_pass {
                     proxy_pass $mogilefs_path;
                      proxy_hide_headerContent-Type;
                     proxy_buffering off;
             }   
             expires 1h;
             }
             error_page500 502 503 504/50x.html;
             location = /50x.html {
                root   html;
             }
         }
}







nginx -t
nginx: the configuration file/etc/nginx/nginx.conf syntax is ok
nginx: configuration file/etc/nginx/nginx.conf test is successful
nginx -s reload

测试


声明：本实验中存在两个问题
1、由于nginx与mogilefs模块问题在centos7中安装存在问题，所以nginx代理节点安装在centos6.8 系统中。

2、mogilefs存储文件默认是2份，本实验中无法自动复制，文件始终是一份，
http://www.tuicool.com/articles/BbMJZfR此文中记录有解决方法，不过笔者按其方法实验并未成功，望各位见谅。如果那天问题解决我会更新此博客。当然若哪位能够解决此问题，希望给兄弟指点下，在这先谢谢了。

查看完整版本: Nginx+MogileFS分布式文件系统部署实验