分布式文件存储系统 mogilefs 的使用（1）

zzss

　　
一、mogilefs简介
       mogilefs是一种分布式存储（不可挂载，通过API调用或专门客户端）的解决方案，可存储海量图片、静态文件。
       mogilefs的相关程序是用perl语言编写，元数据存储在关系型数据库中（国内有人用C语言将mogilefs重写的程序叫做FastDFS，后者的元数据是存储在内存中的）
　　
mogilefs的基本组成结构：
     （1） tracker：追踪器，从database中追踪用户请求数据的元数据
            与客户端通过http协议通信，RESTful风格。
            提供mogilefsd（守护进程），主要职责包括：
                 ① replication：节点间文件的复制
                 ② deletion：删除文件
                 ③ queryworker：响应客户请求的文件元数据访问请求
                 ④ reaper：在存储失败后将文件复制请求重新放置于队列中
                 ⑤ monitor：监测主机和设备的健康状态
      （2） database：
              存储mogilefs的元数据（存储数据的内容、大小、存储的节点等非数据内容信息），一般使用MySQL；建议使用冗余方案以保证其可用性（如MMM，MHA）
             mogilefs专门提供了数据结构管理工具mogdbsetup（功用：初始化MySQL、管理元数据）
       （3） storage：存储数据，数据副本冗余量默认是2个（可修改）
              mogstored（进程名），一个准备停当的mogstored节点可通过mogadm命令添加至现在的集群中；
              存储节点需要定义“设备（dev）”用作存储空间：每个“设备”在当前集群都需要通过一个唯一的DevID来标识；
        （4）client：
              客户端用于与mogilefs建立通信，完成数据存取；

　　

　　mogilefs特性：
         （1）工作于应用层：无需特殊核心组件；
         （2）无单点；
         （3）自动完成文件复制；
           （由tracker指挥storage自动完成）
         （4）传输无需特殊协议（使用http或nfs）；
         （5）使用简单名称空间机制来完成复制；
         （6）不在任何节点之间共享任何数据；
         （7）non-RAID
         （8）不能追加写、随机写
         （9）Tracker Client传输（Mogilefsd），管理数据复制、删除、查询、修复以及监控
         （10）数据通过HTTP/WebDAV服务上传到Storage node（mogstored）
         （11）MySQL存储MofileFS元数据（命名空间、位置）
　　mogilefs所存储数据的存储结构：
         ① domain： name space，命名空间 ，key的名字空间
          一个mogilefs可以有多个domain，是一种路径映射，类似于目录，同一个domain内key（文件名）唯一，不同domain内的key可以相同
          实际应用中可以将不同的类别文件存储在不同的domain中
         ② class: 最小复制单元
　　
    定位文件： 先定位 domain,再定位 fid
    一个domain内 可以有多个class，是最小复制单位、最小调度单元，是多个文件合起来组成的。
　　

　　本次试验架构：
　　

　　
　　配置服务顺序：
node1上安装mariadb-5.5.43-linux-x86_64-->在node1、node2、node3上安装tracker --> 在node1、node2、node3上安装mogstored --> 在node2上安装nginx做反向代理
　　
本次试验只是做mogilefs的练习，未对元数据的存储做高可用。
　　

　　对mariadb做高可用参考：
http://ctrry.blog.运维网.com/9990018/1658665
参考架构可以如下：
　　

　　
二、mariadb数据库及分区及mogstored专用数据存储分区的准备
　　
　　（一）准备磁盘分区：

　　

　　在node1、node2、node3上执行下面创建新分区的步骤：

# fdisk /dev/sda
……
   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          26      204800   83  Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2              26        7859    62914560   8e  Linux LVM
/dev/sda4            7859       14386    52435161    5  Extended
/dev/sda5            7859        9164    10489414+  8e  Linux LVM          10G
/dev/sda6            9165       10470    10490413+  8e  Linux LVM         10G
# partx -a /dev/sda
# partx -a /dev/sda　　
# bash mogilefs.sh

#!/bin/bash
#
pvcreate /dev/sda5
vgcreate myvg5 /dev/sda5
lvcreate -L 10G -n maria myvg5
mke2fs -t ext4 -L MARIA /dev/myvg5/maria
mkdir -p /mydata
mkdir -p /mogstore
pvcreate /dev/sda6
vgcreate myvg6 /dev/sda6
lvcreate -L 10G -n mogstore myvg6
mke2fs -t ext4 -L MOGSTORE /dev/myvg6/mogstore
echo "LABEL=MARIA             /mydata                 ext4    defaults        0 0" >> /etc/fstab
echo "LABEL=MOGSTORE          /mogstore                  ext4    defaults        0 0" >> /etc/fstab
mount -a
mount　　
不安装mariadb的节点上可以将少创建一个分区
　　
（二）在node1上安装mariadb

　　# lftp 172.16.0.1/pub/Sources/sources/mariadb
lftp 172.16.0.1:/pub/Sources/sources/mariadb> get mariadb-5.5.43-linux-x86_64.tar.gz
　　# bash -x mariainstall.sh
脚本内容如下：

#!/bin/bash
#
groupadd -r -g 306 mysql
useradd -r -g mysql -u 306 mysql
tar xf mariadb-5.5.43-linux-x86_64.tar.gz -C /usr/local
cd /usr/local
ln -s /usr/local/mariadb-5.5.43-linux-x86_64 mysql
chown -R root:mysql /usr/local/mysql/*
cd mysql
mkdir /mydata/data
./scripts/mysql_install_db --datadir=/mydata/data  --skip-name-resolve --basedir=/usr/local/mysql --user=mysql
chown -R mysql:mysql /mydata
cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld
mkdir /etc/mysql
cp ./support-files/my-large.cnf /etc/mysql/my.cnf
echo "export PATH=/usr/local/mysql/bin:$PATH" > /etc/profile.d/mysqld.sh
. /etc/profile.d/mysqld.sh
ln -s /usr/local/mysql/include/ /usr/include/mysql
vim /etc/mysql/my.cnf　　
  添加或修改下面4项：

thread_concurrency = 2
  datadir = /mydata/data
  skip_name_resolve = on
  innodb_file_per_table = on　　
# service mysqld start
# /usr/local/mysql/bin/mysql_secure_installation
根据提示操作，第一次是需要输入登录密码，但第一次是没有设置得，直接回车就OK了。

　　

　　三、安装tracker和mogstored
　　安装mogilefs有两种方式：
一是自己寻找到mogilefs相应的rpm包安装；
二是连到perl.can网，直接通过“cpan> install module::name”形式自动编译安装。
此次采用rpm包安装。
　　在教室环境中，下载位置为：
# lftp 172.16.0.1:/pub/Sources/6.x86_64/mogilefs>
MogileFS-Server-2.46-2.el6.noarch.rpm    通行组件
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm 提供tracker
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm 提供mogstored
MogileFS-Utils-2.19-1.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm  客户端调用API做开发时才需要的组件，被其他组件依赖
perl-Net-Netmask-1.9015-8.el6.noarch.rpm  实现机架感知能力组件
perl-Perlbal-1.78-1.el6.noarch.rpm  被依赖组件
　　下载后下面的程序包并全部安装：

[root@node1 mogilefs]# lsMogileFS-Server-2.46-2.el6.noarch.rpm  perl-MogileFS-Client-1.14-1.el6.noarch.rpm  MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm  perl-Net-Netmask-1.9015-8.el6.noarch.rpm  MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm  perl-Perlbal-1.78-1.el6.noarch.rpm  MogileFS-Utils-2.19-1.el6.noarch.rpm
[root@node1 mogilefs]# yum localinstall -y --nogpgcheck *.rpm
……
Installed:  MogileFS-Server.noarch 0:2.46-2.el6   MogileFS-Server-mogilefsd.noarch 0:2.46-2.el6      MogileFS-Server-mogstored.noarch 0:2.46-2.el6   MogileFS-Utils.noarch 0:2.19-1.el6      perl-MogileFS-Client.noarch 0:1.14-1.el6     perl-Net-Netmask.noarch 0:1.9015-8.el6    perl-Perlbal.noarch 0:1.78-1.el6                        
Dependency Installed:  perl-BSD-Resource.x86_64 0:1.29.03-3.el6      perl-DBD-MySQL.x86_64 0:4.013-3.el6      perl-Danga-Socket.noarch 0:1.61-5.el6     perl-IO-stringy.noarch 0:2.110-10.1.el6      perl-Sys-Syscall.noarch 0:0.23-1.el6                    
Complete!　　在mogstored的节点上都需要安装上perl-IO-AIO程序包，这是被隐式依赖的包：
[root@node1 mogilefs]# yum install -y perl-IO-AIO

……
Installed:  perl-IO-AIO.x86_64 0:3.71-2.el6                                                                                      
Dependency Installed:  perl-common-sense.noarch 0:3.5-1.el6                                                                                 
Complete!　　在node2和node3上也做 同样安装。
生成文件说明：
[root@node1 mogilefs]# rpm -ql MogileFS-Server

(contains no files)　　
[root@node1 mogilefs]# rpm -ql MogileFS-Server-mogilefsd

/etc/mogilefs/mogilefsd.conf  #tracker的配置文件
/etc/rc.d/init.d/mogilefsd #tracker服务脚本
/usr/bin/mogdbsetup # 初始化mariadb数据库的程序文件
/usr/bin/mogilefsd  #主程序文件
/usr/share/man/man1/mogilefsd.1.gz  #各种帮助文档文件
/usr/share/man/man3/MogileFS::Checksum.3pm.gz
……
/usr/share/perl5/vendor_perl/MogileFS/Checksum.pm  #各种相关的库文件
/usr/share/perl5/vendor_perl/MogileFS/Class.pm
……
/usr/share/perl5/vendor_perl/MogileFS/makedocs.pl
/var/run/mogilefsd   #运行时临时文件存放位置，如pid文件　　

　　[root@node1 mogilefs]# rpm -ql MogileFS-Utils

/usr/bin/mogadm # 对mogilefs做全面管理的程序，如健康检测、查看状态、主机管理、设备管理、domain管理、class管理、从节点管理、文件系统管理、数据均衡管理、设置mogilefs工作特性
/usr/bin/mogdelete #删除文件工具
/usr/bin/mogfetch #下载文件工具
/usr/bin/mogfiledebug
/usr/bin/mogfileinfo
/usr/bin/moglistfids # 列出所有fid文件工具
/usr/bin/moglistkeys
/usr/bin/mogrename #重命名工具
/usr/bin/mogstats #
/usr/bin/mogtool
/usr/bin/mogupload #上传文件工具
/usr/share/man/man1/mogadm.1.gz # 各种帮助文档
……
/usr/share/man/man3/MogileFS::Utils.3pm.gz
/usr/share/perl5/MogileFS/Utils.pm # 所用到的模块文件　　[root@node1 mogilefs]# rpm -ql MogileFS-Server-mogstored

/etc/mogilefs/mogstored.conf #配置文件
/etc/rc.d/init.d/mogstored  # 服务脚本
/usr/bin/mogautomount # 自动挂载程序
/usr/bin/mogstored #守护进程程序
/usr/share/man/man1/mogautomount.1.gz
/usr/share/man/man1/mogstored.1.gz
/usr/share/perl5/vendor_perl/Mogstored/ChildProcess #大量模块文件
/usr/share/perl5/vendor_perl/Mogstored/ChildProcess.pm
……
/usr/share/perl5/vendor_perl/Mogstored/TaskQueue.pm　　
[root@node1 mogilefs]# rpm -ql perl-MogileFS-Client

/usr/share/man #帮助文档
/usr/share/man/man3
/usr/share/man/man3/MogileFS::Client.3pm.gz
/usr/share/perl5/MogileFS/Admin.pm #提供所需的库文档
/usr/share/perl5/MogileFS/Backend.pm
/usr/share/perl5/MogileFS/Client.pm
/usr/share/perl5/MogileFS/ClientHTTPFile.pm
/usr/share/perl5/MogileFS/NewHTTPFile.pm　　[root@node1 mogilefs]# rpm -ql perl-Perlbal

/usr/share/man/man3 # 提供大量帮助文档
……
/usr/share/man/man3/Perlbal::Util.3pm.gz
/usr/share/perl5/Perlbal.pm  # 提供大量模块文件
/usr/share/perl5/Perlbal/AIO.pm
……
/usr/share/perl5/Perlbal/ManageCommand.pm
/usr/share/perl5/Perlbal/Manual
/usr/share/perl5/Perlbal/Manual.pod
/usr/share/perl5/Perlbal/Manual/Configuration.pod
……
/usr/share/perl5/Perlbal/Manual/WebServer.pod
/usr/share/perl5/Perlbal/Plugin
/usr/share/perl5/Perlbal/Plugin/AccessControl.pm
……
/usr/share/perl5/Perlbal/Plugin/XFFExtras.pm
/usr/share/perl5/Perlbal/Pool.pm
/usr/share/perl5/Perlbal/ReproxyManager.pm
/usr/share/perl5/Perlbal/Service.pm
/usr/share/perl5/Perlbal/Socket.pm
/usr/share/perl5/Perlbal/SocketSSL.pm
/usr/share/perl5/Perlbal/TCPListener.pm
/usr/share/perl5/Perlbal/Test
/usr/share/perl5/Perlbal/Test.pm
/usr/share/perl5/Perlbal/Test/WebClient.pm
/usr/share/perl5/Perlbal/Test/WebServer.pm
/usr/share/perl5/Perlbal/UploadListener.pm
/usr/share/perl5/Perlbal/Util.pm　　四、tracker配置

　　

　　tracker配置之前需要先配置好mariadb的对用户的授权，然后对数据库做初始化。
（一）数据库授权

[root@node1 ~]# mysql -uroot -h127.0.0.1 -p
Enter password:
MariaDB [(none)]> grant all on *.* to 'root'@'172.16.20.%' identified by '123' with grant option;
Query OK, 0 rows affected (0.42 sec)
MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.07 sec)
MariaDB [(none)]> \q　　（二）初始化数据库

　　查看帮助说明
[root@node1 ~]# mogdbsetup --help

　　

　　根据自己需要选择参数，初始化数据库：
[root@node1 ~]# mogdbsetup --dbhost=172.16.20.50 --dbrootuser=root --dbrootpass=123 --dbname=mogdb --dbuser=moguser --dbpass=mogpass --yes
其中dbhost是远程主机的IP地址（需要远程主机设定了skip-name-resolve），dbroot和dbrootpass是远程主机的授权的允许远程登录数据库的账号和密码（上面刚授权的），dbname、dbuserdbpass是我们这次初始化需要创建的存储元数据的新数据库名称、使用用户、使用密码。
　　

　　查看初始化创建的数据库：
　　# mysql -umoguser -h172.16.20.50 -p
　　

　　

　　（三）修改配置文件

　　

　　[root@node1 ~]# cp /etc/mogilefs/mogilefsd.conf{,.bak}
[root@node1 ~]# vim /etc/mogilefs/mogilefsd.conf

# Enable daemon mode to work in background and use syslog采用守护进程模式运行于后台并使用syslog：
daemonize = 1
# Where to store the pid of the daemon (must be the same in the init script)
pidfile = /var/run/mogilefsd/mogilefsd.pid
# Database connection information
# db_dsn = DBI：数据库类型：元数据数据库名：所在主机IP
db_dsn = DBI:mysql:mogdb:host=172.16.20.50
db_user = moguser
db_pass = mogpass
# IP:PORT to listen on for mogilefs client requests
listen = 172.16.20.50:7001
# Optional, if you don't define the port above.
conf_port = 7001
# 默认启动时的查询线程数，根据需要修改
query_jobs = 10
# 默认启动时的删除线程数，根据需要修改
delete_jobs = 2
# 默认启动时的复制线程数，根据需要修改
replicate_jobs = 5
# 默认启动时的reaper线程数，这个数值是不需要修改的
# (you don't usually need to increase this)
reaper_jobs = 1
……
# Allow replication to use the secondary node get port,
# if you have apache or similar configured for GET's
#repl_use_get_port = 1  这个是有主从复制时需要设置的参数　　

　　启动服务：
[root@node1 ~]# service mogilefsd start
Starting mogilefsd                                         [  OK  ]
[root@node1 ~]# ss -tnl | grep 7001
LISTEN     0      128            172.16.20.50:7001                     *:*
　　五、mogstored的配置
　　
　　（一）三个mogstored节点提供dev目录

　　

　　[root@node1 mogilefs]# mkdir /mogstore/dev1
[root@node2 mogilefs]# mkdir /mogstore/dev2
[root@node3 mogilefs]# mkdir /mogstore/dev3
　　
　　（二）三个节点上都修改mogstored的配置文件：

　　

　　只需要修改最后一行的文件存储位置为新建分区即可
# vim /etc/mogilefs/mogstored.conf

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogstore　　

　　修改好配置文件后，查看是否能正常启动服务：
# service mogstored start

Starting mogstored                                         [  OK  ]　　
# ss -tnl | grep "750"

LISTEN     0      128                       *:7500                     *:*     
LISTEN     0      128                       *:7501                     *:*