分布式存储MogileFS介绍,Tengine反代MogileFS负载均衡

o2geao

MogileFS介绍
MogileFS
    是一个开源的分布式文件存储系统，由LiveJournal旗下的Danga Interactive公司开发。
    Danga团队开发了包括 Memcached、MogileFS、Perlbal 等多个知名的开源项目。
    目前使用MogileFS 的公司非常多，以大众点评为例，用户全部图片均有mogileFS存储，数据量已经达到500TB级别以上。
mogilefs的特性
    支持多节点冗余
    可实现自动的文件复制
    使用名称空间（命名空间），每个文件通过key来确定。123.jpg /000/000/00/01/md5hash.fid
    不需要RAID，应用层可以直接实现RAID，不共享任何东西，通过“集群”接口提供服务
    工作于应用层，没有特殊的组件要求；
    不共享任何数据，MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘
mogileFS主要由三部分构成
    tracker节点，database节点，storage节点    1》Tracker(MogileFSd 进程)：
        这个是 MogileFS 的核心部分，他是一个调度器，MogileFSd 进程就是trackers进程程序，trackers 做了很多工作：Replication（复制）,Deletion,Query,Reaper（收割程序）,Monitor 等等，这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed)，包括将请求负载平衡到多个“query workers”中，然后让 MogileFSd 的子进程去处理；    2》MySQL：
        用来存放 MogileFS 的元数据 (命名空间, 和文件在那里)，是Trackers 来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；    3》Storage Nodes：
        这个是 MogileFS 存储文件存放在这些机器上，也是 mogstored 节点,也叫 Storage Server,一台存储主要都要启动一个 mogstored 服务，扩容就是增加这些机器，实际文件存放的地方。
mogileFS架构
    每次文件的上传和读取，都经过前端TrackerServer 服务。
    trackerServer 服务器受到client 端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer 的地址，然后由client 端直接操作后端StorageServer 服务器。
    upload 操作返回就是成功或者失败的结果。    read 操作就是返回对应的查询数据。
mogileFS管理的几个概念
    Domain：
        一个MogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须唯一，不同Domain内，key可以相同。
        每一个存储节点称为一个主机host，一个主机上可以有多个存储设备dev(单独的硬盘)，每个设备都有ID号，Domain+Fid用来定位文件。    Class：
        文件属性管理，定位文件存储在不同设备上的份数。
mogilefs安装方式
    yum安装
        使用epel源进行安装环境包
        yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO
        本地安装的rpm包：
            MogileFS-Server-2.46-2.el7.noarch.rpm  #核心服务
            MogileFS-Server-mogilefsd-2.46-2.el7.noarch.rpm  # tracker节点
            MogileFS-Server-mogstored-2.46-2.el7.noarch.rpm  #Storage存储节点
            MogileFS-Utils-2.19-1.el7.noarch.rpm  #主要是MogileFS的一些管理工具，例如mogadm等。
            perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm  #socket
            perl-MogileFS-Client-1.14-1.el7.noarch.rpm  #客户端
            perl-Perlbal-1.78-1.el6.noarch.rpm
    perl程序安装
        通过perl的包管理命令cpanm进行安装
        yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes
        cpanm安装
            wget http://xrl.us/cpanm -O /usr/bin/cpanm; sudo chmod +x
            /usr/bin/cpanm            #cpanm DBD::mysql
            #cpanm MogileFS::Server
            #cpanm MogileFS::Utils
            #cpanm MogileFS::Client
            #cpanm IO::AIO
mogilefs程序路径
    主程序：/usr/bin/mogilefsd
    命令行管理工具程序：/usr/bin/mogadm
    主配置文件（Tracker）：/etc/mogilefs/mogilefsd.conf
    主配置文件（Storage Nodes）：/etc/mogilefs/mogstored.conf
mogilefs程序功能的配置文件
    daemonize = 1   ##设置为1表示启动为守护进程
    db_dsn = DBI:mysql:mogilefs:host=127.0.0.1
    db_user = username
    db_pass = password   ##配置数据库连接相关信息
    listen = 127.0.0.1:7001   ##mogilefs监听地址，监听在127.0.0.1表示只允许从本机登录进行管理
    query_jobs = 10   ##启动多少个查询工作线程
    delete_jobs = 1  ##启动多少个删除工作线程
    replicate_jobs = 5  ##启动多少个复制工作线程
    reaper_jobs = 1  ##启动多少个用于回收资源的线程
    maxconns = 10000  ##存储系统的最大连接数.
    httplisten = 0.0.0.0:7500  ##可通过http访问的服务端口
    mgmtlisten = 0.0.0.0:7501  ##mogilefs的管理端口
    docroot = /var/mogdata  ##该项决定了数据的在storage上存储的实际位置,建议使用的是一个单独挂载使用的磁盘
mogilefs服务初始化
    1》数据库授权        GRANT ALL PRIVILEGES ON *.* TO 'mogile' @'localhost' IDENTIFIED BY 'mogile' WITH GRANT OPTION;
    2》设定数据库：
        mogdbsetup --help
        mogdbsetup --dbhost=127.0.0.1 --dbpass=mogpass
        用户名默认为：mogile
    3》添加运行用户
        useradd -r mogilefs
        mkdir /var/run/mogilefsd/
        chown -R mogilefs.mogilefs /var/run/mogilefsd #yum安装的话已经完成
    4》修改主配置文件：
        /etc/mogilefs/mogilefsd.conf
    5》启动服务 （tracker 服务为 # mogilefsd ） （storage服务为  #mogstored &）
mogilefs的管理
    mogstored 程序的启动将使主机本身成为一个存储的节点,mogstored 的启动后,还需要使用 mogadm 来让当前的这个主机加入到 MogileFS 的系统中.这就是一个存储节点.注意存储节点中还需要添加设备,每个设备有一个 uniq 的 ID 号.同样也要使用 mogadm 来加入到 MogileFS 的系统中.    MogileFS 中的存储主机(节点)管理
        现在加入“存储节点”到 trackers 中.告诉注册自己到 trackers.相当于为每个主机加入 MogileFS 的存储系统
        添加主机，将主机信息注册到数据库中
            mogadm host add  --ip=127.0.0.1 --port=7500 --status=alive
        检查这个主机是否加入到 MogileFS 的系统中.
            mogadm host list
        可以修改主机IP
            mogadm host modify node1 --ip=123.xxx.xxx.70 --status=alive   
    MogileFS 中的存储设备管理
        建一个目录 ( 并且需要 mount 一个硬盘给这个目录 ) 给这个"设备" 使用, 我们这的例子是使用dev1在主机中建一个目录,建目录使用 dev + ID 这种格式,记的所有系统中 ID 不能重复.也必须和配置文件中的路径一样.
            mkdir -p /data/mogdata/dev1
        一定要注意, 给相对应用的块设备 mount 到这个点, 软链也行. 不然写文件都会写到系统硬上,其它的硬盘都是空的
        给"设备"加入”存储的节点“当中,相当于为每个设备加入 MogileFS 的存储系统
            mogadm device add  ID
        检查我们加入的"设备"信息,这样就能见到上面这个设备了.还能显示加入的大小.
            mogadm device list
        标记失效的设备,当硬盘坏了,设备有问题时,这时会自动在一个域内复制到最小设置的保存份数.恢复上面一样在一次 add 设备就好了
            mogadm device mark   ID dead   
    MogileFS 中域,类的管理
        当上面的准备好了,MogileFS 是运行中时,接下来我们要建一个我们自己的'名字空间'和加入文件到存储当中.
        我们使用 mogadm 的工具来能创建一个"域"和"类".也可以使用这个来增加文件到"类"中.
        建"域"
            mogadm domain add
        检查"域",显示存在的域
            mogadm domain list
        在"域"中建"类",并加入最小保存份数
            mogadm class add   --mindevcount=3
    MogileFS 中文件管理
        我们可以简单的使用 mog 开头的系列 Linux 命令, 来进行管理, 当然也可以用 Client 的 API来管理. 新的 MogileFS 的工具, 拆分成多个了. 下面这些命令, 都需要在/etc/mogilefs/mogilefs.conf 中指定 trackers , 不然就需要在下面的命令都加上 –trackers来指定.        1. 上传文件
            mogupload --domain=magedu --key= --file=        2. 查询文件
            mogfileinfo --trackers=host --domain= --key=        3.查询一个叫 crossdomain 的 key .在指定的 domain 中.
            mogfileinfo --domain=magedu --key=magedu        4. 删除指定文件
            mogdelete --domain= --key=        5. 列出所有的文件 key
            这个可以列出指定 domain 下面的所有的 key , 也可以指定的一个前缀, 来找特定前缀的所有文件的 key.
            moglistkeys --domain= --key_prefix=        6. 列出指定 fid 的文件
            这个 fromfid 是指 mogileFS 内部的文件 id , 这个是自增的, 你可以指定一个开始的位置, 指定显示多少文件, 这个用于查询指定时间段内上传的文件时很有用. 比如我们在 8 点上传了一个文件, 是 100 的 id, 我们可以查询到从这个之后的所有的 id 的文件.
            moglistfids --fromfid= --count=
   
    暂时停止服务器
        如果你需要维护一个服务器,比如更新内存,升级操作系统之类的需要关机的操作,推荐你在操作之前先设置这些为 "down". MogileFS 对这种偶然的故障可以很弹性的处理.
        mogadm host mark mystorage down
        mogadm host mark mystorage alive
    硬盘设备编号
        添加新的硬盘设备需要给一个唯一的,增量的设备 ID(devid).
        如果你用一个新的硬盘来更换坏掉的硬盘,总是需要给一个新的 devid.不能重用老的 devid. 之所以这样做的原因是可以让你从旧设备中给所有文件列表中的文件,重新复制到其它的Mogilefs 的硬盘中.不然容易引起文件不会复制到这个中和错误的更新,也不会重新复制的旧文件.
    添加设备
        添加设备的命令如下:
        mogadm device add mystorage 5 --status=alive
        ... or...
        mogadm device add mystorage 5 --status=down
    只读模式和耗尽(Drain) 模式
        如果你想要冻结设备上所有的文件,你要使用只读模式就行了。这将停掉 MogileFS 存放新文件到这个设备上，但它也将阻止删除文件.代替的删除的操作是会给这些内容放到队列中等待为您标记为'alive'着或'drain'。
         mogadm device mark mystorage 5 readonly
        mogadm device mark mystorage 5 drain
        耗尽(Drain) 模式, 在 2.40 和更高以上,告诉 MogileFS 不会有新的文件应写入设备. 但是在耗尽(Drain) 模式,文件可能被删除.所以如果你不希望写文件到这个设备上,可以设置为drain 的模式
        注:耗尽(Drain) 模式在 MogileFS 的早期版本，,将会从设备删除 FIDS.现在它已经被重新均衡的功能取代。
    重新复制文件
        如果有一个硬盘坏了,MogileFS 可以自动的让请求不在访问这个设备,但是不会自动的重新复制这个硬盘的文件,你必须通过 mogadm 来手工来标志成 'dead'. 只要你这样做, MogileFS 将开始删除设备上的文件,并试图在集群间重新复制它们到其它的设备上.
MogileFS的rebalance功能
    MogileFS的rebalance功能可以平衡各个storage节点磁盘的使用情况，将磁盘剩余空间很少的磁盘中的数据搬到磁盘剩余空间大的磁盘上，使磁盘的使用率基本达到平衡
    使用方法
        mogadm rebalance policy --options="from_hosts=2 to_percent_free=99"   #设置rebalance策略，表示从设备id为2，搬到剩余空间为99%的存储设备
        mogadm rebalance test #查看一下策略
            Tested rebalance policy...
            Policy: from_hosts=2 to_percent_free=99
            Source devices:
             - 2
            Destination devices:
             - 1
             - 3
        mogadm rebalance start #运行此策略
        mogadm rebalance stop #停止rebalance策略
　　Tengine反代MogileFS负载均衡:
　　   1.环境:
　　      mogilefsd+mogstored+mariadb garela三台centos7:
　　        192.168.20.11

　　        192.168.20.12
　　        192.168.20.13
　　     Tengine一台(或两台做keepalived)centos7:192.168.20.95
　　
　　   2.三台配置mogilefsd+mogstored+mariadb garela:

　　     garela:
　　     /etc/my.cnf.d/server.cnf
　　            [server]
　　            [mysqld]
　　            [galera]
　　            wsrep_on=ON
　　            wsrep_provider=/usr/lib64/galera/libgalera_smm.so
　　            wsrep_cluster_address="gcomm://192.168.20.12,192.168.20.11,192.168.20.13"
　　            binlog_format=row
　　            default_storage_engine=InnoDB
　　            innodb_autoinc_lock_mode=2
　　            wsrep_slave_threads=2
　　            innodb_flush_log_at_trx_commit=0
　　            [embedded]
　　            [mariadb]
　　            [mariadb-10.2]
　　        

　　     Mogilefsd:

　　        /etc/mogilefs/mogilefsd.conf
　　            daemonize = 1
　　            pidfile = /var/run/mogilefsd/mogilefsd.pid
　　            db_dsn = DBI:mysql:mogilefs:host=192.168.20.12
　　            db_user = mogilefs
　　            db_pass = PASSWD
　　            listen = 0.0.0.0:7001
　　            conf_port = 7001
　　            query_jobs = 5
　　            delete_jobs = 1
　　            relicate_jobs = 2
　　            reaper_jobs = 1
　　                    Mogstored:

　　        /etc/mogilefs/mogstored.conf
　　            maxconns = 10000
　　            httplisten = 0.0.0.0:7500
　　            mgmtlisten = 0.0.0.0:7501
　　            docroot = /data/mogilefs/
　　        分别添加/data/mogilefs/dev目录,改属主属组

　　        perl安装启动:
　　            [root@node1 ~]#su mogilefs -c mogilefsd
　　            [root@node1 ~]#nohup mogstored &
　　添加主机到trackers中，这样storage节点才能被tracker节点所管理，并将主机信息注册到数据库中
　　        #mogadm check
　　             #mogadm --trackers=192.168.20.12:7001 host add node1 --ip=192.168.20.11 --status=alive   
　　             #mogadm --trackers=192.168.20.12:7001 host add node2 --ip=192.168.20.12 --status=alive
　　             #mogadm --trackers=192.168.20.12:7001 host add node3 --ip=192.168.20.13 --status=alive
　　             #mogadm host list
　　             #mogadm device list
　　             #mogadm device add node1 dev1
　　             #mogadm device add node2 dev2
　　             #mogadm device add node3 dev3
　　    添加创建域和类:
　　             #mogadm  domain add images
　　             #mogadm class add images jpg --mindevcount=3
　　             #mogadm class list

　　    上传数据:

　　             #find /usr/share/ -iname "*.jpg" | xargs -i cp {} ./
　　             #mogupload --trackers=192.168.20.12:7001 --domain='images' --class='jpg' --key='default' --file='default.jpg'
　　    查看:

　　             #mogfileinfo --trackers=192.168.20.12:7001 --domain='images' --key=default
　　                      - file: default
　　                         class:                  jpg
　　                      devcount:                    1
　　                        domain:               images
　　                           fid:                   82
　　                           key:              default
　　                        length:               961243
　　                     - http://192.168.20.11:7500/dev1/0/000/000/0000000082.fid
　　       查看images域下所有key   
　　             #moglistkeys --trackers=192.168.20.12:7001 --domain=images
　　    可以创建一个配置文件指明trackers是谁就不用每次输入命令的时候指定了
　　             #vim /etc/mogilefs/mogilefs.conf
　　                trackers=192.168.20.12:7001
　　    删除

　　            #mogdelete --domain=images --key=default
　　           #mogupload  --domain='images' --class='jpg' --key='night' --file='night.jpg'
　　    3.下载编译安装配置Tengine及nginx_mogilefs_module:

　　      安装:
　　        #tar xf tengine-2.1.1.tar.gz
　　                #tar xf nginx_mogilefs_module-1.0.4.tar.gz
　　                #groupadd -r nginx

　　                #useradd -r -g nginx nginx
　　                #cd nginx_mogilefs_module-1.0.4
　　                #./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-pcre --with-debug --add-module=../nginx_mogilefs_module-1.0.4
　　                #make && make install
　　       配置:

　　        /usr/lib/systemd/system/nginx.service
　　   [Unit]
　　                Description=The nginx HTTP and reverse proxy server
　　                After=network.target remote-fs.target nss-lookup.target
　　               

　　                [Service]
　　                Type=forking
　　                PIDFile=/var/run/nginx/nginx.pid
　　                ExecStartPre=/usr/sbin/nginx -t
　　                ExecStart=/usr/sbin/nginx
　　                ExecReload=/bin/kill -s HUP $MAINPID
　　                KillMode=process
　　                KillSignal=SIGOUT
　　                TimeoutStopSec=5
　　                PrivateTmp=true
　　               

　　                [Install]
　　                WantedBy=multi-user.target
　　        grep -v -E '^$|^[[:space:]]*#' /etc/nginx/nginx.conf
　　                worker_processes  1;
　　                events {
　　                    worker_connections  1024;
　　                }
　　                http {
　　                    include       mime.types;
　　                    default_type  application/octet-stream;
　　                    sendfile        on;
　　                    keepalive_timeout  65;
　　                    upstream trackers {
　　                server 192.168.20.11:7001 weight=1;
　　                server 192.168.20.12:7001 weight=1;
　　                server 192.168.20.13:7001 weight=1;
　　               
　　                check interval=1000 rise=2 fall=5 timeout=1000;
　　                    }
　　                    server {
　　                        listen       80;
　　                        server_name  localhost;
　　                       location / {
　　                            root   html;
　　                            index  index.html index.htm;
　　                        }
　　                location /image/ {
　　                mogilefs_tracker trackers;
　　                mogilefs_domain images;
　　                mogilefs_methods GET;
　　                mogilefs_noverify on;
　　                mogilefs_pass {
　　                proxy_pass $mogilefs_path;
　　                proxy_hide_header Content-Type;
　　                proxy_buffering off;
　　                }
　　                }
　　                location /status {
　　                check_status;
　　                access_log off;
　　                allow 192.168.20.0/24;
　　                deny all;
　　                }
　　                        error_page   500 502 503 504  /50x.html;
　　                        location = /50x.html {
　　                            root   html;
　　                        }
　　                    }
　　                }
　　

　　解决CentOS7下MogileFS的复制Bug问题:
　　    发现只有上传节点有文件,其他节点并没有同步:

　　解决方法如下：
　　    三个节点编译安装源码包:

　　    #yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes
　　    #wget http://pkgs.fedoraproject.org/repo/pkgs/perl-Sys-Syscall/Sys-Syscall-0.23.tar.gz/be6dc2d791684a6f8abb3dd39ff2d1de/Sys-Syscall-0.23.tar.gz
　　    #tar -zxvf Sys-Syscall-0.23.tar.gz
　　    #cd Sys-Syscall-0.23
　　    #perl Makefile.PL
　　    #make && make install
　　重启mogilefsd,mogstored服务后测试正常