设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 1231|回复: 0

[经验分享] 分布式系统介绍及MogileFS安装、基本配置

[复制链接]
st0627

尚未签到
发表于 2019-2-1 07:48:31 | 显示全部楼层 |阅读模式
分布式系统介绍及MogileFS安装、基本配置


分布式 MogileFS

  • 　　大纲

    • 前言:
    • 什么是分布式?
    • 分布式存在的意义?
    • 分布式的难点及CAP、BASE、2PC、X/Open XA介绍
    • 分布式存储和分布式文件系统:
    • MogileFS实现原理:
    • MogileFS编译安装和配置
    • 总结

前言:
[size=1em]不知不觉中我们就进入大数据时代, 什么是大数据? 什么是分布式? 什么是云计算? 我们在后面都将介绍, 本篇文章, 我们主要讨论分布式系统;
什么是分布式?
[size=1em]分布式这个词听起来很高大上, 实际上在我们以前(作者博客)经常构建分布式系统, 从最初的分离LAMP中的MySQL 到引入Varnish缓存页面, 再到使用LVS负载均衡Nginx|Apache, Nginx负载均衡Tomcat等等, 广义上都算是分布式系统.
[size=1em]简单来说分布式就是将一个系统的各个组件(MySQL、PHP、Apache …)分布在网络上的各台主机, 并且各组件之间仅通过消息传递来通信并协调工作
分布式存在的意义?
[size=1em]其实我们在之前负载均衡相关的博文中已经回答过了, 主要有以下问题:

  • 垂直扩展的性价比不高
  • 单机扩展存在性能上升的临界点
  • 处于稳定性及可用性考虑, 单机会存在多方面的问题
分布式的难点及CAP、BASE、2PC、X/Open XA介绍
[size=1em]分布式系统存在以下难点

  • 缺乏全局时钟
  • 面对故障时的独立性
  • 很难处理单点故障
  • 很难实现事务
[size=1em]事务要具有ACID. 但是这在分布式系统中很难实现

  • A: Atomicity 原子性
  • C: Consistency 一致性
  • I: Isolation 隔离性
  • D: Durability 持久性
[size=1em]很多数据库都能实现单机事务, 但是一旦构建为分布式系统, 单机的ACID就不能实现了, 有两种选择, 1、放弃事务 2、引入分布式事务;
[size=1em]分布式事务的实现:
[size=1em]一次事务中的主要角色:

  • 事务的参与者
  • 支持事务的服务器
  • 资源服务器
  • 事务管理器
[size=1em]分布式事务的模型和规范: Distributed Transaction Processing: The XA Specification
X/Open DTP: Distribution Transaction Process

  • AP: 应用程序
  • RM: Resource Manager, 资源管理器, 一般是DBMS
  • TM: Transaction Manager, 负责协调和管理事务
    提供给AP编程接口, 并管理资源管理器
[size=1em]2PC:
Two Phase Commitment Protocol 两段式提交
[size=1em]如图: 一次事务首先要准备资源, 所有节点的资源都准备好后, 同时进行Commit, 如果中途中断则会一起ROLLBACK, 从而实现数据一致性
DSC0000.jpg




[size=1em]

CAP: CAP的更多信息
[size=1em]2000年7月 由 Eric Brewer提出, 并经过他人证明, 分布式系统不能同时满足CAP


  • C: Consistency 一致性 所有主机的数据都是同步的
  • A: Avaiability 可用性 能够保证系统的可用性(有主机宕机不影响用户)
  • P: Partition tolerance 分区容错性: 即使网络出现故障从而分区, 不影响系统运行
一般情况下的分布式系统都是在C(Consistency)进行妥协
BASE: 可替代ACID;

  • BA: Basically Availibale 基本可用性
  • S: Soft state 接受一段时间的状态不能同步
  • E: Eventually Consistent 最终一致性
相比于ACID而言, BASE并没有那么苛刻, BASE允许部分的失败但是不会引起系统的故障
DNS就是最著名的Eventually Consistent的实现
分布式存储和分布式文件系统:
[size=1em]存储一般分为两种类型:

  • 集中式:
    NAS: Network Attached Storage; 文件系统级别, 例如NFS, FTP, SAMBA…
    SAN: Storage Aera Network; 块级别, 例如IP SAN, FC SAN…
  • 分布式
    中心节点存储: 每个集群中有节点专门用来存储元数据, 其他节点则存储部分数据
    无中心节点存储: 每个集群各节点都存储元数据和部分数据
[size=1em]分布式存储和分布式文件系统:

  • 文件系统: 有文件系统接口
  • 存储: 无文件系统接口, 通过API访问
[size=1em]常见的实现:
GFS: Google File System
分布式系统的开山鼻祖, 由于Google内部需要遂开发, 后来发布论文公布其技术细节, 但是没有开源
HDFS: Hadoop Distribution File System
通过Google发布的论文, 从而实现HDFS
[size=1em]GFS和HDFS都将元数据存储于内存中, 定期存储在持久存储中 、只适合存储百万、千万级别的 大文件
[size=1em]GlusterFS:
去中心化设计, 没有元数据节点
Ceph:
Linux内核级实现的文件系统, 已经收录Linux内核
MogileFS:
适用于存储海量小文件, 使用perl语言编写, 国内有人使用C语言重写并开源为FastDFS
TFS:
TaoBao FileSystem, 基于HDFS开发 适用于存储海量小文件
MogileFS实现原理:
MogileFS中的术语:
[size=1em]tracker: 借助数据库保存各个节点文件的元数据信息, 便于检索定位数据位置并监控各个节点, 告知客户端存储区的位置并指挥storage节点复制数据副本, 进程为mogilefsd
[size=1em]database: 为tracker节点存储节点文件的元数据信息
[size=1em]storage: 将指定域中的键转换为特有的文件名存储于在特定的设备文件中, 转换后文件名为值, storage自动维护键值之间的对应关系, storage节点使用http进行数据传输, 依赖于perbal, 进程为mogstored, perbal
[size=1em]Domain: 一个域中的键值是唯一的, 一个MogileFS可以有多个域来存储不同类型的文件
[size=1em]Class: 复制的最小单位, 管理文件属性, 定义文件存储在不同设备上的份数
[size=1em]device: 一个存储节点, 可以有多个device, 就是用来存放文件的目录, 每个设备都有一个设备ID, 需要在mogstored配置文件中docroot配置, 设备不能删除, 只能将设备的状态置为dead, 置为dead之后数据就无法恢复了, 并且设备ID也无法再使用
MogileFS Architecture:
DSC0001.png
MogileFS的特性:


  • 工作的应用层, 不需要特殊的组件
  • 无单点故障
  • 自动复制文件
  • 简单的命名空间
  • 不需要RAID
  • 不能追加, 随机写
  • 数据通过HTTP/WebDAV服务上传到Storage Node(mogstored)
  • MySQL存储MogileFS元数据(命名空间、位置)
MogileFS的高可用架构:
DSC0002.png
MogileFS编译安装和配置
[size=1em]本我来是打算进行编译安装的, 但是由于各种原因, 我这次就使用rpm包安装了, 本次rpm包是马哥提供的.
[size=1em]对于实验中的所有操作过程, 由于时间原因, 这里都不在叙述 详情看: 官方WIKI
[size=1em]实验环境

  • node6 172.16.1.7 tracker, database
  • node7 172.16.1.8 storage
  • node8 172.16.1.9 storage
安装: 需要epel源. 每一台主机都要安装
[root@node6~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主机都必须安装, 否则可能导致mogstored不能正常监听端口
[root@node6~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm
[root@node6~] yum install mysql-server
[root@node6~] scp *.rpm 172.16.1.8:/root/                                                                                                                 
[root@node6~] scp *.rpm 172.16.1.9:/root/
[root@node7~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主机都必须安装, 否则可能导致mogstored不能正常监听端口
[root@node7~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm
[root@node8~] yum install perl-Net-Netmask perl-IO-AIO  #每一台主机都必须安装, 否则可能导致mogstored不能正常监听端口
[root@node8~] yum localinstall MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm  Perlbal-1.78-1.el6.noarch.rpm Perlbal-doc-1.78-1.el6.noarch.rpm perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm
配置数据库：
[root@node6~] service mysqld start
mysql> GRANT ALL ON *.* TO root@'%' IDENTIFIED BY 'passwd' ;  #配置一个可以远程连接的root用户
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL ON mogilefs.* TO  mogileuser@'%' IDENTIFIED BY 'passwd';  #配置一个可管理mogilefs数据库的用户
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE DATABASE mogilefs;   #创建mogilefs数据库
Query OK, 1 row affected (0.00 sec)
[root@node6~] mogdbsetup --dbhost=172.16.1.7 --dbuser=mogileuser --dbpass=passwd  --dbname=mogilefs --dbrootpass=passwd  #生成数据表
mysql> USE mogilefs;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
        mysql> SHOW TABLES;   #查看表有没有生成
        +----------------------+
        | Tables_in_mogilefs   |
        +----------------------+
        | checksum             |
        | class                |
        | device               |
        | domain               |
        | file                 |
        | file_on              |
        | file_on_corrupt      |
        | file_to_delete       |
        | file_to_delete2      |
        | file_to_delete_later |
        | file_to_queue        |
        | file_to_replicate    |
        | fsck_log             |
        | host                 |
        | server_settings      |
        | tempfile             |
        | unreachable_fids     |
        +----------------------+
        17 rows in set (0.00 sec)
配置mogilefsd
[root@node6~] vim /etc/mogilefs/mogilefsd.conf
db_dsn = DBI:mysql:mogilefs:host=172.16.1.7
db_user = mogileuser
db_pass = passwd
listen = 0.0.0.0:7001
conf_port = 7001
[root@node6~] service mogilefsd start
Starting mogilefsd                                         [  OK  ]
[root@node6~] mogadm host add node1 --ip=172.16.1.7 alive
[root@node6~] mogadm host add node2 --ip=172.16.1.8 alive
[root@node6~] mogadm host add node3 --ip=172.16.1.9 alive
[root@node6~] mogadm host list
node1 [1]: down
    IP:       172.16.1.7:7500
node2 [2]: down
    IP:       172.16.1.8:7500
node3 [3]: down
     IP:       172.16.1.9:7500
配置mogstored
[root@node6~] mkdir /data/mogilefs/dev1 -pv
    mkdir: created directory `/data'
    mkdir: created directory `/data/mogilefs'
    mkdir: created directory `/data/mogilefs/dev1'
[root@node6~] vim /etc/mogilefs/mogstored.conf
    maxconns = 10000
    httplisten = 0.0.0.0:7500
    mgmtlisten = 0.0.0.0:7501
    docroot = /data/mogilefs/
[root@node6 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node6~] service mogstored start
Starting mogstored                                         [  OK  ]
[root@node7~] mkdir /data/mogilefs/dev2 -pv
    mkdir: created directory `/data'
    mkdir: created directory `/data/mogilefs'
    mkdir: created directory `/data/mogilefs/dev2'
[root@node7~] vim /etc/mogilefs/mogstored.conf
    maxconns = 10000
    httplisten = 0.0.0.0:7500
    mgmtlisten = 0.0.0.0:7501
    docroot = /data/mogilefs/
[root@node7 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node7~] service mogstored start
Starting mogstored                                         [  OK  ]
[root@node8~] mkdir /data/mogilefs/dev3 -pv
mkdir: created directory `/data'
mkdir: created directory `/data/mogilefs'
mkdir: created directory `/data/mogilefs/dev3'
[root@node8~] vim /etc/mogilefs/mogstored.conf
maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /data/mogilefs/
[root@node8 ~]# chown mogilefs.mogilefs /data/mogilefs/ -R
[root@node8~] service mogstored start
Starting mogstored                                         [  OK  ]
[root@node6~] mogadm device add node1 1  alive
[root@node6~] mogadm device add node2 2  alive
[root@node6~] mogadm device add node3 3  alive
[root@node6~] mogadm check
    Checking trackers...
    127.0.0.1:7001 ... OK
Checking hosts...
          [ 1] node1 ... OK
          [ 2] node2 ... OK
          [ 3] node3 ... OK
Checking devices...
          host device         size(G)    used(G)    free(G)   use%   ob state   I/O%
          ---- ------------ ---------- ---------- ---------- ------ ---------- -----
          [ 1] dev1            74.435      2.069     72.366   2.78%  writeable  28.9
          [ 2] dev2            74.435      1.958     72.477   2.63%  writeable   0.0
          [ 3] dev3            74.435      1.954     72.481   2.63%  writeable   0.5
          ---- ------------ ---------- ---------- ---------- ------
                     total:   223.306      5.982    217.324   2.68%
创建域
[root@node6~] mogupload --trackers=172.16.1.7 --doma^C
[root@node6~] mogadm domain list
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
[root@node6~] mogadm domain add files
[root@node6~] mogadm domain add images
[root@node6~] mogadm domain list
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
    files                default                   2        MultipleHosts() NONE   
    images               default                   2        MultipleHosts() NONE
创建类
[root@node6~] mogadm class list   
    domain               class                mindevcount   replpolicy   hashtype
    -------------------- -------------------- ------------- ------------ -------
    files                default                   2        MultipleHosts() NONE   
    images               default                   2        MultipleHosts() NONE   
[root@node6~] mogadm class add files fulltext --mindevcount=1
[root@node6~] mogadm class list
         domain               class                mindevcount   replpolicy   hashtype
        -------------------- -------------------- ------------- ------------ -------
         files                default                   2        MultipleHosts() NONE   
         files                fulltext                  1        MultipleHosts() NONE   
          images               default                   2        MultipleHosts() NONE      
上传并查看文件
[root@node6~] mogupload --trackers=172.16.1.7 --domain=files --key='/fstab.txt' --file=/etc/fstab
[root@node6~] mogfileinfo --trackers=172.16.1.7 --domain=files --key='/fstab.txt'
        - file: /fstab.txt
             class:              default
          devcount:                    2
            domain:                files
               fid:                    2
               key:           /fstab.txt
            length:                  711
         - http://172.16.1.8:7500/dev2/0/000/000/0000000002.fid
         - http://172.16.1.9:7500/dev3/0/000/000/0000000002.fid
验证
DSC0003.png
总结
[size=1em]MogileFS配置还是很Easy的, 但是分布式理论比配置更为重要, 大家一定要牢记在心！
作者水平很低, 如果有错误及时指出, 如果你觉得本文写的好请点一波赞~(≧▽≦)/~
[size=1em]
作者: AnyISaIln QQ: 1449472454
感谢: MageEdu
　　





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-670223-1-1.html 上篇帖子： Linux运维学习之分布式存储mogilefs实现 下篇帖子： 分布式文件系统--MogileFS
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表