设为首页 收藏本站
查看: 1232|回复: 0

[经验分享] 三言两语说CEPH

[复制链接]
YunVN网友  发表于 2019-2-2 06:54:17 |阅读模式
  先上图:


  上面的图是标准官方的,下面的是理解后整理的:

  

      技术文档的简写太多了,不是很通俗的一定要给出英文全称,才是负责的。对于拿着简写绕晕初学者的人,不好。先说RADOS吧:
      Reliable Autonomic Distributed Object Store,可靠、自治、分布的对象存储。可靠,自然是存储必需有的品质;注意不是“自动”而是“自治”,就是说这个系统能够进行自我管理;分布的,即不是传统集中的;对象存储,适用于对象存取的存储,而对象,在这里指数据和数据属性集的综合体。对象包含ID、二进制文件、元数据。
  
  
      OSD:基于对象存储技术的设备就是对象存储设备(Object Storage Device),每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。
     
  客户端与客户端与RADOS交互
  
  客户端向monitor查询osd map, crush规则
  客户端根据osd map使用crush计算出目标osd
  客户直接向目标osds发起数据访问.
  

  ceph的架构做到了“无需查表,算算就好”,因为它无元数据(metadata)服务器,无表操作。
  


  •   OSD
  (Object Storage Device),说俗一些就是:一块磁盘(一些CPU、一些内存)。有一个daemon进程对它操作,进行数据存储和维护,是磁盘的“经纪人”,与其它OSD的daemon、monitor、client通讯。
  


  •   monitor
  client是访问OSD的客户端,OSD是后台资源。打个比方,client是住店的人,OSD是房间,monitor是宾馆前台,负责钥匙的人。正式的说法叫“系统状态检测和维护”。
  每个住店的人先要找前台分配房间,拿钥匙;每个client访问OSD先访问monitor,而monitor分配OSD是有一套算法的,这个算法叫做crush。

  


  •   file
      用户端对象,其实就是文件了。
  •   object
      RADOS对象,因为有最大size设置限制(通常是2MB或4MB),如果file太大,就会按照size参数进行切片,每片就是一个object。(如果file是一个人就惨了,(*^__^*) 嘻嘻……)
  •   PG
      不是屁股,是Placement Group,位置组。是一个逻辑组织,与object是“一对多”的关系,一个PG里面有很多object;一个PG会映射到n个OSD,这个n就表示对象存储的副本份数,或者冗余程度,一半是3份,就是3了。当PG的OSD少于n时,处在降级状态,系统将自我修复或re-balancing.
      
  •   cluster map
      全局系统状态记录数据结构。就是宾馆的床铺分配图。包含的信息:
      epoch,即序列号,单调递增;
      OSD网络地址;
      OSD状态:up&in, up&out, down&in, down&out
      CRUSH算法配置参数: cluster hierarchy, placement rules.
  

  如图:

  

  一个文件是怎样被决策写到哪些盘呢?
  client计算文件的ID即oid, hash(oid)&mask -> pgid,得到pgid,pgid根据CRUSH算法得出n个OSD。
  

  

  

  可能关注的技术点:

  •   cluster map的维护机制。
  •   CRUSH算法具体是怎样的。
  •   OSD故障及扩容的系统快速恢复和响应。

  
  
  
  (未完待续)
  

  

  

  

  





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-670606-1-1.html 上篇帖子: ceph分布式存储实战(2)——从0开始创建第一个ceph集群 下篇帖子: ceph最新版安装教程
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表