ceph 之 crush存储规则理解

zyk198500

上面左边是我的个人微信，如需进一步沟通，请加微信。  右边是我的公众号“Openstack私有云”，如有兴趣，请关注。
　　

　　ceph是分布式存储，其中对于数据的存储规则是一个重点和难点。比如每个数据块的数据备份是3份，3份数据是怎么分布的？ceph的crush 就是解决数据分布规则的问题。
　　应用端直接使用的是pool，pool是由存储的基本单位pg组成，pg分布在磁盘逻辑单元osd上，osd一般是对应一块物理硬盘，osd分布在物理主机host，host分布在机框chassis中，机框chassis分布在机架rack中，几家rack分布在机柜阵列raw中，后面可以继续归属，->pdupod->room->datacenter 。其中host/chasis/rack 等等在ceph属于中叫做bucket（桶），各个级别的bucket是默认的，当有特殊需求的时候，可以自定义新的级别bucket，比如新定义一个bucket级别host-SSD ，专门将SSD盘的OSD归入这个bucket中。
　　OSD归类完成之后，数据的分布需要使用规则，比如回到上面的问题，每个数据块的数据备份是3份，3份数据是怎么分布的？首先，应用端使用pool，假定3个基本数据单元需要存放到3个pg中，这个时候就需要确定使用哪3个pg，需要遵从rule，这个rule 也是crush定义的。
　　下面以新建一个容纳ssd磁盘的bucket，以及相对应的rule为例，简单罗列一下crush的相关命令：
　　创建ssd root
　　ceph osd crush add-bucket ssd root
　　//创建一个新的桶叫ssd ，级别是root最高级
　　创建hostgroup
　　ceph osd crush add-bucket ssd-hosts chasis
　　//创建一个新的桶叫ssd-hosts ，级别是机框chasis
　　ceph osd crush move ssd-hosts root=ssd
　　//将ssd-hosts归入ssd
　　创建host
　　ceph osd crush add-bucket ssd-m1 host

　　//创建一个新的桶叫ssd-m1 ，级别是主机host
　　ceph osd crush add-bucket ssd-compute host
　　//创建一个新的桶叫ssd-compute ，级别是host
　　ceph osd crush move ssd-m1 chasis=ssd-hosts
　　//将ssd-m1归入ssd-hosts
　　ceph osd crush move ssd-compute chasis=ssd-hosts
　　//将ssd-compute归入ssd-hosts
　　移动osd
　　ceph osd crush set osd.0 1.0 host=ssd-m1
　　//将osd.0 移动到主机host=ssd-m1 中
　　ceph osd crush set osd.1 1.0 host=ssd-compute
　　//将osd.1 移动到主机host=ssd-compute 中
　　创建crush rule
　　ceph osd crush rule create-simple ssd ssd host firstn
　　//创建crush rule，rule名称是ssd，root=ssd，tpye=host，mode=firstn
　　显示rule规则
　　ceph osd crush rule dump
　　[
　　{
　　"rule_id": 0,
　　"rule_name": "replicated_ruleset",
　　"ruleset": 0,
　　"type": 1,
　　"min_size": 1,
　　"max_size": 10,
　　"steps": [
　　{
　　"op": "take",
　　"item": -1,
　　"item_name": "default"
　　},
　　{
　　"op": "chooseleaf_firstn",
　　"num": 0,
　　"type": "host"
　　},
　　{
　　"op": "emit"
　　}
　　]
　　},
　　{
　　"rule_id": 1,
　　"rule_name": "ssd",
　　"ruleset": 1,
　　"type": 1,
　　"min_size": 1,
　　"max_size": 10,
　　"steps": [
　　{
　　"op": "take",
　　"item": -9,
　　"item_name": "ssd"
　　},
　　{
　　"op": "chooseleaf_firstn",
　　"num": 0,
　　"type": "host"
　　},
　　{
　　"op": "emit"
　　}
　　]
　　}
　　]
　　可以看到有2个规则，1个是默认规则，1个是规则ssd 。

　　创建pool以及使用rule
　　规则有了之后，接下来就是使用了。在创建pool的时候，可以指定rule。

　　ceph osd pool create ssd 128 128
　　ceph osd pool set ssd crush_ruleset 1  //这个ruleid 1 就是上面新创建的规则