CentOS7 安装Ceph

iutyhrg

1、安装环境

                                        |-----node1(mon,osd)        sda为系统盘，sdb和sdc为osd盘
                                        |
                                        |-----node2(mon,osd)        sda为系统盘，sdb和sdc为osd盘
                              admin-----|
                                        |-----node3(mon,osd)        sda为系统盘，sdb和sdc为osd盘
                                        |
                                        |-----client

Ceph Monitors 之间默认使用 6789 端口通信， OSD 之间默认用 6800:7300 这个范围内的端口通信

2、准备工作（所有节点）
        2.1、修改IP地址
        vim /etc/sysconfig/network-scripts/ifcfg-em1
        IPADDR=192.168.130.205
        NETMASK=255.255.255.0
        GATEWAY=192.168.130.2

        2.2、关闭防火墙
        systemctl stop firewalld.service         #停止firewall
        systemctl disable firewalld.service         #禁止firewall开机启动
        firewall-cmd --state                         #查看防火墙状态

        2.3、修改yum源
        cd /etc/yum.repos.d
        mv CentOS-Base.repo CentOS-Base.repo.bk
        wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
        yum makecache

        2.4、修改时区
        cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
        yum -y install ntp
        systemctl enable ntpd
        systemctl start ntpd
        ntpstat

        2.5、修改hosts
        vim /etc/hosts
        192.168.130.205 admin
        192.168.130.204 client
        192.168.130.203 node3
        192.168.130.202 node2
        192.168.130.201 node1       

        2.6、安装epel仓库、添加yum ceph仓库、更新软件库
        安装epel仓库
        rpm -vih http://mirrors.sohu.com/fedora-e ... ease-7-2.noarch.rpm
        添加yum ceph仓库
        vim /etc/yum.repos.d/ceph.repo
        [ceph]
        name=Ceph noarch packages
        baseurl=http://mirrors.163.com/ceph/rpm-hammer/el7/x86_64/
        enabled=1
        gpgcheck=1
        type=rpm-md
        gpgkey=http://mirrors.163.com/ceph/keys/release.asc       
        2.7、安装ceph-deploy,ceph（ceph所有节点都安装，ceph-deploy只需admin节点安装）
        yum -y update && yum -y install --release hammer ceph ceph-deploy
       
3、允许无密码 SSH 登录（admin节点）
        3.1、生成SSH密钥对,提示 “Enter passphrase” 时，直接回车，口令即为空：
        ssh-keygen

        3.2、把公钥拷贝至所有节点
        ssh-copy-id root@node1
        ssh-copy-id root@node2
        ssh-copy-id root@node3
        ssh-copy-id root@client

        3.3、验证是否可以无密码SSH登录
        ssh node1
        ssh node2
        ssh node3
        ssh client

4、创建Monitor(admin节点)
        4.1、在node1、node2、node3上创建monitor
        mkdir myceph
        cd myceph
        ceph-deploy new node1 node2 node3

        4.2、修改osd的副本数,将osd pool default size = 2添加至末尾
        vim /etc/ceph.conf
        osd pool default size = 2

        4.3、配置初始 monitor(s)、并收集所有密钥
        ceph-deploy mon create-initial

5、创建OSD（admin节点）
        5.1列举磁盘
        ceph-deploy disk list node1
        ceph-deploy disk list node2

        5.2、擦净磁盘
        ceph-deploy disk zap node1:sdb
        ceph-deploy disk zap node1:sdc
        ceph-deploy disk zap node2:sdb
        ceph-deploy disk zap node2:sdc
        ceph-deploy disk zap node3:sdb
        ceph-deploy disk zap node3:sdc

        5.3、准备OSD
        ceph-deploy osd prepare node1:sdb
        ceph-deploy osd prepare node1:sdc
        ceph-deploy osd prepare node2:sdb
        ceph-deploy osd prepare node2:sdc
        ceph-deploy osd prepare node3:sdb
        ceph-deploy osd prepare node3:sdc

        ceph-deploy osd activate node1:sdb1
        ceph-deploy osd activate node1:sdc1
        ceph-deploy osd activate node2:sdb1
        ceph-deploy osd activate node2:sdc1
        ceph-deploy osd activate node3:sdb1
        ceph-deploy osd activate node3:sdc1
       
        5.4、删除OSD
        ceph osd out osd.3
        ssh node1 service ceph stop osd.3
        ceph osd crush remove osd.3
        ceph auth del osd.3 //从认证中删除
        ceph osd rm 3 //删除
       
        5.5、把配置文件和 admin 密钥拷贝到各节点，这样每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring
        ceph-deploy admin admin node1 node2 node3
       
        5.6、查看集群健康状况
        ceph health

6、配置块设备（client节点）
        6.1、创建映像
        rbd create foo --size 4096 [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]
        rbd create foo --size 4096 -m node1 -k /etc/ceph/ceph.client.admin.keyring

        6.2、将映像映射为块设备
        sudo rbd map foo --name client.admin [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring]
        sudo rbd map foo --name client.admin -m node1 -k /etc/ceph/ceph.client.admin.keyring

        6.3、创建文件系统
        sudo mkfs.ext4 -m0 /dev/rbd/rbd/foo

        6.4、挂载文件系统
        sudo mkdir /mnt/ceph-block-device
        sudo mount /dev/rbd/rbd/foo /mnt/ceph-block-device
        cd /mnt/ceph-block-device




1、列出存储池
ceph osd lspools
2、创建存储池
ceph osd pool create pool-name pg-num pgp-num
ceph osd pool create test 512 512
3、删除存储池
ceph osd pool delete test test --yes-i-really-really-mean-it
4、重命名存储池
ceph osd pool rename current-pool-name        new-pool-name
ceph osd pool rename test        test2
5、查看存储池统计信息
rados df
6、调整存储池选项值
ceph osd pool set test size 3                设置对象副本数
7、获取存储池选项值
ceph osd pool get test size                        获取对象副本数


1、创建块设备映像
rbd create --size {megabytes} {pool-name}/{image-name}
rbd create --size        1024        test/foo
2、罗列块设备映像
rbd ls
3、检索映像信息
rbd info {image-name}
rbd info foo
rbd info {pool-name}/{image-name}
rbd info test/foo
4、调整块设备映像大小
rbd resize --size 512 test/foo --allow-shrink        调小
rbd resize --size 4096 test/foo                                                                调大
5、删除块设备
rbd rm test/foo


内核模块操作
1、映射块设备
sudo rbd map {pool-name}/{image-name} --id {user-name}
sudo rbd map test/foo2 --id admin
如若启用cephx认证，还需指定密钥
sudo rbd map test/foo2 --id admin --keyring /etc/ceph/ceph.client.admin.keyring
2、查看已映射设备
rbd showmapped
3、取消块设备映射
sudo rbd unmap /dev/rbd/{poolname}/{imagename}
rbd unmap /dev/rbd/test/foo2