ubuntu14_ceph部署（二）——创建ceph集群

shenzhang

　　完成预检之后，你就可以开始部署 Ceph 存储集群了。
二、创建集群
2.1、创建ceph集群
mkdir my-cluster
cd my-cluster
ceph-deploy new ceph1 ceph2 ceph3
在当前目录下用 ls 和 cat 检查 ceph-deploy 的输出，应该有一个 Ceph 配置文件、一个 monitor 密钥环和一个日志文件。
注意：如果你有多个网卡，可以把 public network 和cluster network 写入 Ceph 配置文件的 [global] 段下
public network = 10.0.0.0/24
cluster network = 10.0.0.0/24
目前为止，完整的配置文件内容如下：
[global]
fsid = 7d3f8ee2-f10a-44d0-8597-23048d6484b9
mon_initial_members = ceph1, ceph2, ceph3
mon_host = 10.0.0.10,10.0.0.11,10.0.0.12
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 10.0.0.0/24
cluster network = 10.0.0.0/24



2.2、安装ceph
toby@ceph1:~/my-cluster$ ceph-deploy install ceph1 ceph2 ceph3
ceph-deploy 将在各节点安装 Ceph

在安装过程中发现的问题如下：
报错1：RuntimeErrorRuntimeError: Failed to execute command: apt-key add release.asc
解决办法：
在每台节点运行
wget -q -O- 'http://mirrors.163.com/ceph/keys/release.asc' | sudo apt-key add -
export CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous
export CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc

经过观察ceph-deploy部署工具的输出内容发现，其实就是安装以下这些包：
ceph ceph-mds ceph-common ceph-fs-common gdisk

2.3 创建 MON 集群
ceph-deploy mon create ceph1 ceph2 ceph3

2.4、配置初始 monitor(s)、并收集所有密钥：
ceph-deploy mon create-initial

三、添加OSD
3.1、执行下列命令列举一节点上的磁盘：
ceph-deploy disk list ceph1 ceph2 ceph3

3.2、用下列命令擦净（删除分区表）磁盘，以用于 Ceph
意思是：如果有一台服务器中的某个盘，例如（/dev/sdb）需要用于OSD，但是原先有划分过分区，所以需要删除分区表，以用于ceph，但是这会删除所有数据。
命令格式：ceph-deploy disk zap {osd-server-name}:{disk-name}
例如：
ceph-deploy disk zap ceph1:sdb ceph1:sdc ceph2:sdb ceph2:sdc ceph3:sdb ceph3:sdc

3.3、准备osd
创建集群、安装 Ceph 软件包、收集密钥完成后你就可以准备 OSD 并把它们部署到 OSD 节点了。
ceph-deploy osd prepare ceph1:sdb:/dev/sdc ceph2:sdb:/dev/sdc ceph3:sdb:/dev/sdc

注意：在这里，我的sdb用作数据盘，sdc用作日志盘

3.4、激活 OSD
准备好 OSD 后，可以用下列命令激活它。
ceph-deploy osd activate ceph1:/dev/sdb1:/dev/sdc1 ceph2:/dev/sdb1:/dev/sdc1 ceph3:/dev/sdb1:/dev/sdc1

activate 命令会让 OSD 进入 up 且 in 状态，此命令所用路径和 prepare 相同。

更优雅的办法；
其实，准备OSD还有激活OSD，部署到OSD节点可以一次性完成，就是下面的ceph-deploy osd create命令：
当然，如果你是手动来准备OSD和激活OSD，不妨试试这方法，可以一次搞定。
你可以用 create 命令一次完成准备 OSD 、部署到 OSD 节点、并激活它。 create 命令是依次执行 prepare 和 activate 命令的捷径。
ceph-deploy osd create ceph1:sdb:/dev/sdc1 ceph2:sdb:/dev/sdc1 ceph3:sdb:/dev/sdc1

3.5、完成OSD的添加和激活后继续往下走
用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点，这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了。
ceph-deploy admin ceph1 ceph2 ceph3

ceph-deploy 和本地管理主机（ admin-node ）通信时（我这里的admin-node其实就是ceph1），必须通过主机名可达。必要时可修改 /etc/hosts ，加入管理主机的名字。


3.6、确保你对 ceph.client.admin.keyring 有正确的操作权限。（这一步的话我也不太清楚是只需在ceph1上只需还是全部节点都要执行，为了保险起见所有节点都执行一下吧）
sudo chmod +r /etc/ceph/ceph.client.admin.keyring

3.7、检查集群的健康状况。
sudo ceph health

这个命令的输出结果是：HEALTH_WARN clock skew detected on mon.ceph2, mon.ceph3; Monitor clock skew detected
之所以是这样，那是因为ceph2和ceph3没有添加mon，Ceph 存储集群需要至少一个 Monitor 才能运行（目前在ceph1上是有的）,为了达到高可用，在后面会继续添加
Monitors的用途是: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。

3.8、查看OSD磁盘的状态
toby@ceph1:~/my-cluster$ ceph osd tree
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.58557 root default                                    
-2 0.19519     host ceph1                                   
0 0.19519         osd.0       up  1.00000          1.00000
-3 0.19519     host ceph2                                   
1 0.19519         osd.1       up  1.00000          1.00000
-4 0.19519     host ceph3                                   
2 0.19519         osd.2       up  1.00000          1.00000
toby@ceph1:~/my-cluster$
那么，是正常的。

3.9、那么继续往下走，添加元数据服务器
至少需要一个元数据服务器才能使用 CephFS ，但是根据规划，我的ceph1和cph2都是作为mds，执行下列命令创建元数据服务器：
ceph-deploy mds create ceph1
ceph-deploy mds create ceph2

注意：
当前生产环境下的 Ceph 只能运行一个元数据服务器。你可以配置多个，但现在我们还不会为多个元数据服务器的集群提供商业支持。
运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）

3.10、添加 RGW 例程
要使用 Ceph 的 Ceph 对象网关组件，必须部署 RGW 例程。用下列方法创建新 RGW 例程：
ceph-deploy rgw create ceph1

Note:
这个功能是从 Hammer 版和 ceph-deploy v1.5.23 才开始有的。
RGW 例程默认会监听 7480 端口，可以更改该节点 ceph.conf 内与 RGW 相关的配置，如下：
[client]
rgw frontends = civetweb port=80

用的是 IPv6 地址的话：
[client]
rgw frontends = civetweb port=[::]:80

3.11、添加 Monitors
Ceph 存储集群需要至少一个 Monitor 才能运行。为达到高可用，典型的 Ceph 存储集群会运行多个 Monitors，
这样在单个 Monitor 失败时不会影响 Ceph 存储集群的可用性。Ceph 使用 PASOX 算法，
此算法要求有多半 monitors（即 1 、 2:3 、 3:4 、 3:5 、 4:6 等 ）形成法定人数。
ceph-deploy mon add ceph2
ceph-deploy mon add ceph3
#在2.3步骤中已经创建了mon集群，如果在创建Mon集群的时候，只是用了一台ceph1，那么还可以继续添加ceph2、ceph3


最好每台节点的时间都是一致的
现在再次检查集群的健康状态
toby@ceph1:~/my-cluster$ ceph health
HEALTH_OK

新增 Monitor 后，Ceph 会自动开始同步并形成法定人数。你可以用下面的命令检查法定人数状态：
ceph quorum_status --format json-pretty

注意：
当你的 Ceph 集群运行着多个 monitor 时，各 monitor 主机上都应该配置 NTP ，而且要确保这些 monitor 位于 NTP 服务的同一级。

到此为止，本篇就暂告一段落了！