centos7快速部署ceph
1、机器：10.39.3.22-26
2.优化
tcp参数优化
ntp时间同步配置
requiretty准备
执行命令visudo修改suoders文件：
1. 注释Defaults requiretty
Defaults requiretty修改为 #Defaults requiretty， 表示不需要控制终端。
否则会出现sudo: sorry, you must have a tty to run sudo
2. 增加行 Defaults visiblepw
否则会出现 sudo: no tty present and no askpass program specified
3、ceph用户添加
adduserceph -u 2000
#必须要添加密码，否则无法配置ssh互信
(echo "123321";sleep 1;echo "123321")|passwd ceph --stdin
增加sudo权限
echo"ceph ALL = (root) NOPASSWD:ALL"| sudo tee /etc/sudoers.d/ceph
chmod 0440 /etc/sudoers.d/ceph
4、修改主机名：
将主机名添加到/etc/hosts文件中
hostnamectlset-hostname cephnode0
hostnamectlset-hostname cephnode1
hostnamectlset-hostname cephnode2
5、 生成密钥文件，默认回车即可
ssh-keygen -t rsa
cat .ssh/id_rsa.pub .ssh/authorized_keys
如果希望ssh公钥生效需满足至少下面两个条件：
1) .ssh目录的权限必须是700
2) .ssh/authorized_keys文件权限必须是600
7、为admin-node节点安装ceph-deploy
第一步：增加 yum配置文件
yum clean all
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo
添加163源：
vim /etc/yum.repos.d/ceph.repo
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
name=cephnoarch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
进行yum的makecache
yum makecache
第二步：更新软件源并安装ceph-deploy
sudo yum update && sudo yum install ceph-deploy
开始节点安装：
第一步：创建集群设置Monitor节点
在admin节点上用ceph-deploy创建集群，new后面跟的是monitor节点的hostname，如果有多个monitor，则它们的hostname以为间隔，多个mon节点可以实现互备。
ceph-deploynew cephnode0 cephnode1 cephnode2
第二步：利用ceph-deploy为节点安装ceph
ceph-deploy installcephnode0cephnode1 cephnode2
如install未成功，亦可手动安装：
在每个节点单独运行安装ceph软件：yum install ceph -y
osd节点： yum install ceph-radosgw -y
初始化monitor节点
初始化监控节点并收集keyring：
ceph-deploy mon create-initial
(可添加--overwrite-conf参数)
ceph-deploy admin cephnode0 cephnode0 cephnode1 cephnode2
sudo chmod 755 /etc/ceph/ceph.client.admin.keyring
第三步: osd部署
ceph-deploy osd prepare cephnode0:/data11/ceph-osdcephnode2:/data11/ceph-osd cephnode3:/data11/ceph-osd cephnode4:/data11/ceph-osd cephnode5:/data11/ceph-osd
ceph-deploy osd activate cephnode0:/data11/ceph-osdcephnode2:/data11/ceph-osd cephnode3:/data11/ceph-osd cephnode4:/data11/ceph-osd cephnode5:/data11/ceph-osd
(此处直接挂载的目录，由于分区默认使用的ext4格式，osd日志中会有报错,在ceph.conf文件中添加指定参数解决)
添加一个元数据服务器
ceph-deploy mds create cephnode2 cephnode3
创建ceph pg：
ceph osd pool create cephfs_data 1000
ceph osd pool create cephfs_metadata 1000
ceph -s
ceph fs new cephfs cephfs_metadata cephfs_data
创建完成后，就可以使用ceph-fuse挂载了。
#ceph rbd 客户端部署：
客户端需要安装组件、 /etc/ceph/配置文件才能访问rbd？
yum install rbd-mirror.x86_64
报错处理：
#############################################
$ ceph -w
2017-03-24 18:58:29.832395 7fb5d6222700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
2017-03-24 18:58:29.832414 7fb5d6222700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication
2017-03-24 18:58:29.832417 7fb5d62227000 librados: client.admin initialization error (2) No such file or directory
Error connecting to cluster: ObjectNotFound
$
权限问题，修改为sudo chmod 755 /etc/ceph/ceph.client.admin.keyring
安装不过去的时候：
yum -y install epel-release
# ** ERROR: osd init failed: (36) File name too long
修改？/etc/ceph/ceph.conf文件，在文件中添加如下配置
osd max object name len = 256
osd max object namespace len = 64
#安装ceph时出错 RuntimeError: NoSectionError: No section: 'ceph'，是为什么呢
yum remove ceph-release先执行这个，把这个东西卸了，应该是这个的版本不兼容 亲测有效
################3
clock skew detected on mon.cephnode3
在admin结点上，修改ceph.conf，添加：
mon_clock_drift_allowed = 5
mon_clock_drift_warn_backoff = 30
ceph-deploy --overwrite-conf admin ceph1 ceph2 ceph3
重启monitor
systemctl restart ceph-mon@ceph1.service
osd进程过多，需要修改ceph用户的最大文件打开数：
/etc/security/limits.d/20-nproc.conf
当您运行每台主机上运行多个OSD进程时（如>20）会产生很多的线程，特别是进行recovery和relalancing操作。
许多Linux内核默认线程限最大数量比较小（例如，32k的）。
如果您遇到这方面的问题，可以考虑把kernel.pid_max设置的高一点。理论上的最大值为4,194,303
页:
[1]