设为首页 收藏本站
查看: 1580|回复: 0

[经验分享] ceph安装

[复制链接]

尚未签到

发表于 2019-2-2 06:35:15 | 显示全部楼层 |阅读模式
  网络配置
  10.0.0.100      cephdeploy
  10.0.0.110cephmon1
  10.0.0.120cephmon2
  10.0.0.130cephosd1
  10.0.0.140cephosd2
  10.0.0.150cephosd3
  添加release 和ceph包
  wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -

  echo deb http://download.ceph.com/debian-hammer/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

  安装deploy
  sudo apt-get update && sudo apt-get install ceph-deploy

  安装ntp和openssh
  sudo apt-get install ntp

  sudo apt-get install openssh-server

  创建用户
  注:{username} 自定义 ,不要用ceph这个来创建用户,ceph用于启动进程,如使用会导致安装失败
  ssh user@ceph-server

  sudo useradd -d /home/{username}  -m {username}

  sudo passwd {username}

  确保各 Ceph 节点上新创建的用户都有 sudo 权限。

  echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}
  sudo chmod 0440 /etc/sudoers.d/{username}
  允许无密码 SSH 登录

  ssh-keygen

  ssh-copy-id {username}@cephmon1

  ssh-copy-id {username}@cephmon2
  ssh-copy-id {username}@cephosd1

  ssh-copy-id {username}@cephosd2

  ssh-copy-id {username}@cephosd3

  

  编辑 ~/.ssh/config
  写入如下内容
  
  Host cephmon1
  Hostname cephmon1
  User  {username}
  Host cephmon2
  Hostname cephmon2
  User {username}
  Host cephosd1
  Hostname cephosd1
  User {username}
  Host cephosd2
  Hostname cephosd2
  User {username}
  Host cephosd3
  Hostname cephosd3
  User {username}
  

  

  mkdir my-cluster
  cd my-cluster
  安装失败使用
  ceph-deploy purgedata {ceph-node} [{ceph-node}]
  ceph-deploy forgetkeys
  ceph-deploy purge {ceph-node} [{ceph-node}]

  

  创建集群
  ceph-deploy new  cephmon1

  

  设置副本个数为2,编辑ceph.conf
  

  osd pool default size = 2

  pg 个数
  
  osd pool default pg num = 128
  osd pool default pgp num = 128
  安装ceph在各节点上
  ceph-deploy install  cephmon1 cephmon2 cephosd1 cephosd2 cephosd3   

  配置初始 monitor(s)、并收集所有密钥:

  ceph-deploy mon create-initial

  完成上述操作后,当前目录里应该会出现这些密钥环:

  {cluster-name}.client.admin.keyring
  {cluster-name}.bootstrap-osd.keyring
  {cluster-name}.bootstrap-mds.keyring
  {cluster-name}.bootstrap-rgw.keyring
  添加osd  在osd节点上
  ssh cephosd1

  mkfs.xfs /dev/sdb /dev/sdc
  exit
  ssh cephosd2
  mkfs.xfs /dev/sdb /dev/sdc
  exit
  ssh cephosd3
  mkfs.xfs /dev/sdb /dev/sdc
  exit
  准备osd
  ceph-deploy osd prepare  cephosd1:/dev/sdb  cephosd1:/dev/sdc

  cephosd2:/dev/sdb  cephosd2:/dev/sdc cephosd3:/dev/sdb cephosd3:/dev/sdc

  激活 OSD

  ceph-deploy osd activate cephosd1:/dev/sdb1  cephosd1:/dev/sdc1
  

  cephosd2:/dev/sdb1  cephosd2:/dev/sdc1 cephosd3:/dev/sdb1 cephosd3:/dev/sdc1
  用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点,这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了

  ceph-deploy admin cephmon1 cephmon2 cephosd1 cephosd2 cephosd3

  或者
  ceph-deploy --overwrite-conf admin cephdeploy cephmon1 cephmon2 cephosd1 cephosd2 cephosd3

  在每个节点上执行
  sudo chmod +r /etc/ceph/ceph.client.admin.keyring

  检查集群的健康状况

  ceph health
  ceph status
  ceph osd stat
  ceph osd dump
  ceph mon dump
  ceph quorum_status
  ceph mds stat
  ceph mds dump
  或者 ceph -w
  ceph -s
  设置pg个数
  ceph osd pool set rbd pg_num 128
  ceph osd pool set rbd pgp_num 128
  重启ceph服务
  restart ceph-all
  restart ceph-mon-all
  restart ceph-osd-all
  restart ceph mon  
  restart ceph osd id=
  查看osd
  ceph osd tree

  

  

  rbd挂载方式
  创建pool
  rados mkpool cinder

  创建一个200G的存储盘
  rbd create cinder --size 10240 -p cinder

  执行挂载
  sudo rbd map cinder --pool cinder

  

  

  如果觉得太小,可以重新调整rbd卷大小
  rbd resize --size 20480 cinder -p cinder

  blockdev --getsize64   /dev/rbd0

  resize2fs /dev/rbd0
  

  

  查看
  rbd showmapped

  rbd --pool rbd ls

  格式化
  mkfs.ext4 /dev/rbd0

  挂载
  mkdir /cinder
  mount /dev/rbd0 /cinder
  

  

  

  cephfs挂载,不需要安装cephclient
  ceph osd pool create cephfs_data 10
  ceph osd pool create cephfs_metadata 10
  ceph fs new leadorfs  cephfs_metadata cephfs_data
  ceph mds stat
  查看ceph.client.admin.keyring,读取secret
  执行挂载
  mount -t ceph 10.0.0.110:6789:/ /cinder/ -v -o name=admin,secret=AQCdcz1Xykm5FxAAS1o66IMWJas+Uih5ShTijw==

  

  

  添加新的osd
  ceph-deploy osd prepare   [{ceph-node}]
  ceph-deploy osd activate    [{ceph-node}]
  添加元数据服务器

  ceph-deploy mds create cephmon1

  新加mon
  ceph-deploy mon add  cephmon2

  添加完需要同步配置文件
  

  ceph-deploy --overwrite-conf admin    [{ceph-node}]




运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-670591-1-1.html 上篇帖子: Ceph 整合OpenStack kilo 遇到问题解决 下篇帖子: CentOS7 Ceph RBD CephFS 存储
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表