Proxmox-VE搭配Ceph存储组建高可用虚拟化平台

jrgf

　　原文出处：http://blog.运维网.com/kerry/2287648
　　随着项目的增多，对测试环境的需求越来越大，今天研发要几台测试环境，明天测试也要几台测试环境，连产品都要测试环境了，咱们运维也得有自己的测试环境，之前搭建的exsi已经满足不了需求了。

　　刚好内网有几台闲置的机器，于是就着手准备再搭建一套虚拟化平台，EXSI虽说好用，但毕竟是要钱的（之前用的破解版的），本着尊重版权的原则，咱们还是用开源的吧，网上找了一圈，发现目前比较活跃的KVM虚拟化平台有OpenStack、Proxmox VE、oVirt，内部测试用用，OpenStack有点大材小用了，Proxmox VE基本debian定制的，不太喜欢这种模式，而且对debian不是太熟悉，个人还是比较倾向于oVirt，因为oVirt的目标就是瞄准vCenter，而且oVirt和RHEV的关系，有点像Fedora和RHEL，直接CentOS7+Ovirt+GlusterFS比较好的解决方案，怎奈，淘汰下的机器实在是太老了，Ovirt表示硬件不支持，没办法，只能试试Proxmox VE了。
　　手头资源有限，所以这里先用三台机器组集群环境，用Proxmox VE再配合Ceph存储组成一个高可用的虚拟化平台，Proxmox VE的安装过程这里就不写了，实在是太简单了，将网上下载的proxmox-ve_5.2-1.iso制作成U盘启动盘，U盘启动，一路下一步就可以了，设置好root密码、IP、hostname等信息就好了，ostname要求写成FQDN格式。
　　#hosts文件配置
root@proxmox233:~# cat >> /etc/hosts > /etc/hosts > /etc/hosts /etc/apt/sources.list.d/pve-install-repo.listwget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg　　
apt update && apt dist-upgradeapt-get install net-tools
　　设置时钟同步：
apt-get install ntpdate　　
ntpdate 120.25.108.11echo "0 * * * * /usr/sbin/ntpdate 120.25.108.11 > /dev/null 2>&1" >> /etc/crontab
　　#配置免登陆访问（这一步可以省略，在加入集群的时候，会自动建立信任关系）
root@proxmox231:~# ssh-keygen -t rsaroot@proxmox231:~# ssh-copy-id root@proxmox231root@proxmox231:~# ssh-copy-id root@proxmox232root@proxmox231:~# ssh-copy-id root@proxmox233root@proxmox232:~# ssh-keygen -t rsaroot@proxmox232:~# ssh-copy-id root@proxmox231root@proxmox232:~# ssh-copy-id root@proxmox232root@proxmox233:~# ssh-copy-id root@proxmox233root@proxmox233:~# ssh-keygen -t rsaroot@proxmox233:~# ssh-copy-id root@proxmox231root@proxmox233:~# ssh-copy-id root@proxmox232root@proxmox233:~# ssh-copy-id root@proxmox233　　#在192.168.5.231上面创建pve-cluster集群
root@proxmox231:~# pvecm create pve-cluster　　#接下来，通过ssh登陆其他2个pve节点，执行 pvecm add 192.168.5.231
root@proxmox233:~# pvecm add 192.168.5.231successfully added node 'proxmox233' to cluster.　　

　　
root@proxmox232:~# pvecm add 192.168.5.231successfully added node 'proxmox232' to cluster.
　　#pvecm status 在任何一个节点上查看集群情况
root@proxmox231:~# pvecm statusQuorum information　　
------------------
　　
Date:             Fri Sep 28 15:39:20 2018
　　
Quorum provider:  corosync_votequorum
　　
Nodes:            3
　　
Node ID:          0x00000001
　　
Ring ID:          1/12
　　
Quorate:          Yes
　　
Votequorum information
　　
----------------------
　　
Expected votes:   3
　　
Highest expected: 3
　　
Total votes:      3
　　
Quorum:           2
　　
Flags:            Quorate
　　
Membership information
　　
----------------------
　　
    Nodeid      Votes Name
　　
0x00000001          1 192.168.5.231 (local)0x00000003          1 192.168.5.232
　　
0x00000002          1 192.168.5.233

　　Proxmox支持两种磁盘，一种是服务器本地自带磁盘，另一种是外部存储设备的磁盘。对于服务器本地磁盘，可以配置成本地目录、zfs、brd、lvm几种形式。
　　对于外部存储设备的磁盘，可以通过nfs，iscsi或者fc协议挂载到Proxmox服务器使用。其中nfs挂载上以后，可以直接作为文件存储使用，通过iscsi或者fc协议挂载后，Proxmox服务器会识别为裸磁盘设备，还需要进一步配置后才可以使用。例如可以配置成lvm，作为卷存储使用，也可以配置成本地目录，作为文件存储使用，但强烈建议不要配置为zfs使用，因为zfs的特点是要求能直接管理物理磁盘设备，如果中间有raid卡等，会严重影响zfs的正常运行。
　　当然，用户也可以配置外部的glusterfs、ceph、sheepdog等基于服务器的分布式存储。对于glusterfs，应该是可以直接通过菜单挂载；对于ceph，需要通过iscsi协议挂载；对于sheepdog，需要手工安装sheepdog插件，然后在命令行配置挂载。glusterfs挂载后可以作为文件存储使用，ceph和sheepdog应该都只能作为卷存储使用了。
　　前面多次提到了文件存储和卷存储两个概念，又有什么区别呢？主要是Proxmox对于存储使用是有多种需求的，例如对于虚拟磁盘，就有raw，qcow2，vmdk三种，另外还有iso镜像文件、gz容器模版文件、虚拟机备份文件的保存需求，这些都需要文件存储才可以实现。当然，用户也可以直接用用lvm逻辑卷或zvol逻辑卷或rbd卷的方式保存虚拟机的磁盘，相当于raw格式的效果，这就可以使用卷存储来实现。
　　那么，说了那么多，到底该怎么配置和选择呢？简单总结下，一般的配置是这样。
　　本地磁盘-本地目录-文件存储
　　本地磁盘-lvm-卷存储
　　本地磁盘-zfs-卷存储/文件存储
　　本地磁盘-ceph-卷存储
　　外部存储-nfs-文件存储
　　外部存储-iscci/fc-lvm-卷存储
　　外部存储-iscsi/fc-目录-文件存储
　　外部glusterfs-glusterfs插件挂载-文件存储
　　外部ceph-iscsi-卷存储
　　外部sheepdog-插件挂载-卷存储
　　#在每个节点上安装ceph，详见https://pve.proxmox.com/pve-docs/chapter-pveceph.html
root@proxmox231:~# pveceph install --version luminousroot@proxmox232:~# pveceph install --version luminousroot@proxmox233:~# pveceph install --version luminous　　#配置ceph集群存储网络
root@proxmox231:~# pveceph init --network 192.168.5.0/24　　#创建ceph集群存储Mon监控
root@proxmox231:~# pveceph createmonroot@proxmox232:~# pveceph createmonroot@proxmox233:~# pveceph createmon　　#创建mgr
root@proxmox231:~# pveceph createmgrroot@proxmox232:~# pveceph createmgrroot@proxmox233:~# pveceph createmgr　　#创建Ceph OSDs
root@proxmox231:~# pveceph createosd /dev/sdbroot@proxmox232:~# pveceph createosd /dev/sdbroot@proxmox233:~# pveceph createosd /dev/sdb　　#创建集群存储资源池ceph osd pool create [资源池名称] 128 128
root@proxmox231:~# ceph osd pool create pvepool 128 128pool 'pvepool' created　　#复制存储ID和密钥到指定文件位置
root@proxmox231:~# mkdir /etc/pve/priv/cephroot@proxmox231:~# cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph.keyringroot@proxmox231:~# cp /etc/pve/priv/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph1.keyringroot@proxmox231:~# ceph osd pool application enable pvepool rbdenabled application 'rbd' on pool 'pvepool'　　#查看集群状态
root@proxmox231:~# ceph -s　　
  cluster:
　　
    id:     2cd9afcd-fd20-4e52-966b-3252c6444e6c
　　
    health: HEALTH_OK
　　

　　
  services:
　　
    mon: 3 daemons, quorum proxmox231,proxmox232,proxmox233
　　
    mgr: proxmox231(active), standbys: proxmox232, proxmox233
　　
    osd: 3 osds: 3 up, 3 in
　　#添加RBD集群存储

　　ID：填写为ceph 必填，不能定义
　　资源池：pvepool 可选（默认为rbd）
　　Monitor：192.168.5.231 192.168.5.232 192.168.5.233 （注意添加多个Mon以空格隔开）
　　添加节点：proxmox231,proxmox232,proxmox233
　　#查看rbd集群存储配置信息
root@proxmox231:~# cat /etc/pve/storage.cfg dir: local　　
        path /var/lib/vz
　　
        content vztmpl,iso,backup
　　
lvmthin: local-lvm
　　
        thinpool data
　　
        vgname pve
　　
        content images,rootdir
　　
rbd: ceph
　　
        content images,rootdir
　　
        krbd 0
　　
        nodes proxmox233,proxmox231,proxmox232
　　
        pool pvepool
　　#上传ISO镜像，通过sftp上传到以下目录/var/lib/vz/template/iso，但这里上传的iso只能本机显示，如果要让集群中其它的主机也能共享iso，那就要用到共享存储，刚好内网上有一台NFS服务器，exsi存储用的，上面也有ISO镜像，正好可以共享，于是在数据中心上挂载这个NFS存储

　　#新建虚拟机，使用ceph存储

　　#虚拟机热迁移测试
　　刚刚在proxmox231上创建了一个centos7的虚拟机，存储用到了ceph，所以先来进行热迁移测试，将proxmox231上的虚拟迁移到proxmox233上面

　　2018-09-29 15:50:16 starting migration of VM 100 to node 'proxmox233' (192.168.5.233)
　　2018-09-29 15:50:16 found local disk 'local:iso/CentOS-7-x86_64-DVD-1804.iso' (in current VM config)
　　2018-09-29 15:50:16 can't migrate local disk 'local:iso/CentOS-7-x86_64-DVD-1804.iso': can't live migrate attached local disks without with-local-disks option
　　2018-09-29 15:50:16 ERROR: Failed to sync data - can't migrate VM - check log
　　2018-09-29 15:50:16 aborting phase 1 - cleanup resources
　　2018-09-29 15:50:16 ERROR: migration aborted (duration 00:00:01): Failed to sync data - can't migrate VM - check log
　　TASK ERROR: migration aborted
　　#在迁移的时候报错，那是因为在安装的时候挂载了本地的ISO，所以在迁移之前先修改下虚拟的配置，CD/DVD选择不使用任何介质

　　#然后再来迁移

　　#此时之前在proxmox231上面运行的虚拟已经迁移到proxmox233上面来了

　　#将虚拟机加入HA，进行高可用测试

　　#好了，已成功将proxmox233上面的k8s71.blufly.com虚拟机添加到HA，现在将proxmox233关机模拟故障

　　#从截图上可以看到proxmox233已经故障，k8s71.blufly.com这个虚拟机已经迁移到proxmox231上了，实现了高可用

　　以上只是对proxmox做了简单的测试，基本上能满足日常需求，更多的高级功能后面再来慢慢摸索