为cloudstack搭建ceph文件系统

ct38

　　1. 安装dell服务器，

raid卡需要采用直通模式(non-raid); 各磁盘独立运行。

网络依赖硬件不同，使用万兆网卡或者两个千兆网卡做bonding6。

2. 配置host map(172.17.*.*为存储网络)
2.1
在/etc/hosts中增加:(hostname对应的IP必须是public network，也就是虚拟机访问存储的IP)
172.16.200.11 host11.gzoc.lab host11
172.16.200.12 host12.gzoc.lab host12
172.16.200.13 host13.gzoc.lab host13
172.16.200.14 host14.gzoc.lab host14

注意：如果虚拟机的host，也要在host文件加上述映射,保证正常访问ceph集群节点!!!!


2.2 用systemctl工具关闭防火墙,关闭selinux
# systemctl disable firewalld.service
# systemctl stop firewalld.service
# setenforce 0

2.3 配置ntp
挑选其中一台作为ntpserver，修改/etc/ntp.conf
将restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
改为
restrict default nomodify
restrict -6 default nomodify
增加：
server 127.127.1.0
fudge 127.127.1.0 stratum 10

作为ntp client的机器,在/etc/ntp.conf中增加：
server 172.16.200.12
注释下面服务器地址:
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

所有机器启动ntpd服务：
# /etc/init.d/ntpd start
# chkconfig ntpd on
禁止chrony
# systemctl disable chrony
# systemctl stop chrony

3.配置本地的ceph和centos7安装源

4.安装ceph-deploy
在host14上操作:
4.1
[iyunv@store14 ~]# mkdir ceph-deploy
[iyunv@store14 ~]# cd ceph-deploy
[iyunv@store14 ceph-deploy]# yum install ceph-deploy

4.2 在各节点机器安装ceph
# yum install ceph rbd-fuse ceph-release python-ceph-compat ceph-debuginfo python-rbd librbd1-devel ceph-radosgw -y

4.3 使用ceph-deploy创建集群  
4.3.1
[iyunv@store14 ceph-deploy]# ceph-deploy new host11 host12 host13
[iyunv@store14 ceph-deploy]# ls
ceph.conf ceph.log ceph.mon.keyring

4.3.2
修改ceph.conf文件
在global中加入：
osd_pool_default_size = 2 # 设定文件的备份数，普通一般是2或者3，如果使用磁盘阵列，可以在此设定为1
public network = 172.16.0.0/16 # 公共网络
cluster network = 172.17.0.0/16 ＃存储网络
mon_clock_drift_allowed = 0.5  
公共网络是虚拟机访问ceph集群的网段，也是hostname对应的IP所在的段。 存储网络以来硬件条件不同，决定是否使用，
如果虚拟机访问和ceph本身流量都走同一网卡，存储网络就不用设置。

加入以下osd配置
[osd]
osd mkfs type = xfs
osd mount options xfs = rw,noatime,nodiratime,nobarrier,inode64,logbsize=256k,delaylog
osd mkfs options xfs = -f -i size=2048
osd max write size = 512
osd client message size cap = 2147483648
osd deep scrub stride = 131072
osd op threads = 8
osd disk threads = 4
osd map cache size = 1024
osd map cache bl size = 128
filestore max sync interval = 15
filestore min sync interval = 10
filestore queue max bytes = 10485760
filestore queue committing max ops = 5000
filestore queue committing max bytes = 10485760000
filestore op threads = 32
filestore max inline xattr size = 254
filestore max inline xattrs = 6
osd_max_backfills = 2
osd_recovery_max_active = 2
osd_recovery_op_priority = 4

加入一下客户算配置
[client]
rbd cache = true
rbd cache size = 268435456
rbd cache max dirty = 134217728
rbd cache max dirty age = 5


4.3.3 创建monitor集群，获取keys
[iyunv@store14 ceph-deploy]# ceph-deploy mon create-initial host11 host12 host13

4.4 加入osd
prepare:
ceph-deploy osd prepare host11:/dev/sdb
ceph-deploy osd prepare host12:/dev/sdb
ceph-deploy osd prepare host13:/dev/sdb
ceph-deploy osd prepare host14:/dev/sdb

ceph-deploy osd prepare host11:/dev/sdc
ceph-deploy osd prepare host12:/dev/sdc
ceph-deploy osd prepare host13:/dev/sdc
ceph-deploy osd prepare host14:/dev/sdc

ceph-deploy osd prepare host11:/dev/sdd
ceph-deploy osd prepare host12:/dev/sdd
ceph-deploy osd prepare host13:/dev/sdd
ceph-deploy osd prepare host14:/dev/sdd


activate:
ceph-deploy osd activate host11:/dev/sdb1
ceph-deploy osd activate host12:/dev/sdb1
ceph-deploy osd activate host13:/dev/sdb1
ceph-deploy osd activate host14:/dev/sdb1

ceph-deploy osd activate host11:/dev/sdc1
ceph-deploy osd activate host12:/dev/sdc1
ceph-deploy osd activate host13:/dev/sdc1
ceph-deploy osd activate host14:/dev/sdc1

ceph-deploy osd activate host11:/dev/sdd1
ceph-deploy osd activate host12:/dev/sdd1
ceph-deploy osd activate host13:/dev/sdd1
ceph-deploy osd activate host14:/dev/sdd1

如果使用ssd作为日志盘，比如ssd设备是sdh. :作为osd和journal的分割，前面是osd，后面是journal
两种情况：
a) 整个ssd提供给单个osd使用(在prepare的过程中会自动分区)
# ceph-deploy osd prepare host1:/dev/sda:/dev/sdh
# ceph-deploy osd activate host1:/dev/sda1:/dev/sdh1

b) 分多个区提供给多个osd使用。
# ceph-deploy osd prepare host1:/dev/sda:/dev/sdh1
# ceph-deploy osd prepare host1:/dev/sda1:/dev/sdh1

总的原则就是：prepare过程中发现是单独的块设备就会自动分区

4.5添加管理keyring
# ceph-deploy admin host11 host12 host13
如果已有keyring文件，加上--overwrite-conf选项
# ceph-deploy --overwrite-conf admin host11 host12 host13

！！！在所有使用ceph的机器上推送admin key，并安装ceph包.


4.6 创建pool
4.6.1 存储池osd pg num 选择
Ceph 建议集群里每个OSD(磁盘)，处理大约50～100个PG比较合适。这个PG规模既可以达到数据均匀分布，也可以保证数据安全性。
Ceph集群要求每个OSD 处理PG数在20～300个之间。PG数目选择计算公式如下：

PG =(OSD数目 * 每个OSD处理PG数目) /备份数

50个osd以内的每个OSD处理PG数目建议设50个计算， 50个以上个osd以内的每个OSD处理PG数目建议设为100个来计算

4.6.1.1 单个存储池的集群PG数配置
在在单个存储池， 12个OSD，备份数目为3的集群，每个OSD处理50个PG， 按照公式PG数目如下:
(12* 50) /3 = 200 (最近的2的N次方向上取整是256) .

每个osd处理的pg数目:
256 * 3 / 12 ＝ 64 每个OSD 处理64个PG，在50～100个范围内。

存储池pg_num, pgs_num配置256

4.6.1.2 多个存储池集群配置
例如一个集群有4个存储池, 12个OSD, 所有存储池备份数为2集群，预计每个OSD处理100个PG左右。
PG 总数 ＝ (12 * 50) /2 = 300 向上取最接近的2的N次方是512  
这个配置系统每个OSD 处理PG数是 : （512 * 2） /12 = ~ 85
由于有四个存储池， PG总数平均分配给四个存储池，每个存储池pg_num, pgs_num配置128。

4.6.2 当前集群12个osd，根据上面计算rbd pg_num pgp_num配置为256
# ceph osd pool create rbd 256 256

4.7 创建对网关,允许swift:
创建对象网关需要的pool
# ceph osd pool create .rgw 16 16  
# ceph osd pool create .rgw.control 16 16  
# ceph osd pool create .rgw.gc 16 16  
# ceph osd pool create .rgw.root 16 16  
# ceph osd pool create .rgw.buckets 16 16  
# ceph osd pool create .rgw.buckets.index 16 16
# ceph osd pool create .log 16 16  
# ceph osd pool create .intent-log 16 16
# ceph osd pool create .usage 16 16  
# ceph osd pool create .users 16 16  
# ceph osd pool create .users.email 16 16  
# ceph osd pool create .users.swift 16 16  
# ceph osd pool create .users.uid 16 16

把host11配置为对象网关
# ceph-deploy --overwrite-conf rgw create host11

添加对象网关用户:
# radosgw-admin user create --uid=cloudstack --display-name="cloudstack" --email=admin@onecloud.cn

添加对象网关子子用户:
# radosgw-admin subuser create --uid=cloudstack --subuser=cloudstack:swift --access=full

允许子接口接收swift访问:
# radosgw-admin key create --subuser=cloudstack:swift --key-type=swift --gen-secret
此命令返回:

.....
"swift_keys": [
{
"user": "cloudstack:swift",
"secret_key": "uKKj7uZHOEnlCBVhXZ6xIpdMRcfD8XpfiAJRRtxv"
}
],
......

把secret_key记录下来，以后cloudstack可以通过这个key访问对象网关.

测试可以通过cloudstack swift工具进行测试
1) 可以通过swift-client查询:  
/usr/share/cloudstack-common/scripts/storage/secondary/swift -A http://172.16.200.11:7480/auth -U cloudstack:swift -K uKKj7uZHOEnlCBVhXZ6xIpdMRcfD8XpfiAJRRtxv list

2）测试对象网关是否可以使用可以通过下面命令上传文件到ceph swift对象网关:  
/usr/share/cloudstack-common/scripts/storage/secondary/swift -A http://172.16.200.11:7480/auth -U cloudstack:swift -K uKKj7uZHOEnlCBVhXZ6xIpdMRcfD8XpfiAJRRtxv upload local-filename remote-filename

3）上传以后可以同光list命令进行查询

4）删除上传的文件  
/usr/share/cloudstack-common/scripts/storage/secondary/swift -A http://172.16.200.11:7480/auth -U cloudstack:swift -K uKKj7uZHOEnlCBVhXZ6xIpdMRcfD8XpfiAJRRtxv delete remote-filename

4.8 在cloudstack上配置ceph 一级存储

1) 点击进入界面Home->Infrastructure->Primary Storage

2) 点击"Add Primary storage"

Scope: Zone-Wide #建议选择Zone-Wide否则某些功能无法实现
Hypervisor: KVM  
Zone: #根据实际情况选择
Name: rbd  
Protocol:RBD #不能修改
Provider:DefaultPrimary  
RADOS Monitor: #填写ceph monitor ip地址
RADOS Pool: rbd  
RADOS User: admin #不能修改
RADOS Secret: #在ceph monitor机器etc/ceph/ceph.client.admin.keyring 文件上获取
Storage Tags: ceph #可以根据实际情况修改

例如
cat /etc/ceph/ceph.client.admin.keyring

[client.admin]
key = AQDWHJ5VPCqWNxAAwDj+zR3g0C1qlFHtZnFSnQ==

RADOS Secret里面输入AQDWHJ5VPCqWNxAAwDj+zR3g0C1qlFHtZnFSnQ==

点击OK添加.

如果不成功检查cloudstack manager 和各个agent机器是否已经安装rbd 包。


4.9 在cloudstack上配置swift对象网关

1) 添加 Secondary Staging Store

I.进入页面: Home->Infrastructure->Secondary Storage

II. 点击 Select view 选择Secondary Staging Store  

III. 点击Add NFS Secondary Staging Store

Zone "" #选择对应的zone
NFS server #输入对应NFS IP地址
Path "" #输入nfs路径，最好于一级存储不同目录。

点击OK添加

2) 添加 Secondary Storage

I. 在当前页面上 点击Select view 选择Secondary Storage

II. 如果已经存在二级存储配置需要设法删除否则无法进行下一步操作.

III. 点击Add Secondary Storage

Name: ceph-swift #可以输入其他名字
Provider: Swift #必须选择这个选项
URL: http://radosgw_ip:7480/auth #radosgw_ip根据实际情况输入
Account: cloudstack #不能修改
Username: swift #不能修改
Key: #通过命令 radosgw-admin user info --uid=cloudstack

获取swift对象网关对应secret_key必须要在部署对象网关机器上执行下面命令获取:

#radosgw-admin user info --uid=cloudstack

"swift_keys": [
{
"user": "cloudstack:swift",
"secret_key": "********"
}

对应的secret_key从上面swift_keys对象的secret_key字段*******处获取。

5 ceph集群的日常维护
5.1. 增加osd，操作同上4.4

5.2 删除osd（以osd.3为例）
# ceph osd out 3
# ceph health 等待ceph状态到HEALTH_OK，进行下一步操作
# /etc/init.d/ceph stop osd.3
# umount /var/lib/ceph/osd/ceph-3
# ceph osd crush remove osd.3
# ceph auth del osd.3
# ceph osd rm osd.3

5.3 增加monitor，注意monitor的数目必须是单数，以保证正确选举
# cd ceph-deploy
# ceph-deploy mon add hostN

5.4 删除一个monitor
# cd ceph-deploy
# ceph-deploy mon destroy hostN

修改ceph.conf中对应的mon_initial_members mon_host两行，并推送到所有的集群机器
# ceph-deploy --overwrite-conf admin host11 host12 host13 host14

然后在每台mon机器上重启monitor服务
＃/etc/init.d/ceph restart mon.host11
＃/etc/init.d/ceph restart mon.host12
＃/etc/init.d/ceph restart mon.host13

5.5 在每台服务器上重启osd或者mon服务
比如在host11上
# /etc/init.d/ceph stop osd.0
# /etc/init.d/ceph stop osd.0
# /etc/init.d/ceph restart mon.host11

5.6 当需要暂时停止某个osd，但是无需ceph进行自动数据迁移时，可以将osd设为noout状态
# ceph osd set noout
其他操作完成后，恢复
# ceph osd unset noout

如果osd故障，需要替换硬盘
# ceph osd out 3
# ceph health 等待ceph状态到HEALTH_OK，进行下一步操作
# /etc/init.d/ceph stop osd.3
# umount /var/lib/ceph/osd/ceph-3
待硬盘换新后，重新加入集群


5.7 查看ceph集群健康状态
# ceph health
# ceph health detail
监控操作
# ceph -w

5.8 查看使用size
# ceph df  
# ceph df detail

5.9 添加mon失败导致集群无法完成mon选举，集群不可用

1) 通过命令停止所有机器的mon进程
#/etc/init.d/ceph stop mon

2) 创建monitor map文件
#monmaptool --fsid a7189363-3d88-4ca4-a99d-5ecc98453185 --create --add host12 172.16.200.12 --clobber monmap

--fsid a7189363-3d88-4ca4-a99d-5ecc98453185 /etc/ceph.conf文件  
[global]
fsid = *********************8

获取fsid，必须设置一致否则导致集群无法启动

3) 检查配置是否正确
monmaptool --print monmap

4） 把monmap 注入到集群
ceph-mon -i host12 --inject-monmap monmap

5） 重新启动所有mon进程
#/etc/init.d/ceph start mon

5.10 手工添加monitor(以添加host13为例)
1) 创建目录
mkdir -p /var/lib/ceph/mon/ceph-host13/
2）创建临时文件夹
mkdir tmp
cd tmp/

3) 修改monitor map
ceph auth get mon. -o keyring
ceph mon getmap -o monmap
ceph-mon -i host13 --mkfs --monmap monmap --keyring keyring

4) 启动服务
cd /var/lib/ceph/mon/ceph-host13/
touch done
touch sysvinit
/etc/init.d/ceph start mon

6 使用特定的硬盘,创建特定的磁盘pool(主要应用场景在有磁盘阵列或者iscsi server的环境下)
假如我们有另外的服务器，以及磁阵等，我们可以为其创建专门的osd pool，以使用其资源.
ceph 集群默认创建default根分区，通过ceph-deploy创建osd都存放在根分区上。
我们创建另外一个根分区myroot, 把特定的osdd放到这个根分区上，创建存储池时候，指定使用这个根分区.

6.1 创建新的crush 根分区,名字为myroot
# ceph osd crush add-bucket myroot root

6.2 创建规则(rule)，配置这个规则从根分区myroot选择osd  
# ceph osd crush rule create-simple rule_myroot myroot firstn

6.3 查看这新规则内容/这个规则是否创建成功
# ceph osd crush rule dump rule_myroot

6.4 执行下面命令逐一把属于myroot机器的osd加入到集群里面
# ceph-deploy osd prepare newhost:/dev/sdx
newhost: 代表机器名字，需要按照实际情况输入,必须在集群里面各个机器/etc/hosts有登记过的
x: 代表机器上的任意一个磁盘

6.5 把新增加osd对应机器bucket移动到myroot 根分区上
# ceph osd crush move newhost root=myroot
newhost 代表机器名字，需要按照实际情况输入， 必须在集群里面各个机器/etc/hosts有登记过的

6.6 执行下面命令逐一把属于myroot osd激活
# ceph-deploy osd activate newhost:/dev/sdx1

newhost: 代表机器名字，需要按照实际情况输入,必须在集群里面各个机器/etc/hosts有登记过的
x: 代表机器上的任意一个磁盘

6.7 创建一个存储池，这个存储池使用myroot 分区的osd
# ceph osd pool create rbd-myroot <pg_num> <pgp_num> rule_myroot
存储池pg_num pgp_num的数目,需要根据实际情况配置见4.6 节创建pool解释

################################################################################
7 本地虚拟机磁盘镜像转换rbd磁盘镜像，并且覆盖cloudstack对应虚拟机镜像文件
1. 首先获得完全的镜像
# qemu-img convert -f qcow2 -O raw /root/old.qcow2 /root/vm-new.img

2. 获取新的虚拟机镜像进行名称:
进入cloudstack 选择左边Instances选项，页面显示虚拟机列表。在虚拟机列表选择对应的虚拟机;
点击虚拟机属性的Detail选项卡，然后点点击选择View Volumes;
然后鼠标点击quickview “+”位置，cloudstack显示虚拟机磁盘镜像ID;

3. 停止对应的虚拟机。

4. 将nbd设备导入ceph的rbd pool里面，替代虚拟机镜像（假定现在新的虚拟机镜像为vm-new.img）
# rbd mv vm-new.img vm-new.img.bak
# qemu-img convert -O raw /root/vm-new.img rbd:rbd/vm-new.img:rbd_default_format=2:rbd_default_features=1

5. 重新启动虚拟机。

数据盘也是同样的操作步骤.

old vm new vm

cloudstack上传
base ----------------------> base

convert  
vm1.qcow2 --------------------> vm-new.img

  

###################################################################################################
########################### ceph 监控系统 ######################################################

所有需要的文件位于monitor-ceph-cluster目录 svn://172.16.2.139/sky/doc/design/monitor-ceph-cluster
安装前准备

1) 本次安装在安装源里面新增加下面rpm包
collectd-5.5.0-1.el7.centos.x86_64.rpm
libtool-ltdl-2.4.2-20.el7.x86_64.rpm
grafana-2.0.2-1.x86_64.rpm
graphite-web-0.9.12-8.el7.noarch.rpm
python-carbon-0.9.12-7.el7.noarch.rpm
python-simplejson-3.3.3-1.el7.x86_64.rpm
python-django-1.6.11-2.el7.noarch.rpm
python-django-tagging-0.3.1-11.el7.noarch.rpm
python-whisper-0.9.12-4.el7.noarch.rpm
python-django-bash-completion-1.6.11-2.el7.noarch.rpm

上面安装包可以在广州开发环境下面路径进行同步
172.16.200.11:/home/repo/centos71-ceph-cloudstack-repo/packages

可以通过createrepo 重新创建安装源。

一. graphite 时序安装和配置

需要在ceph集群其中一台机器就可以了.

1.安装 graphite 和 MySQL后台

# yum install graphite-web mariadb-server.x86_64 MySQL-python

2. 配置开机启动，启动mysql服务
#systemctl enable mariadb.service
#systemctl start mariadb.service

3. 配置mysql默认密码(如果知道mysql密码可以省略此步骤)
mysql_secure_installation

4. 创建 graphite数据库以及graphite数据库username and password

mysql -e "CREATE DATABASE graphite;" -u root -p
mysql -e "GRANT ALL PRIVILEGES ON graphite.* TO 'graphite'@'localhost' IDENTIFIED BY 'graphitePW01Vxzsigavms';" -u root -p
mysql -e 'FLUSH PRIVILEGES;' -u root -p

  

6. 配置graphite配置文件，输入数据库路径用户名
＃vi /etc/graphite-web/local_settings.py


DATABASES = {
'default': {
'NAME': 'graphite',
'ENGINE': 'django.db.backends.mysql',
'USER': 'graphite',
'PASSWORD': 'graphitePW01Vxzsigavms',
}
}

7. 创建graphite库创建和初始化数据表  
/usr/lib/python2.7/site-packages/graphite/manage.py syncdb
Would you like to create one now? (yes/no): yes
Username (leave blank to use 'root'): root
Email address: onecloud@onecloud.cn
Password:  
Password (again):

6. 安装Carbon和Whisper (用于收集和存放collectd发送过来系统状态)
yum install python-carbon python-whisper

#systemctl enable carbon-cache.service
#systemctl start carbon-cache.service


7. 修改配置文件/etc/httpd/conf.d/graphite-web.conf， 解决[Thu Jul 30
01:59:44.056823 2015] [authz_core:error] [pid 5708] [client
192.168.20.154:54279] AH01630: client denied by server configuration:
/usr/share/graphite/graphite-web.wsgi 网页无法访问错误

# Graphite Web Basic mod_wsgi vhost
listen graphite_web_port
<VirtualHost *:graphite_web_port>
ServerName: you_server_ip  
DocumentRoot "/usr/share/graphite/webapp"
ErrorLog /var/log/httpd/graphite-web-error.log
CustomLog /var/log/httpd/graphite-web-access.log common

# Header set Access-Control-Allow-Origin "*"
# Header set Access-Control-Allow-Methods "GET, OPTIONS"
# Header set Access-Control-Allow-Headers "origin, authorization, accept"
# Header set Access-Control-Allow-Credentials true

WSGIScriptAlias / /usr/share/graphite/graphite-web.wsgi
WSGIImportScript /usr/share/graphite/graphite-web.wsgi
process-group=%{GLOBAL} application-group=%{GLOBAL}

<Location "/content/">
SetHandler None
</Location>

Alias /media/ "/usr/lib/python2.7/site-packages/django/contrib/admin/media/"
<Location "/media/">
#SetHandler None
Order deny,allow
Allow from all
</Location>

<Directory "/usr/share/graphite/">
Options All
AllowOverride All
Require all granted
</Directory>

<Directory "/etc/graphite-web/">
Options All
AllowOverride All
</Directory>

<Directory "/usr/share/graphite/webapp">
Order deny,allow
Allow from all
</Directory>
</VirtualHost>

或者拷贝原来配置文件:
cp graphite-web-rpm/graphite-web.conf /etc/httpd/conf.d/

mkdir /usr/lib/python2.7/site-packages/django/contrib/admin/media/

修改目录和文件属性
chown apache:apache /usr/share/graphite/graphite-web.wsgi
chmod +x /usr/share/graphite/graphite-web.wsgi
chown -R apache:apache /etc/graphite-web/
chown -R apache:apache /usr/share/graphite/

7. 重新启动httpd
#systemctl start httpd

如果http不是默认开机启动,配置为开机启动
#systemctl enable httpd.service

8. graphite 数据存放目录是 /var/lib/carbon/whisper/
可以通过此目录清理数据无用数据

9.配置collectd在graphite数据存储精度

配置文件/etc/carbon/storage-schemas.conf
[collectd]
pattern = ^collectd\.
retentions = 10s:1d,1m:7d,10m:1y

10.测试graphite是否可以使用可以通过firefox/chrome 浏览器打开.

http://graphite_web_ip:port

port: 在/etc/httpd/conf.d/graphite-web.conf 里面配置端口号.

二. collectd 配置

collectd是收集系统所有机器系统运行信息，需要在每台机器都安装.

#yum install collectd

1. 修改/ect/collectd.conf 文件可以参考 collectd/collectd.conf

vim /ect/collectd.conf
1) 关闭插件
#LoadPlugin cpu

2) 打开插件
LoadPlugin exec
LoadPlugin write_graphite
LoadPlugin syslog

3) 配置插件

# syslog插件配置只打印等级为err
<Plugin syslog>
LogLevel err
</Plugin>

#exec插件启动calamari-go二进制文件收集ceph集群信息

<Plugin exec>  
Exec "root" "/usr/lib64/collectd/calamari-go"  
</Plugin>

#配置graphite时序数据库插件往数据库写入时序集群和机器状态时序信息

<Plugin write_graphite>
<Node "graphing">
Host "ip address of graphite_web and carbon install machine"
Port "2003"
Protocol "tcp"
LogSendErrors true  
Prefix "collectd."
Postfix ""
StoreRates true  
AlwaysAppendDS false
EscapeCharacter "_"
</Node>
</Plugin>

#配置网络接口插件收集网络接口信息 storagebr0是ceph集群网络接口, cloudbr0虚拟机网络接口
<Plugin interface>  
Interface "cloudbr0"  
Interface "storagebr0"
IgnoreSelected false
</Plugin>

可以先配置一台机器，安装完collectd后发送每台机器.

2. 拷贝二进制监控插件 calamari-go到目录 /usr/lib64/collectd/

3. 配置collectd开机自动启动服务
#systemctl enable collectd.service

4. 启动collectd服务
#systemctl start collectd.service

三. 安装grafana 用户监控界面

1. 安装grafana v2.0.2-1
#yum install grafana

2. 配置grafana访问端口:

打开文件 /etc/grafana/grafana.ini

修改:
http_port=xxxx

根据实际情况配置端口

3. 配置grafana web开机自动启动服务
#systemctl enable grafana-server.service

4.启动grafana web
#systemctl start collectd.service
#service grafana-server start

6.配置数据源
1) 使用firefox/chrome 打开grafana 页面配置数据源
http://grafana_web_ip:http_port

2) 初始用户名:admin 密码:admin

3) 点击左上角列表:Data sources

4) 选择Add New

5）配置 参考图grafana/SettingDataSource.png
Data Source：
Name： ceph-mon Default： true
Type： Graphite

Http settings：
Url：http://graphite_ip_addr:port #port可以通过/etc/httpd/conf.d/graphite-web.conf获取
Acces：proxy


5.加载监控页面

1) Dashboard 下拉菜单,选择import,参考图: grafana/ImportDashboards.png

2）然后选择ChooseDashboardFile.png

3) 选择ceph-monitor/grafana/json_page/
Ceph_Cluster_Home
Ceph_OSD_Information
Ceph_Performance
Ceph_Pool_Information
Host_Disk
Host_Load_CPU
Host_Network

6.添加普通
1) 点击Grafana图标

2）在左边配置栏选择Grafana admin 参考图: grafana/GrafanaAdmin.png

3）左边配置栏刷新以后，点击GlobalUsers: 参考图: grafana/GlobalUsers.png

4）点击最上面的Create users

5) 按照要求输入信息。