Node.js/CentOS: 运行并测试StatsD和Graphite来收集数据

暴3421

1. 安装Graphite

StatsD通过npm安装并通过node运行，简单的不需要多说了。而Graphite的安装上则费一些时间，我参考的是这个链接，虽然原文是讲在Mac OX 10.9下安装Graphite，但是在CentOS下一样可行，注意把Mac下的blew改成CentOS下的yum，还有chown那句改成自己的用户名和Group就可以了（而不是Mac中的staff组）。
安装Graphite可能会遇到诸多问题，我遇到的是：
1. carbon-cache无法启动，看具体错误消息是因为没有安装Twisted。
2. pip安装Twisted时，提示：

fatal error: Python.h: No such file or directory compilation terminated

原因，没有安装：python-devel，请先执行sudo yum install python-devel。
3. 如果是遇到编译ffi.h时GCC返回1，先安装libffi-devel即可。
 
安装好Graphite后，进入后台（默认是8080接口），此时没有任何数据，右侧界面是这样的：

如果上面图片没有显示No Data，出现图挂的情况，请进入”<后台URL>/render”子页面下查看具体错误原因。有一次在Mac下安装Graphite时遇到过ImportError: No module named cairocffi的提示，后参考这个贴子解决了。
 
　　返回目录

2. 配置StatsD

打开StatsD目录下的exampleConfig.js，配置好Graphite的地址和端口。
注意要和carbon的协议端口对应，carbon配置文件/opt/graphite/conf/carbon.conf中的：UDP_RECEIVER_PORT，LINE_RECEIVER_PORT，PICKLE_RECEIVER_PORT值分别对应UDP，文本和Python pickle二进制数据接口。StatsD使用UDP，不过默认配置文件中，carbon的这三个值都是2003端口。
比如我的配置是这样的：

{
  graphitePort:2003
, graphiteHost:"192.168.1.106"
, port:8125
, backends:["./backends/graphite"]
}


然后运行StatsD：node stats.js exampleConfig.js。
 
　　返回目录

3. 使用node-statsd和JMeter完成测试

node-statsd工程就是方便在Node.js中直接调用StatsD的。安装工程主页文档安装部署。然后就可以在Node.js服务器上做个测试了，如下代码，每次访问服务器，我们会随机生成一个数字，按照这个数字随机向StatsD发送信息，当然node-statsd/StatsD支持好多数据类型，这里仅以最简单的统计个数的Counter来示例：

var express = require('express');
var app = express();
var StatsD = require('node-statsd'),
    client =new StatsD();
function randomIntFromInterval(min, max){
return Math.floor(Math.random()*(max - min +1)+ min);
}
app.get('/',function(req, res){
var randomNum = randomIntFromInterval(0,3);
if(randomNum){
        client.increment('login.succ');
}else{
        client.increment('login.failed');
}
    res.send('Hello mgen!');
});
app.listen(3000,'0.0.0.0');
console.log('Server started');


 
完成后，运行Node.js服务器。
可以使用一些工具比如Apache JMeter来不断得发送HTTP请求从而模拟更真实的情况。在JMeter中添加一个Thread Group, HTTP Request和View Results Tree。

选中Thread Group的Forever，这样不断地发送。

最后开始发送，由于上面我们Node.js服务器会随机像StatsD发送数据，经过JMeter发送一段时间后，可以在Graphite后台看到效果了。左侧是具体的字段：

选择字段可以添加数据，右侧是图表，类似这样：