Django搭建简易监控系统

oi622

Django是使用最广泛的用python写的开源WEB框架，用它可以搭建一套WEB系统，它也可以和其他开源组件，如cellery组合使用，扩展性比较强。

下面详细讲一讲如何利用django搭建一套简易的服务器监控系统。

环境描述
客户端服务端模式，客户端通过脚本抓取本地性能参数，然后提交POST请求给django服务端，把数据传给服务端。服务端接收到数据后先保存到本地数据库中，用户在浏览器端输入对应URL来展示数据库中的数据信息。

正文
- 下载安装django，我这里以1.4版本为例。
- 创建项目，

1	django-admin.py startproject test_site

运行完命令后，在当前目录下会生成一个目录：test_site， 进去后你会发现有一些已经创建好的python文件。

- 启动django服务

1	python manage.py runserver 0.0.0.0:8080

执行完命令后，你可以在浏览器端输入IP：8080就可以正常访问了，前提是你的浏览器端和django服务所在的电脑能联通，而且端口没有被防火墙挡住，若这一步有问题请留言讨论，这里不再赘述。

- 配置django数据库
django内置了几种数据库的接口：mysql, postgresql, sqlite3 , oracle。我这里以最简单的sqlite3为例来讲。

在test_site/test_site目录下有个setting.py，打开,找到DATABASES这一段，把ENGINE的值设为django.db.backends.sqlite3，NAME的值写数据库的绝对路径，比如：/opt/django/db/sqlite3.db。

- 创建app
每个项目下可以有多个app，我们先创建一个monitor_metric。

1	python manage.py startapp monitor_metric

执行完后，你会在当前目录下看到monitor_metric目录。
打开test_site/test_site/setting.py，在INSTALLED_APPS段中添加刚刚创建的app：monitor_metric。
打开test_site/test_site/urls.py,添加一行：
url(r'^monitor_metric/', include('monitor_metric.urls')),
打开test_site/monitor_metric/models.py,内容如下：

1 2 3 4 5 6 7 8 9 10 11

from django.db import models # Create your models here. class ServerMetric(models.Model):     id = models.IntegerField(primary_key=True, db_column='ID') # Field name made lowercase.     history_ip = models.CharField(max_length=45)     history_datetime = models.DateTimeField()     history_cpu_load = models.CharField(max_length=45)     history_disk_usage = models.CharField(max_length=45)     history_memory_usage = models.CharField(max_length=45)     class Meta:         db_table = u'server_metric'

打开test_site/monitor_metric/views.py,内容如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49

# Create your views here. # -*- coding: utf-8 -*- # Create your views here. import os,sys,time from django.http import HttpResponse from django.shortcuts import render_to_response #from django.template import Context from django.template.loader import get_template from monitor_metric.models import ServerMetric from django.conf import settings from django.template import RequestContext from public.views import * from django.core.paginator import Paginator, InvalidPage, EmptyPage from django.utils.log import logger from django.views.decorators.csrf import csrf_exempt def index(request):     res_template_dist={'system_name': settings.SYSTEM_NAME}     return render_to_response('monitor_metric.html',res_template_dist) def monitor_metric_display(request):         MetricObj = ServerMetric.objects.order_by('-id')         Metric_string_prefix = "Host IP" +"&nbsp;&nbsp;\t" +"Date Time" +"&nbsp;&nbsp;\t" +"CPU load average" +"&nbsp;&nbsp;\t" +"Disk usage" +"&nbsp;&nbsp;\t" +"Memory usage"+"<BR>"         Metric_string = ""         for e in MetricObj:                 Metric_string +=  e.history_ip+ "&nbsp;&nbsp;\t"+ str(e.history_datetime)+"&nbsp;&nbsp;\t"+e.history_cpu_load+"&nbsp;&nbsp;\t"+e.history_disk_usage +"&nbsp;&nbsp;\t"+e.history_memory_usage+ "<BR>"         return HttpResponse(Metric_string_prefix+Metric_string) @csrf_exempt def monitor_metric_writedb(request):         if request.method == 'POST':                 #return HttpResponse( "POST request have been fulfilled")                 history_ip=request.POST['history_ip']                 history_datetime=request.POST['history_datetime']                 history_cpu_load=request.POST['history_cpu_load']                 history_disk_usage=request.POST['history_disk_usage']                 history_memory_usage=request.POST['history_memory_usage']                 historyobj = ServerMetric(                                         history_ip=history_ip, \                                         history_datetime=history_datetime, \                                         history_cpu_load=history_cpu_load, \                                         history_disk_usage=history_disk_usage, \                                         history_memory_usage=history_memory_usage, \                                         )                 try:                         historyobj.save()                 except Exception,e:                         return HttpResponse("入库失败，请与管理员联系！"+str(e))                 Response_result="OK"                 return HttpResponse(Response_result)         else:                 return HttpResponse("非法提交！")

这里我们定义了三个函数，index（）是定义浏览器访问默认页的，monitor_metric_display（）是定义在浏览器显示的数据信息的，monitor_metric_writedb（）是从客户端获取POST信息并保存到数据库中。
cat test_site/monitor_metric/urls.py,

1 2 3 4 5 6

from django.conf.urls.defaults import * urlpatterns = patterns('monitor_metric.views',     (r'^$','index'),     (r'monitor_metric_writedb/$','monitor_metric_writedb'),     (r'monitor_metric_display/$','monitor_metric_display'), )

这个是浏览器访问的url将被指定的函数执行。

- 根据models.py生成相应的数据库结构。

1	python manage.py syncdb

执行完后会生成/opt/django/db/sqlite3.db，你可以看下里面有哪些数据库，

1 2 3

sqlite3 /opt/django/db/sqlite3.db .schema .tables

- 服务端已经搞好了，现在去客户端，创建目录monitor_metric,新建文件config.py

1 2 3 4

#!/usr/bin/env python Net_driver = "eth0" Server_address = "10.9.214.15" Connect_TimeOut = 3

Server_address指的是django服务端的ip.

- 新建文件collect_metric.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55

#!/usr/bin/env python #coding:utf-8 import sys import os import socket import fcntl import struct import logging from config import * import urllib,httplib from datetime import datetime import psutil socket.setdefaulttimeout(Connect_TimeOut) logging.basicConfig(level=logging.DEBUG,             format='%(asctime)s [%(levelname)s] %(message)s',             filename=sys.path[0]+'/omsys.log',             filemode='a') def get_local_ip(ethname):     try:         sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)         addr = fcntl.ioctl(sock.fileno(), 0x8915, struct.pack('256s', ethname))         return socket.inet_ntoa( addr[20:24] )     except Exception,e:         logging.error('get localhost IP address error:'+str(e))         return "127.0.0.1" def post_metric(http_get_param=""):     try:         http_client =httplib.HTTPConnection(Server_address ,8080, timeout=Connect_TimeOut)         headers = {"Content-type": "application/x-www-form-urlencoded","Accept": "text/plain"}         http_client.request('POST','/monitor_metric/monitor_metric_writedb/', http_get_param, headers)         response =http_client.getresponse()         print response.status, response.reason         f = open('./response_page', 'w')         f.write(response.read())         if response.status != 200:                   logging.error('response http status error:'+str(response.status))             sys.exit()     except Exception, e:         logging.error('connection django-cgi server error:'+str(e))         sys.exit()     finally:         if http_client:             http_client.close()         else:             logging.error('connection django-cgi server unknown error.')             sys.exit() Sysip = get_local_ip(Net_driver) History_Id = "1" History_datetime = str(datetime.now()) History_cpu_load = os.getloadavg()[0] History_disk_usage = psutil.disk_usage('/')[3] History_memory_usage = psutil.virtual_memory()[2] params = {'history_id':History_Id, 'history_ip':Sysip, 'history_datetime':History_datetime, 'history_cpu_load':History_cpu_load, 'history_disk_usage':History_disk_usage, 'history_memory_usage':History_memory_usage} encoded_params = urllib.urlencode(params) post_metric(encoded_params)

这个脚本是抓取客户端性能参数的。

执行

1	python collect_metric.py

若返回200 OK， 说明POST请求执行成功，同学们做到这一步的时候肯定会遇到各种问题，请不要着急，collect_metric.py中已经把POST请求的返回html页面保存到response_page中了， 你可以把response_page拷到django服务器中，通过浏览器查看里面的报错信息，这样一步一步慢慢调试。
成功后在浏览器中输入
http://IP:8080/monitor_metric/monitor_metric_display/
就可以看到ip,cpu load average, memory usage, disk usage等信息了。

补充：

在调试过程中你会碰到csfr token的问题，这是django的跨站访问保护的机制（cross site request forgery protection）,具体意思是防止恶意网站通过获取正常网站的cookie来进行破坏活动。

碰到这个问题有两种解决方法：
a.在服务端禁用CSRF

1 2 3

from django.views.decorators.csrf import csrf_exempt @csrf_exempt def monitor_metric_writedb(request):

b.把CSRF token作为参数，放在post data里面传送给django。

若同学们有任何疑问，请留言，共同探讨。