Django是使用最广泛的用python写的开源WEB框架,用它可以搭建一套WEB系统,它也可以和其他开源组件,如cellery组合使用,扩展性比较强。

下面详细讲一讲如何利用django搭建一套简易的服务器监控系统。

环境描述

客户端服务端模式,客户端通过脚本抓取本地性能参数,然后提交POST请求给django服务端,把数据传给服务端。服务端接收到数据后先保存到本地数据库中,用户在浏览器端输入对应URL来展示数据库中的数据信息。

正文

- 下载安装django,我这里以1.4版本为例。

- 创建项目,

django-admin.py startproject test_site

运行完命令后,在当前目录下会生成一个目录:test_site, 进去后你会发现有一些已经创建好的python文件。

- 启动django服务

python manage.py runserver 0.0.0.0:8080

执行完命令后,你可以在浏览器端输入IP:8080就可以正常访问了,前提是你的浏览器端和django服务所在的电脑能联通,而且端口没有被防火墙挡住,若这一步有问题请留言讨论,这里不再赘述。

- 配置django数据库

django内置了几种数据库的接口:mysql, postgresql, sqlite3 , oracle。我这里以最简单的sqlite3为例来讲。

在test_site/test_site目录下有个setting.py,打开,找到DATABASES这一段,把ENGINE的值设为django.db.backends.sqlite3,NAME的值写数据库的绝对路径,比如:/opt/django/db/sqlite3.db。

- 创建app

每个项目下可以有多个app,我们先创建一个monitor_metric。

python manage.py startapp monitor_metric

执行完后,你会在当前目录下看到monitor_metric目录。

打开test_site/test_site/setting.py,在INSTALLED_APPS段中添加刚刚创建的app:monitor_metric。

打开test_site/test_site/urls.py,添加一行:

url(r'^monitor_metric/', include('monitor_metric.urls')),

打开test_site/monitor_metric/models.py,内容如下:

from django.db import models# Create your models here.class ServerMetric(models.Model):    id = models.IntegerField(primary_key=True, db_column='ID') # Field name made lowercase.    history_ip = models.CharField(max_length=45)    history_datetime = models.DateTimeField()    history_cpu_load = models.CharField(max_length=45)    history_disk_usage = models.CharField(max_length=45)    history_memory_usage = models.CharField(max_length=45)    class Meta:        db_table = u'server_metric'

打开test_site/monitor_metric/views.py,内容如下:

# Create your views here.# -*- coding: utf-8 -*-# Create your views here.import os,sys,timefrom django.http import HttpResponsefrom django.shortcuts import render_to_response#from django.template import Contextfrom django.template.loader import get_templatefrom monitor_metric.models import ServerMetricfrom django.conf import settingsfrom django.template import RequestContextfrom public.views import *from django.core.paginator import Paginator, InvalidPage, EmptyPagefrom django.utils.log import loggerfrom django.views.decorators.csrf import csrf_exemptdef index(request):    res_template_dist={'system_name': settings.SYSTEM_NAME}    return render_to_response('monitor_metric.html',res_template_dist)def monitor_metric_display(request):        MetricObj = ServerMetric.objects.order_by('-id')        Metric_string_prefix = "Host IP" +"  \t" +"Date Time" +"  \t" +"CPU load average" +"  \t" +"Disk usage" +"  \t" +"Memory usage"+"
"        Metric_string = ""        for e in MetricObj:                Metric_string +=  e.history_ip+ "  \t"+ str(e.history_datetime)+"  \t"+e.history_cpu_load+"  \t"+e.history_disk_usage +"  \t"+e.history_memory_usage+ "
"        return HttpResponse(Metric_string_prefix+Metric_string)@csrf_exemptdef monitor_metric_writedb(request):        if request.method == 'POST':                #return HttpResponse( "POST request have been fulfilled")                history_ip=request.POST['history_ip']                history_datetime=request.POST['history_datetime']                history_cpu_load=request.POST['history_cpu_load']                history_disk_usage=request.POST['history_disk_usage']                history_memory_usage=request.POST['history_memory_usage']                historyobj = ServerMetric(                                        history_ip=history_ip, \                                        history_datetime=history_datetime, \                                        history_cpu_load=history_cpu_load, \                                        history_disk_usage=history_disk_usage, \                                        history_memory_usage=history_memory_usage, \                                        )                try:                        historyobj.save()                except Exception,e:                        return HttpResponse("入库失败,请与管理员联系!"+str(e))                Response_result="OK"                return HttpResponse(Response_result)        else:                return HttpResponse("非法提交!")

这里我们定义了三个函数,index()是定义浏览器访问默认页的,monitor_metric_display()是定义在浏览器显示的数据信息的,monitor_metric_writedb()是从客户端获取POST信息并保存到数据库中。

cat test_site/monitor_metric/urls.py,

from django.conf.urls.defaults import *urlpatterns = patterns('monitor_metric.views',    (r'^$','index'),    (r'monitor_metric_writedb/$','monitor_metric_writedb'),    (r'monitor_metric_display/$','monitor_metric_display'),)

这个是浏览器访问的url将被指定的函数执行。

- 根据models.py生成相应的数据库结构。

python manage.py syncdb

执行完后会生成/opt/django/db/sqlite3.db,你可以看下里面有哪些数据库,

sqlite3 /opt/django/db/sqlite3.db.schema.tables

- 服务端已经搞好了,现在去客户端,创建目录monitor_metric,新建文件config.py

#!/usr/bin/env pythonNet_driver = "eth0"Server_address = "10.9.214.15"Connect_TimeOut = 3

Server_address指的是django服务端的ip.

- 新建文件collect_metric.py

#!/usr/bin/env python#coding:utf-8import sysimport osimport socketimport fcntlimport structimport loggingfrom config import *import urllib,httplibfrom datetime import datetimeimport psutilsocket.setdefaulttimeout(Connect_TimeOut)logging.basicConfig(level=logging.DEBUG,            format='%(asctime)s [%(levelname)s] %(message)s',            filename=sys.path[0]+'/omsys.log',            filemode='a')def get_local_ip(ethname):    try:        sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)        addr = fcntl.ioctl(sock.fileno(), 0x8915, struct.pack('256s', ethname))        return socket.inet_ntoa( addr[20:24] )    except Exception,e:        logging.error('get localhost IP address error:'+str(e))        return "127.0.0.1"def post_metric(http_get_param=""):    try:        http_client =httplib.HTTPConnection(Server_address ,8080, timeout=Connect_TimeOut)        headers = {"Content-type": "application/x-www-form-urlencoded","Accept": "text/plain"}        http_client.request('POST','/monitor_metric/monitor_metric_writedb/', http_get_param, headers)        response =http_client.getresponse()        print response.status, response.reason        f = open('./response_page', 'w')        f.write(response.read())        if response.status != 200:                   logging.error('response http status error:'+str(response.status))            sys.exit()    except Exception, e:        logging.error('connection django-cgi server error:'+str(e))        sys.exit()    finally:        if http_client:            http_client.close()        else:            logging.error('connection django-cgi server unknown error.')            sys.exit()Sysip = get_local_ip(Net_driver)History_Id = "1"History_datetime = str(datetime.now())History_cpu_load = os.getloadavg()[0]History_disk_usage = psutil.disk_usage('/')[3]History_memory_usage = psutil.virtual_memory()[2]params = {'history_id':History_Id, 'history_ip':Sysip, 'history_datetime':History_datetime, 'history_cpu_load':History_cpu_load, 'history_disk_usage':History_disk_usage, 'history_memory_usage':History_memory_usage}encoded_params = urllib.urlencode(params)post_metric(encoded_params)

这个脚本是抓取客户端性能参数的。

执行

python collect_metric.py

若返回200 OK, 说明POST请求执行成功,同学们做到这一步的时候肯定会遇到各种问题,请不要着急,collect_metric.py中已经把POST请求的返回html页面保存到response_page中了, 你可以把response_page拷到django服务器中,通过浏览器查看里面的报错信息,这样一步一步慢慢调试。

成功后在浏览器中输入

http://IP:8080/monitor_metric/monitor_metric_display/ 

就可以看到ip,cpu load average, memory usage, disk usage等信息了。

补充:

在调试过程中你会碰到csfr token的问题,这是django的跨站访问保护的机制(cross site request forgery protection),具体意思是防止恶意网站通过获取正常网站的cookie来进行破坏活动。

碰到这个问题有两种解决方法:

a.在服务端禁用CSRF

from django.views.decorators.csrf import csrf_exempt@csrf_exemptdef monitor_metric_writedb(request):

b.把CSRF token作为参数,放在post data里面传送给django。

若同学们有任何疑问,请留言,共同探讨。