Django是使用最广泛的用python写的开源WEB框架,用它可以搭建一套WEB系统,它也可以和其他开源组件,如cellery组合使用,扩展性比较强。
下面详细讲一讲如何利用django搭建一套简易的服务器监控系统。
环境描述
客户端服务端模式,客户端通过脚本抓取本地性能参数,然后提交POST请求给django服务端,把数据传给服务端。服务端接收到数据后先保存到本地数据库中,用户在浏览器端输入对应URL来展示数据库中的数据信息。
正文
- 下载安装django,我这里以1.4版本为例。
- 创建项目,
django-admin.py startproject test_site
运行完命令后,在当前目录下会生成一个目录:test_site, 进去后你会发现有一些已经创建好的python文件。
- 启动django服务
python manage.py runserver 0.0.0.0:8080
执行完命令后,你可以在浏览器端输入IP:8080就可以正常访问了,前提是你的浏览器端和django服务所在的电脑能联通,而且端口没有被防火墙挡住,若这一步有问题请留言讨论,这里不再赘述。
- 配置django数据库
django内置了几种数据库的接口:mysql, postgresql, sqlite3 , oracle。我这里以最简单的sqlite3为例来讲。
在test_site/test_site目录下有个setting.py,打开,找到DATABASES这一段,把ENGINE的值设为django.db.backends.sqlite3,NAME的值写数据库的绝对路径,比如:/opt/django/db/sqlite3.db。
- 创建app
每个项目下可以有多个app,我们先创建一个monitor_metric。
python manage.py startapp monitor_metric
执行完后,你会在当前目录下看到monitor_metric目录。
打开test_site/test_site/setting.py,在INSTALLED_APPS段中添加刚刚创建的app:monitor_metric。
打开test_site/test_site/urls.py,添加一行:
url(r'^monitor_metric/', include('monitor_metric.urls')),
打开test_site/monitor_metric/models.py,内容如下:
from django.db import models# Create your models here.class ServerMetric(models.Model): id = models.IntegerField(primary_key=True, db_column='ID') # Field name made lowercase. history_ip = models.CharField(max_length=45) history_datetime = models.DateTimeField() history_cpu_load = models.CharField(max_length=45) history_disk_usage = models.CharField(max_length=45) history_memory_usage = models.CharField(max_length=45) class Meta: db_table = u'server_metric'
打开test_site/monitor_metric/views.py,内容如下:
# Create your views here.# -*- coding: utf-8 -*-# Create your views here.import os,sys,timefrom django.http import HttpResponsefrom django.shortcuts import render_to_response#from django.template import Contextfrom django.template.loader import get_templatefrom monitor_metric.models import ServerMetricfrom django.conf import settingsfrom django.template import RequestContextfrom public.views import *from django.core.paginator import Paginator, InvalidPage, EmptyPagefrom django.utils.log import loggerfrom django.views.decorators.csrf import csrf_exemptdef index(request): res_template_dist={'system_name': settings.SYSTEM_NAME} return render_to_response('monitor_metric.html',res_template_dist)def monitor_metric_display(request): MetricObj = ServerMetric.objects.order_by('-id') Metric_string_prefix = "Host IP" +" \t" +"Date Time" +" \t" +"CPU load average" +" \t" +"Disk usage" +" \t" +"Memory usage"+"" Metric_string = "" for e in MetricObj: Metric_string += e.history_ip+ " \t"+ str(e.history_datetime)+" \t"+e.history_cpu_load+" \t"+e.history_disk_usage +" \t"+e.history_memory_usage+ "" return HttpResponse(Metric_string_prefix+Metric_string)@csrf_exemptdef monitor_metric_writedb(request): if request.method == 'POST': #return HttpResponse( "POST request have been fulfilled") history_ip=request.POST['history_ip'] history_datetime=request.POST['history_datetime'] history_cpu_load=request.POST['history_cpu_load'] history_disk_usage=request.POST['history_disk_usage'] history_memory_usage=request.POST['history_memory_usage'] historyobj = ServerMetric( history_ip=history_ip, \ history_datetime=history_datetime, \ history_cpu_load=history_cpu_load, \ history_disk_usage=history_disk_usage, \ history_memory_usage=history_memory_usage, \ ) try: historyobj.save() except Exception,e: return HttpResponse("入库失败,请与管理员联系!"+str(e)) Response_result="OK" return HttpResponse(Response_result) else: return HttpResponse("非法提交!")
这里我们定义了三个函数,index()是定义浏览器访问默认页的,monitor_metric_display()是定义在浏览器显示的数据信息的,monitor_metric_writedb()是从客户端获取POST信息并保存到数据库中。
cat test_site/monitor_metric/urls.py,
from django.conf.urls.defaults import *urlpatterns = patterns('monitor_metric.views', (r'^$','index'), (r'monitor_metric_writedb/$','monitor_metric_writedb'), (r'monitor_metric_display/$','monitor_metric_display'),)
这个是浏览器访问的url将被指定的函数执行。
- 根据models.py生成相应的数据库结构。
python manage.py syncdb
执行完后会生成/opt/django/db/sqlite3.db,你可以看下里面有哪些数据库,
sqlite3 /opt/django/db/sqlite3.db.schema.tables
- 服务端已经搞好了,现在去客户端,创建目录monitor_metric,新建文件config.py
#!/usr/bin/env pythonNet_driver = "eth0"Server_address = "10.9.214.15"Connect_TimeOut = 3
Server_address指的是django服务端的ip.
- 新建文件collect_metric.py
#!/usr/bin/env python#coding:utf-8import sysimport osimport socketimport fcntlimport structimport loggingfrom config import *import urllib,httplibfrom datetime import datetimeimport psutilsocket.setdefaulttimeout(Connect_TimeOut)logging.basicConfig(level=logging.DEBUG, format='%(asctime)s [%(levelname)s] %(message)s', filename=sys.path[0]+'/omsys.log', filemode='a')def get_local_ip(ethname): try: sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) addr = fcntl.ioctl(sock.fileno(), 0x8915, struct.pack('256s', ethname)) return socket.inet_ntoa( addr[20:24] ) except Exception,e: logging.error('get localhost IP address error:'+str(e)) return "127.0.0.1"def post_metric(http_get_param=""): try: http_client =httplib.HTTPConnection(Server_address ,8080, timeout=Connect_TimeOut) headers = {"Content-type": "application/x-www-form-urlencoded","Accept": "text/plain"} http_client.request('POST','/monitor_metric/monitor_metric_writedb/', http_get_param, headers) response =http_client.getresponse() print response.status, response.reason f = open('./response_page', 'w') f.write(response.read()) if response.status != 200: logging.error('response http status error:'+str(response.status)) sys.exit() except Exception, e: logging.error('connection django-cgi server error:'+str(e)) sys.exit() finally: if http_client: http_client.close() else: logging.error('connection django-cgi server unknown error.') sys.exit()Sysip = get_local_ip(Net_driver)History_Id = "1"History_datetime = str(datetime.now())History_cpu_load = os.getloadavg()[0]History_disk_usage = psutil.disk_usage('/')[3]History_memory_usage = psutil.virtual_memory()[2]params = {'history_id':History_Id, 'history_ip':Sysip, 'history_datetime':History_datetime, 'history_cpu_load':History_cpu_load, 'history_disk_usage':History_disk_usage, 'history_memory_usage':History_memory_usage}encoded_params = urllib.urlencode(params)post_metric(encoded_params)
这个脚本是抓取客户端性能参数的。
执行
python collect_metric.py
若返回200 OK, 说明POST请求执行成功,同学们做到这一步的时候肯定会遇到各种问题,请不要着急,collect_metric.py中已经把POST请求的返回html页面保存到response_page中了, 你可以把response_page拷到django服务器中,通过浏览器查看里面的报错信息,这样一步一步慢慢调试。
成功后在浏览器中输入
http://IP:8080/monitor_metric/monitor_metric_display/
就可以看到ip,cpu load average, memory usage, disk usage等信息了。
补充:
在调试过程中你会碰到csfr token的问题,这是django的跨站访问保护的机制(cross site request forgery protection),具体意思是防止恶意网站通过获取正常网站的cookie来进行破坏活动。
碰到这个问题有两种解决方法:
a.在服务端禁用CSRF
from django.views.decorators.csrf import csrf_exempt@csrf_exemptdef monitor_metric_writedb(request):
b.把CSRF token作为参数,放在post data里面传送给django。
若同学们有任何疑问,请留言,共同探讨。