/**
*作者:ahuaxuan
*日期:2008-10-21
**/ [size=medium]
日志监控这个功能应该有很多程序员都遇到过这种需求,一般来说它在关键型应用(尤其涉及到收入问题,该功能也是来自于系统问题发生后我们的反省)上显得尤其重要.下面我们来看看我们之所以需要这丫得前因后果.
我们将其分为两个部分
一开发,开发以人为主导因素,一般得流程是:开发->单元测试->集成测试->黑盒测试.理论上来讲,这个流程是没有问题的,不过有一个前提或者说是基础,那就是我们的程序员和测试人员是不能同时失误的,如果同时失误,那么有问题的代码可能会被部署到服务器运行.
二部署,部署之后程序是否正常很大程度上和服务器软硬件环境有关,如果需要保证我们的程序可以无差错运行,那么就需要保证我们的软硬件环境的正常运行.
有了这两点上的保证,那么我们晚上就可以安心的睡觉了,不过事实上这两个环节都有可能发生问题.
第一点,测试人员和程序员同时粗心的”巧合”确实是会发生,发生的频率和团队的项目管理水平有及其紧密的联系,两者成明显反比,项目管理水平越低,那么发生这种情况的几率就越高,反之亦然.同时,世界上没有不犯错误的人,据我所知,windows2000在开发的时候有900个人员,而测试人员达到了1800个,由此可见,微软非常明白这个道理.
第二点,服务器软硬件问题的发生有时候会非常的蹊跷,比如说网线出了点小问题都能把人折磨半天.或者原本理论上没有问题的网络时不时的会出现点小问题,让人丈二和尚摸不着头脑,尤其是我们可能会半天都没有察觉到它对我们程序的影响.
那么基于以上论断,有规范的流程,有貌似正常的软硬件环境对我们来说还是不够的,我们还需要保证我们的应用运行良好(尤其是核心应用,其他应用看情况).那么一旦我们的应用出现问题,我们怎么才能及时的得到通知呢,日志是个好东西,我们可以从日志下手
对于java程序员来说,最熟悉的莫过于的是log4j,对于c’er来说最熟悉的可能是log4c, 还有log4c++,log4p等等等等,log4````还是比较多的.不过本文并不准备介绍他们的使用步骤或者其他什么方面.
纵观日志监控的类型,基本可以分为2个大类,耦合和解耦.耦合类基本把日志监控的功能整合到应用程序中,比如说扩展log4j(自己写一个myappender之类的,这对于java程序员来说最熟悉),还有扩展log4c(不熟,无发言权)等等.拿扩展log4j来说,在myappender中记录下错误的信息,然后发给一个日志搜集程序也是可以的,如果你不想扩展log4j,那么没有问题,有exceptioninterceptor吗?不管怎样,你一定有一个总的异常拦截的方案,在把这些异常显示到页面之前你总得做点什么吧,ok,就在这里,把这个异常发到日志搜集程序里去吧.
还有一种就是解耦了,也就是说你的应用程序无需关心日志监控方面的问题.交给别人来做吧,这样似乎比较安心一点.那么这样做的一个关键就是在分析日志文件上,分析完之后发送给一个统一的日志搜集程序就行了(这个日志搜集程序收到请求后可以发邮件给当事人).
这样问题就变成了如何解析日志文件了.我把它分为以下几个步骤:
1定义日志格式,要解析日志,那么这个日志数据需要遵循某种规范,比如说我们规定我们的日志必须以”日期 时间 级别:”这样的形式开头
Eg: 2008-10-17 10:00:43 INFO:xxxxxxxxxxxxxxxxxxxxxxxxxxx
2 合理设置日志的输出级别.比如把warn和error的信息输出到单独的文件中去,而不是把它们和info或者debug放在一起.这样做的目的是减轻日志分析器的压力.
3 需要开发一个日志搜集中心,所有项目的日志分析器在分析到错误信息后都可以发到这个统一的日志搜集中心.
下面的代码是我用python写的一个日志分析器的雏形时的代码,仅供理解使用.代码中有一些解释,主要用到了python几个模块:
正则表达式模块,该模块用来判断日志是否符合要求
time模块,常用模块
urllib和urllib2模块,发送http请求模块,日志信息会被发送到统一的日志中心.
cPickle模块,记录最新的日志日期和时间
socket模块,得到机器的ip和机器名
hashlib模块,过滤重复的日志信息
以下是代码部分:
#!python
import re, time
import urllib2, urllib
import cPickle as pp
import zlib, socket, hashlib
#------------------------ setting begin ------------------------
fileAddress = 'E:/workspace/logs/aaa.log'
logLevel = 'ERROR:'
datePattern = '\\d{4}-\\d{2}-\\d{2}\\s\\d{2}:\\d{2}:\\d{2}'
msgReceiveUrl = 'http://localhost:8083/test/logcollect'
fileDataPath = 'D:/a.txt'
sepMinutes = 5
#------------------------ setting end ------------------------
logf = open(fileAddress, 'r')
p = re.compile(datePattern)
class LogParser(object):
def __init__(self, t):
self.lastTime = t
self.msgList = []
self.tmpTime = None
def isNewMsg(self, msg):
currentTimeStr = msg[:19]
currentTime = time.strptime(currentTimeStr, '%Y-%m-%d %H:%M:%S')
if self.lastTime == None:
self.lastTime = time.localtime()
if currentTime > self.lastTime:
self.tmpTime = currentTime
return True
else:
return False
'''
如果是新的日志信息则保存到需要发送的列表中
'''
def collectMsg(self, msg):
if self.isNewMsg(msg):
self.msgList.append(msg)
else:
pass
'''
过滤重复的日志信息
将日志列表中的新日志信息发出去,
'''
def sendMsg(self):
#record the last time
if self.tmpTime != None:
picklef = open(fileDataPath, 'w')
pp.dump(self.tmpTime, picklef)
print 'middle time ------------ ' + str(self.tmpTime)
picklef.close()
finalList = []
existMsgList = []
for tmpmsg in self.msgList:
hash = hashlib.md5(tmpmsg[19:-1]).hexdigest()
if not existMsgList.__contains__(hash):
existMsgList.append(hash)
finalList.append(tmpmsg)
#data = zlib.compress(str(finalList[:1000]))
#print data
print finalList
body = {}
for a in finalList[:10000]:
body['msg'] = a
body['ip'] = socket.gethostbyname(socket.gethostname())
body['hostname'] = socket.gethostname()
#print self.msgList
#cj = cookielib.CookieJar()
# opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
opener = urllib2.build_opener()
urllib2.install_opener(opener)
req = urllib2.Request(msgReceiveUrl, urllib.urlencode(body))
u = urllib2.urlopen(req)
print u.read()
'''
解析日志文件中的每行日志
'''
def parseLog(self):
tmpLogStr = ''
for a in logf:
#print ' pattern result ' + str(p.match(a))
if p.match(a) != None:
if tmpLogStr != '':
self.collectMsg(tmpLogStr)
if a.find(logLevel) > 0:
tmpLogStr = a
else:
tmpLogStr = tmpLogStr + a
if __name__ == '__main__':
picklef = open(fileDataPath)
t = None
try:
t = pp.load(picklef);
except EOFError:
pass
#t = time.strptime('2008-10-17 10:00:43', '%Y-%m-%d %H:%M:%S')
picklef.close()
begin = time.time()
print 'begin --- last log time : ' + str(t)
parser = LogParser(t)
parser.parseLog()
parser.sendMsg()
logf.close()
print 'end ------- total time is ' + str(time.time() - begin)
有了这个脚本,那么我们任何的应用无需作逻辑上的改动,不需要改动java代码,只需要修改一下log4j的配置文件即可.可以说和application是完全解耦的.
ahuaxuan的机器是cpu e4400,频率2g,内存2g,硬盘7200转,型号不知,分析8m的日志文件用时1.2s.该脚本可以使用操作系统的cron功能使其定时运行. 比如说10分钟运行一次.
这样,一旦系统出现问题,相关人员可以立刻收到邮件,及时处理,把损失降到最小.
由于ahuaxuan水平所限,文章或者代码中不免有不妥之处,望不吝赐教[/size]
分享到:
- 2008-10-21 17:16
- 浏览 2409
- 评论(0)
- 论坛回复 / 浏览 (0 / 4337)
- 查看更多
相关推荐
NULL 博文链接:https://ahuaxuan.iteye.com/blog/391361
NULL 博文链接:https://ahuaxuan.iteye.com/blog/505124
java反编译器,支持jdk5.0 博文链接:https://ahuaxuan.iteye.com/blog/139493
0.0.0 VScode插件platformIO开发环境的安装[esp32、8266]_̌萌新历险记的博客-CSDN博客.mhtml
五一数学建模
人工智能大模型体验报告3.0 目录 大模型产品测评综述 大模型产品现状与进程 3 .0版本大模型测评规则 大模型厂商整体测评 3.0版本大模型综合指数 3.0版本 测评细分维度指数及评述 测评题目展示 厂商最佳实践案例 厂商优秀案例展示 人工 智能大模型体验报告3.0.pdf (1.39 MB, 需要: RMB 9 元)
使用opencv进行人脸识别和对比-python源码.zip
触屏版自适应手机wap软件网站模板 触屏版自适应手机wap软件网站模板
基于matlab实现的GST模型的红外弱小目标检测代码.rar
LMDI(对数平均迪氏指数法)目前在能源消耗、碳排放等领域应用很多,总体来说并不 是一个很难的方法,但是相应的资料、步骤还是比较少。本人在写论文的时候,通过搜集资 料、研究,找到了stata的实现方法,来自于 Kerry Du老师写的一个模块l dmi,网址为: LMDI: Stata module to compute L ogarithmic Mean Divisia Index (LMDI) Dec omposition (repec.org) 大家可以自己去研究一下。对应的参考 文献就是Ang, B.W., 2005. The LMDI approach t odecomposition analysis: a practical gui de. Energy Policy 33, 867–871. 目前LMDI分解基 本都以这篇文献为参考,论坛里也有,大家可以下载去深入研究一下,总体并不难。 但是 对于LMDI方法的解读以及stata实现的步骤、过程,目前基本没有具体的中文资料 。 本文在写论文的过程中,进行了总结,现上传上来供大家参考,里面包括stata的 程序文件(ado
IEC 60695-11-2-2017 第11-2部分:试验火焰——1kW标称预混合火焰——装置、验证试验安排和指南.pdf
基于matlab实现的拉普拉斯金字塔分解 做毕业设计的可以参考,小波变换以及MGA的初级参考.rar
本文档是课题研究的研究报告内含调研以及源码设计以及结果分析
Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
制造企业数字化转型ERP与CRM系统集成定位及场景构建方案.pptx
触屏版自适应手机wap软件网站模板 触屏版自适应手机wap软件网站模板
【课程设计全套资料】基于JAVA的管理系统
IEC 60730-2-13-2017.pdf
机械设计谷物洗涤机sw12非常好的设计图纸100%好用.zip
2000—2022年东中西分区域空间权重矩阵,省级层面,具体包括01矩阵,经济矩 阵,地理矩阵,经济地理矩阵以及经济地理嵌套矩阵,包含原始数据和计算过程,经济地理 权重矩阵采用2000-2022年数据,可以更改研究期间,里面有计算过程,地理距离 是用的欧式距离,如有疑问可与我私聊哈,大家放心下载。