服务器日志分析工具,日志分析产品日志易与开源系统ELK相比,有什么优势

应用性能管理系统 APM (Application Performance Management)与网络性能管理系统 NPM(Network Performance Management)都属于ITOA(IT Operation Analytics)备案域名服务器日志分析工具。APM 监控特定软件系统的性能和可用性,传统的 APM 通过在代码嵌入代理获取代理数据(Agent Data),或通过探针数据(Probe Data),监控和检测异常来分析应用程序的性能;NPM 通过网络通信数据(Wire Data)监控系统性能。如前面所述,这些数据来源各有利弊。日志的价值在于它们无处不在:应用程序,操作系统,数据库,甚至硬件都生成日志。日志分析产品不需要在这些系统嵌入插件,只需要采集这些系统的日志就能做分析,非常方便。APM 或 NPM 系统也需要依赖日志分析获得更全面的系统信息,日志分析平台可作为 APM 或 NPM 系统的补充,提供更全面、准确的应用性能监控及网络性能监控。目前主流的海量日志分析工具:开源的有ELK,收费的:国外的有Splunk、Sumologic。国内有日志易等。服务器日志分析工具,日志分析产品日志易与开源系统ELK相比,有什么优势回答在部署状态页面点击查看日志,将会打开日志页面,下个图就是日志的输出页面。简约时尚小清新的日志页面出来了,是不是很想一个terminal,有没有觉得俺弄的页面很漂亮。哈哈哈哈,写不好前端的运维不是好DBA。刚开始拿到这个需求,咋觉得很难。因为在服务器上我们看一个日志,经常会tail -f 看着刷屏的感觉倍爽。如何在web页面上实现tailf的效果呢?后来想想这样实现是可行的。前端写一个js定时器,不断的发ajax请求到后台,每回取出一段日志。后台取日志可以直接调用系统命令,或者直接调取shell脚本,取日志,判断日志文件是否存在,是否为空,返回数据的起始位置等,都可以交给shell来做。事实上我就是这么干的。后台程序写一堆shell命令调用有点别扭。想到解决方案之后,实现的过程就比较简单了。我的开发环境是基于python的Django框架来做的,现在就展示这个功能的实现过程。Django部分点击查看日志的链接之后会调到views里的ajxGetLog方法,该方法需要两个参数,项目id和主机id,这两个参数主要是用来确定日志文件的位置。该方法返回行号。execcommand是封装的一个subprocess.Popen的一个工具函数,返回一个列表分别是标准输出,错误输出和shell returncodedef ajxGetLog(request,pid,hid):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename])#如果错误输出不为空,直接返回错误输出if not res[1]:try:#res[0]为行号,如果大于20行,从当前行的上面20行开始输出,为了用户体验,你懂得if int(res[0]) > 20:line = int(res[0]) – 20if int(res[0]) == 0:line = 1return render(request,’logs.html’,{‘pid':pid,’hid':hid,’line':line})except Exception,e:print ereturn (e)else:return (res[1])html部分首席写一个ajax请求,传递到后台取日志内容的方法,传递三个参数项目id,主机id,和行号,后台将会返回对应行号的日志内容。该方法代码如下:def ajxGetLogHandle(request,pid,hid,line):project = Project.objects.get(pk=pid)host = Host.objects.get(pk=hid)scriptname = ‘%s%s’%(base_path,’get_log.sh’)res = execcommand([‘sh’,scriptname,host.hostname,project.servicename,line])if not res[1] and res[0].strip():return (res[0])else:return (500)


本文出自快速备案,转载时请注明出处及相应链接。

本文永久链接: https://www.xiaosb.com/beian/22210/