CN110113224B - 容量监控方法、装置、计算机设备及存储介质 - Google Patents

容量监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110113224B
CN110113224B CN201910208505.XA CN201910208505A CN110113224B CN 110113224 B CN110113224 B CN 110113224B CN 201910208505 A CN201910208505 A CN 201910208505A CN 110113224 B CN110113224 B CN 110113224B
Authority
CN
China
Prior art keywords
capacity
log
time
preset
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910208505.XA
Other languages
English (en)
Other versions
CN110113224A (zh
Inventor
何勇彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201910208505.XA priority Critical patent/CN110113224B/zh
Publication of CN110113224A publication Critical patent/CN110113224A/zh
Application granted granted Critical
Publication of CN110113224B publication Critical patent/CN110113224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882Utilisation of link capacity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种容量监控方法、装置、计算机设备及存储介质,所述方法包括:使用预设的压力测试方式对监控对象进行测试,得到监控对象的容量峰值,根据容量峰值设置监控对象的容量阈值,使用预设的监控工具对监控对象的容量进行检测,实时获取监控对象的实时容量数据,在检测到实时容量数据超过容量阈值时,获取监控对象的实时访问日志,若实时访问日志对应的响应时间大于预设的响应时间阈值,则进行异常容量告警,并对预设的日志库中的日志文件进行清理。本发明实施例能够实现对服务器的容量的自动监测,提高对服务器的容量的维护效率,从而提高应用***中服务器的容量监控的智能水平。

Description

容量监控方法、装置、计算机设备及存储介质
技术领域
本发明涉及***监控技术领域,尤其涉及一种***监控方法、装置、计算机设备及存储介质。
背景技术
随着网络技术的高速发展,移动互联网中各式各样的应用增长迅猛,为人们的生活带来了许多便利,与此同时,用户对应用***的服务响应速度,以及服务的稳定性的要求也越来越高。在应对数量巨大的用户群体时,服务商为了保证服务器的正常运行,能够给用户提供正常的访问服务,必须保证应用***的服务器的容量充足,若服务器的内存容量或者磁盘容量不足,则会导致应用***的服务出现异常,无法为用户提供正常的访问服务。
目前,服务商一般是根据接收到的用户反馈的应用***的性能问题,或者某台服务器由于自身容量不足发出的告警信息,发现应用***的服务器的容量不足的异常,并通知工作人员对服务器的异常进行核实和维护,然而,在这两种情况下,均需要花费人力资源进行处理服务器的容量不足的异常,并且,应用***已经处于容量不足的状态,应用***的服务状态将受到影响,导致应用***无法提供正常的访问服务。
发明内容
本发明实施例中提供一种容量监控方法、装置、计算机设备及存储介质,以解决目前对应用***中服务器的容量监控不及时以及监控智能水平低的问题。
一种容量监控方法,包括:
使用预设的压力测试方式对监控对象进行测试,得到所述监控对象的容量峰值,并根据所述容量峰值设置所述监控对象的容量阈值;
使用预设的监控工具对所述监控对象的容量进行检测,实时获取所述监控对象的实时容量数据;
若检测到所述实时容量数据超过所述容量阈值,则从预设的日志库中,获取所述监控对象的实时访问日志,其中,所述实时访问日志包括实时访问请求和所述实时访问请求的响应时间;
若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警;
使用预设的处理方案对所述预设的日志库中的日志文件进行清理。
一种容量监控装置,包括:
压力测试模块,用于使用预设的压力测试方式对监控对象进行测试,得到所述监控对象的容量峰值,并根据所述容量峰值设置所述监控对象的容量阈值;
容量检测模块,用于使用预设的监控工具对所述监控对象的容量进行检测,实时获取所述监控对象的实时容量数据;
日志获取模块,用于若检测到所述实时容量数据超过所述容量阈值,则从预设的日志库中,获取所述监控对象的实时访问日志,其中,所述实时访问日志包括实时访问请求和所述实时访问请求的响应时间;
异常告警模块,用于若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警;
日志清理模块,用于使用预设的处理方案对所述预设的日志库中的日志文件进行清理。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述容量监控方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述容量监控方法。
上述容量监控方法、装置、计算机设备及存储介质,通过使用预设的压力测试方式对监控对象进行测试,得到监控对象的容量峰值,确定应用***的服务器所能提供的最大服务性能,并根据容量峰值设置监控对象的容量阈值,提高设置的容量阈值的准确性,使用监控工具对监控对象的容量进行监控,实时获取监控对象的实时容量数据,实现对服务器的容量的自动监测,当检测到实时容量数据超过容量阈值时,从预设的日志库中,获取监控对象的实时访问日志,使用实时访问日志对应的响应时间与预设的响应时间阈值进行进一步地对比,并在实时访问日志对应的响应时间大于预设的响应时间阈值的情况下,发出异常容量告警的信息,及时发现服务器的容量出现的异常,提高容量异常告警的及时性和准确性,同时,使用预设的处理方案对日志库中的日志文件进行清理,释放服务器的内存空间,提高对服务器的容量的维护效率,从而提高应用***中服务器的容量监控的智能水平。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中容量监控方法的一应用环境示意图;
图2是本发明一实施例中容量监控方法的一流程图;
图3是本发明一实施例中容量监控方法中对日志文件进行清理的一具体流程图;
图4是本发明一实施例中容量监控方法中对监控对象进行扩容的一具体流程图;
图5是本发明一实施例中容量监控方法中获取响应时间阈值的一具体流程图;
图6是本发明一实施例中容量监控方法中计算响应时间阈值的一具体流程图;
图7是本发明一实施例中容量监控装置的一原理框图;
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供的容量监控方法,可应用在如图1的应用环境中,该应用环境包括服务端和监控对象,其中,服务端和监控对象之间通过网络进行连接,服务端通过网络对监控对象的容量进行监控,服务端若监控到监控对象的容量出现异常,则进行异常告警,并对监控对象的日志文件进行清理。监控对象具体可以但不限于是各种个人计算机、笔记本电脑和服务器,服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本发明实施例提供的容量监控方法应用于服务端。
在一实施例中,图2示出本实施例中容量监控方法的一流程图,该方法应用在图1中的服务端,用于对监控对象的容量进行监控和告警。如图2所示,该容量监控方法包括步骤S10至步骤S50,详述如下:
S10:使用预设的压力测试方式对监控对象进行测试,得到监控对象的容量峰值,并根据容量峰值设置监控对象的容量阈值。
在本实施例中,监控对象是指应用***中提供访问、存储等功能的服务器或者服务器集群,容量是指监控对象正常运行所需的各种软硬件资源,具体包括但不限于CPU资源、内存容量和磁盘容量,压力测试是用于评估应用***的性能、可靠性和稳定性的一种软件测试方式,通过压力测试能够确定应用***所能提供的最大的服务性能。
具体地,预设的压力测试方式是指,通过使用测试软件模拟应用***的实际应用环境,并运行测试软件模拟用户访问监控对象的过程的***负荷,对监控对象进行测试,直到模拟的应用***崩溃为止。获取应用***崩溃时监控对象对应的容量,并将该容量作为监控对象的容量峰值,其中,容量峰值包括但不限于CPU资源峰值、内存容量峰值和磁盘容量峰值,实际应用环境包括硬件环境和软件环境,测试软件具体可以是压测工具JMeter,也可以是压测工具Tsung等,具体的测试软件可以根据实际应用的需要进行设置,此处不做限制。
优选地,预设的压力测试方式可以使用压测工具JMeter对监控对象进行测试,该压测工具JMeter是一种开源的压测产品,可以用于测试应用***的静态资源和动态资源,以及对服务器、网络或对象模拟巨大的负载等,通过设置对监控对象访问的重复次数和并发度,使用压测工具JMeter对监控对象进行压力测试,可以得出监控对象所能提供的最大的服务性能。
具体地,容量阈值是根据得到的容量峰值进行设置的,该容量阈值具体可以包括但不限于CPU资源使用率阈值、内存容量阈值和磁盘容量阈值,并且每个容量阈值小于对应的容量峰值,若监控对象的容量超过该容量阈值,则表示监控对象出现容量不足的异常,该容量阈值具体可以设置为容量峰值的90%,也可以设置为容量峰值的85%,此处不做限制,具体可以根据实际应用的需要进行设置,例如,容量阈值可以根据监控对象的容量异常的维护时间进行确定,容量异常的维护时间越短,容量阈值可以设置得越大。
S20:使用预设的监控工具对监控对象的容量进行检测,实时获取监控对象的实时容量数据。
具体地,服务端可以使用Ganglia或者Zabbix等监控工具对监控对象进行监控,实时获取监控对象的实时容量数据,该实时容量数据包括服务器标识信息、监控时间和监测值,服务器标识信息能够对应用***中的服务器进行唯一标识。
其中,Ganglia是一个开源的集群监视项目,可以用于监测大量监控节点的工作状态,Zabbix是一个基于WEB界面的提供分布式***监视以及网络监视功能的企业级的开源项目。
可选地,服务端可以将获取到的实时容量数据存储于预设的容量信息库中,以便服务端能够从预设的容量信息库中获取监控对象的监控到容量数据进行分析。
S30:若检测到实时容量数据超过容量阈值,则从预设的日志库中,获取监控对象的实时访问日志,其中,该实时访问日志包括实时访问请求和实时访问请求的响应时间。
在本实施例中,预设的日志库是用于存储监控对象的访问日志的数据库,访问日志用于记录用户对监控对象发起的请求内容以及监控对象响应客户端的请求所消耗的响应时间,实时访问日志包括但不限于实时访问请求和实时访问请求的响应时间,实时访问请求是指用户向监控对象提交的请求内容,实时访问请求的响应时间是指监控对象从接收访问请求到完成请求内容的响应所消耗的时长。
具体地,服务端使用监控到的实时容量数据与监控对象的容量阈值进行对比,若检测到实时容量数据超过容量阈值,则表示监控对象将出现容量不足的异常,服务端从预设的日志库中获取监控对象的实时访问日志,获取与实时容量数据处于同一时间点的实时访问日志,对监控对象的服务状态进行进一步地分析,以便确认在实时容量数据超过容量阈值的情况下,监控对象是否还能够提供正常的访问服务。
S40:若实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警。
在本实施例中,使用实时访问请求的响应时间与预设的响应时间阈值进行对比,若实时访问日志的响应时间大于预设的响应时间阈值,则确认监控对象的容量出现不足的异常情况,服务端根据实时容量数据中的服务器标识信息和监测值生成异常容量告警的告警信息,其中,告警信息包括异常对象、异常项名和异常数据等,该异常对象是指出现容量不足的监控对象的IP地址,该异常项目是指出现容量不足的项目名称,该异常数据是指超过容量阈值的实时容量数据。
具体地,将告警信息发送到预设的信息接收地址中,发出异常容量告警的告警信息,以使工作人员根据实时容量数据中的服务器标识,确定出现容量不足的监控对象,并且能够根据实时流量数据中的测量值进行问题定位,其中,该信息接收地址可以是邮件接收地址,也可以是短信接收地址等。
S50:使用预设的处理方案对预设的日志库中的日志文件进行清理。
在本实施例中,预设的日志库中的日志文件包括但不限于访问日志、安全日志、***日志、DNS服务日志、FTP连接日志和HTTP事务日志等,预设的处理方案是用于对监控对象的日志文件进行清理的方案,将预先设置的待清理日志删除,用释放监控对象的存储空间。
其中,待清理日志具体可以根据日志文件的重要性程度进行设置,例如,FTP连接日志的重要性程度较低,可以将FTP连接日志设置为待清理日志。或者,待清理日志也可以根据日志文件的存储时间进行设置,例如,将存储时间大于一周的日志文件设置为待清理日志,具体的待清理日志可以根据实际应用的需要进行设置,此处不做限制。
可以理解的是,在应用***中,提供web访问的监控对象每天产生的日志量非常大,监控对象出现的容量不足的异常情况一般是由于日志的存储量过大造成,若不及时对日志文件进行清理,则将影响监控对象的磁盘容量。
在图2对应的实施例中,通过使用预设的压力测试方式对监控对象进行测试,得到监控对象的容量峰值,确定应用***的监控对象所能提供的最大服务性能,并根据容量峰值设置监控对象的容量阈值,提高设置的容量阈值的准确性,使用监控工具对监控对象的容量进行监控,实时获取监控对象的实时容量数据,实现对监控对象的容量的自动监测,当检测到实时容量数据超过容量阈值时,从预设的日志库中,获取监控对象的实时访问日志,使用实时访问日志对应的响应时间与预设的响应时间阈值进行进一步地对比,并在实时访问日志对应的响应时间大于预设的响应时间阈值的情况下,发出异常容量告警的信息,及时发现监控对象的容量异常,提高容量异常告警的准确性,同时,使用预设的处理方案对日志库中的日志文件进行清理,释放监控对象的内存空间,提高对监控对象的容量的维护效率,从而提高对应用***中监控对象的容量监控的智能水平。
在一实施例中,日志文件包括日志类型和日志时间,本实施例对步骤S50中所提及的使用预设的处理方案对预设的日志库中的日志文件进行清理的具体实现方法进行详细说明。
请参阅图3,图3示出了步骤S50的一具体流程图,详述如下:
S501:根据预设的处理方案确定待处理日志的目标类型。
具体地,待处理日志是指在监控对象中需要进行分类压缩或者删减处理的日志文件,日志文件包括日志类型和日志时间,不同类型的日志文件的文件命名规则不同,日志文件的名称能够对应的标识日志类型,服务端可以根据日志文件的命名确定日志文件的日志类型,其中,目标类型是预设的处理方案中预先设置的日志类型,表示服务端需要对属于该目标类型的日志文件进行清理,待处理日志的目标类型具体可以根据业务的需要进行设置,此处不做限制。
S502:若日志文件的日志类型属于目标类型,则将该日志文件标识为待处理日志。
具体地,遍历查询预设的日志库中的日志文件的日志类型,若日志文件的日志类型属于目标类型,则将该日志文件标识为待处理日志,表示该日志文件需要进行分类压缩或者删除处理。
S503:根据待处理日志的日志时间,确定待处理日志的存储时间。
具体地,日志时间表示日志文件的生成时间,使用当前的时间减去日志文件的生成时间得到待处理日志的存储时间,即表示待处理日志的存储时长。
例如,当前的时间是2015年10月1日1时0分0秒,一待处理日志的日志时间为2015年9月30日1时0分0秒,则待处理日志的存储时间为一日。
S504:将存储时间大于预设的存储时间阈值的待处理日志删除。
具体地,预设的存储时间阈值是待处理日志的存储有效期限,该存储时间阈值具体可以设置为10天,也可以设置为20天,具体可以根据实际应用的需要进行设置,若待处理日志对应的存储时间超过预设的存储时间阈值,服务端则将该待处理日志删除,释放监控对象的存储空间。
S505:对存储时间小于或者等于预设的存储时间阈值的待处理日志进行压缩。
具体地,若存储时间小于或者等于预设的存储时间阈值的待处理日志进压缩,则表示待处理日志处于有效期限内,服务端使用预设的压缩方式对处于有效期限内的待处理日志进行压缩,将同一类型的待处理日志压缩到同一压缩文件中,例如,使用GZIP文件压缩工具对待处理日志进行编码,将待处理日志中存在的重复度、冗余度有效地降低,从而达到数据压缩的目的。
在图3对应的实施例中,通过获取监控对象对应的日志库中的待处理日志,根据待处理日志的日志时间,确定待处理日志的存储时间,并判断待处理日志是否过期,将存储时间大于预设的存储时间阈值的待处理日志删除,从而能够将不重要性的日志文件删除,释放监控对象的存储空间,并对存储时间小于或者等于预设的存储时间阈值的待处理日志进行压缩,节约监控对象的存储空间,提高服务器的容量的维护效率。
在一实施例中,在步骤S50之后,即在使用预设的处理方案对预设的日志库中的日志文件进行清理之后,所述容量监控方法还包括:
采用预设的扩容方案对监控对象进行扩容处理。
具体地,预设的扩容方案是用于对监控对象的容量进行扩充的处理方式,服务端能够采用该预设的扩容方案扩充监控对象的磁盘容量、内容容量或者CPU资源等,提高监控对象的服务性能,例如,通过增加监控对象中的服务器数量、存储磁盘数量、访问带宽数量、或者服务器计算能力等方式对监控对象进行扩容维护,以保证应用***能够为用户提供正常的访问服务。
在本实施例中,通过对监控对象进行扩容处理,及时解决出现的容量不足的异常,提高对监控对象出现的容量不足的异常的维护效率,并且提高应用***的服务性能,使得应用***能够为用户提供正常的访问服务。
在一实施例中,如图4所示,异常容量告警包括磁盘容量告警、内存容量告警和CPU资源告警,本实施例对上述容量监控方法中所提及的采用预设的扩容方案对监控对象进行扩容处理的具体实现方法进行详细说明,详述如下:
S601:若异常容量告警为磁盘容量告警或者内存容量告警,则按照预设的纵向扩容方案对监控对象进行扩容处理。
在本实施例中,异常容量告警包括磁盘容量告警、内存容量告警和CPU资源告警,若服务端生成的异常容量告警为磁盘容量告警或者内存容量告警,则表示监控对象的磁盘容量或者内存容量超过服务端为监控对象设置的容量阈值,服务端可以采用预设的纵向扩容的方案对监控对象进行扩容,例如,当监控对象的磁盘阵列达到存储上限时,可以添加预先配置好的磁盘阵列以扩展监控对象的磁盘容量,提高监控对象的硬件配置,以便提高监控对象的存储容量。
S602:若异常容量告警为CPU资源告警,则按照预设的横向扩容方案对监控对象进行扩容处理。
具体地,若服务端生成的异常容量告警为CPU资源告警,则表示监控对象的CPU资源使用率超过容量阈值,服务端可以采用横向扩容的方案对应用***进行扩容,例如,为应用***增加一台预先配置好的服务器,使用更多的节点服务器支撑更大量的访问请求,从而减轻监控对象的CPU负载压力,提高应用***的访问服务提供能力。
需要说明的是,需要说明的是,步骤S601和步骤S602之间没有必然的先后执行顺序,其也可以是并列执行的关系,此处不做限制。
在图4对应的实施例中,通过检测异常容量告警的具体类型,获取对应的扩容方案对监控对象进行扩容处理,提高监控对象的软硬件配置,并提高对监控对象出现的容量不足的异常的维护效率,使得应用***能够为用户提供正常访问服务,从而应用***的服务性能。
在一实施例中,如图5所示,在步骤S30之后,并且在步骤S40之前,即在所述若检测到实时容量数据超过容量阈值,则从预设的日志库中,获取监控对象的实时访问日志之后,并且在所述若实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警之前,所述容量监控方法还包括:
S31:获取实时访问日志中实时访问请求的访问类型,其中,该访问类型包括静态资源请求和动态资源请求。
在本实施例中,静态资源请求是指,客户端向监控对象发送静态资源请求的访问请求,监控对象从监控对象的内存中获取设计好的HTML(HyperText Markup Language,超文本标记语言)页面返回给客户端。动态资源请求是指,客户端向监控对象发送动态资源请求的访问请求,监控对象需要连接数据库,通过数据库运行处理数据后,将处理得到的内容提交给监控对象,监控对象再将内容转换为HTML页面返回给客户端。
具体地,实时访问日志包括访问请求和访问请求的响应时间,服务端可以对实时访问日志中访问请求的访问类型进行检测,获取实时访问日志的访问类型。
S32:若实时访问请求的访问类型为静态资源请求,则将静态资源请求对应的静态响应时间阈值作为预设的响应时间阈值。
具体地,服务端可以根据监控对象中监控对象的硬件配置信息,设置静态资源请求对应的静态响应时间阈值,监控对象的硬件配置越高,静态资源请求对应的静态响应时间阈值可以设置得越小。服务端可以根据静态响应时间阈值进行区分监控对象能否为静态资源请求提供正常的访问服务,若实时访问请求的访问类型为静态资源请求,则将静态响应时间阈值作为预设的响应时间阈值,用于与实时访问日志中的实时响应时间进行比对。
S33:若实时访问请求的访问类型为动态资源请求,则将动态资源请求对应的动态响应时间阈值作为预设的响应时间阈值。
具体地,服务端可以根据监控对象中监控对象的硬件配置信息,设置动态资源请求对应的动态响应时间阈值,监控对象的硬件配置越高,动态资源请求对应的动态响应时间阈值可以设置得越小。服务端可以根据动态响应时间阈值进行区分监控对象能否为动态资源请求提供正常的访问服务,若实时访问请求的访问类型为动态资源请求,则将动态响应时间阈值作为预设的响应时间阈值,用于与实时访问日志中的实时响应时间进行比对。
在图5对应的实施例中,通过获取实时访问日志中访问请求的访问类型,并根据实时访问日志的访问类型进行获取响应时间阈值,使用获取到的响应时间阈值与实时访问日志中的实时响应时间进行比对,使得对监控对象的实时响应时间进行分析的精确度更高,从而提高异常容量监控的准确性。
在一实施例中,如图6所示,在步骤S31之前,即在获取实时访问日志中实时访问请求的访问类型之前,所述容量监控方法还包括:
S34:从预设的日志库中,获取监控对象的历史访问日志,其中,该历史访问日志包括历史访问请求和历史访问请求的响应时间。
在本实施例中,预设的日志库是用于存储监控对象的访问日志的数据库,服务端可以从预设的日志库中获取历史访问日志,其中,该历史访问日志包括但不限于历史访问请求和历史访问请求的响应时间,历史访问请求是指用户向服务器提交的请求内容,历史访问请求的响应时间是指服务器从接收历史访问请求到完成请求内容的响应所消耗的时长。
S35:获取历史访问请求的访问类型,并将历史访问请求的访问类型为静态资源请求的历史访问日志保存到静态日志集中,以及将历史访问请求的访问类型为动态资源请求的历史访问日志保存到动态日志集中。
具体地,在每个历史访问日志中,服务端对历史访问请求的访问类型进行检测,将历史访问请求的访问类型为静态资源请求的历史访问日志存储到静态日志集中,以及将历史访问请求的访问类型为动态资源请求的历史访问日志存储到动态日志集中,其中,静态日志集和动态日志集均为服务端预先设置的文件存储空间。
S36:计算静态日志集中的历史访问请求的响应时间的平均值,并将计算得到的该平均值作为静态响应时间阈值。
具体地,服务端通过计算静态日志集中的历史访问日志对应的响应时间的平均值,并将计算得到的平均值作为静态资源请求对应的静态响应时间阈值,用于区分服务器能否为静态资源请求提供正常的访问服务。
S37:计算动态日志集中的历史访问请求的响应时间的平均值,并将计算得到的该平均值作为动态响应时间阈值。
具体地,服务端通过计算动态日志集中的历史访问日志对应的响应时间的平均值,并将计算得到的平均值作为动态资源请求对应的动态响应时间阈值,用于区分服务器能否为动态资源请求提供正常的访问服务。
例如,动态日志集中包括五个历史访问日志,并且五个历史访问日志对应的响应时间分别为10S、12S、15S、10S和18S,通过计算得到第二日志集中的历史访问日志的响应时间的平均值为:(10s+12s+15s+10s+18s)÷5=13s,则动态资源请求对应的动态响应时间阈值为13S。
在图6对应的实施例中,通过获取历史访问日志,并根据历史访问日志对应的访问类型进行分类,将访问类型为静态资源请求的历史访问日志存储到静态日志集中,以及将访问类型为动态资源请求的历史访问日志存储到动态日志集中,通过计算静态日志集中的历史访问日志对应的响应时间的平均值,确定静态响应时间阈值,同时,通过计算动态日志集中的历史访问日志的响应时间的平均值,确定动态响应时间阈值,使得访问请求的响应时间阈值的设置更加准确。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种容量监控装置,该容量监控装置与上述实施例中容量监控方法一一对应。如图7所示,该容量监控装置包括:压力测试模块71、容量检测模块72、日志获取模块73、异常告警模块74和日志清理模块75。各功能模块详细说明如下:
压力测试模块71,用于使用预设的压力测试方式对监控对象进行测试,得到监控对象的容量峰值,并根据容量峰值设置监控对象的容量阈值;
容量检测模块72,用于使用预设的监控工具对监控对象的容量进行检测,实时获取监控对象的实时容量数据;
日志获取模块73,用于若检测到实时容量数据超过容量阈值,则从预设的日志库中,获取监控对象的实时访问日志,其中,该实时访问日志包括实时访问请求和实时访问请求的响应时间;
异常告警模块74,用于若实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警;
日志清理模块75,用于使用预设的处理方案对预设的日志库中的日志文件进行清理。
进一步地,日志文件包括日志类型和日志时间,日志清理模块75包括:
类型获取子模块7501,用于根据预设的处理方案确定待处理日志的目标类型;
文件标识子模块7502,用于若日志文件的日志类型属于目标类型,则将该日志文件标识为待处理日志;
时间计算子模块7503,用于根据待处理日志的日志时间,确定待处理日志的存储时间;
日志删除子模块7504,用于将存储时间大于预设的存储时间阈值的待处理日志删除;
日志压缩子模块7505,用于对存储时间小于或者等于预设的存储时间阈值的待处理日志进行压缩。
进一步地,该容量监控装置还包括:
扩容模块76,用于采用预设的扩容方案对监控对象进行扩容处理。
进一步地,异常容量告警包括磁盘容量告警、内存容量告警和CPU资源告警,扩容模块76包括:
纵向扩容子模块761,用于若异常容量告警为磁盘容量告警或者内存容量告警,则按照预设的纵向扩容方案对监控对象进行扩容处理;
横向扩容子模块762,用于若异常容量告警为CPU资源告警,则按照预设的横向扩容方案对监控对象进行扩容处理。
进一步地,该容量监控装置还包括:
日志查询模块731,用于获取实时访问日志中实时访问请求的访问类型,其中,该访问类型包括静态资源请求和动态资源请求;
第一设置模块732,用于若实时访问请求的访问类型为静态资源请求,则将静态资源请求对应的静态响应时间阈值作为预设的响应时间阈值;
第二设置模块733,用于若实时访问请求的访问类型为动态资源请求,则将动态资源请求对应的动态响应时间阈值作为预设的响应时间阈值。
进一步地,该容量监控装置还包括:
数据获取模块734,用于从预设的日志库中,获取监控对象的历史访问日志,其中,该历史访问日志包括历史访问请求和历史访问请求的响应时间;
日志分类模块735,用于获取历史访问请求的访问类型,并将历史访问请求的访问类型为静态资源请求的历史访问日志保存到静态日志集中,以及将历史访问请求的访问类型为动态资源请求的历史访问日志保存到动态日志集中;
第一计算模块736,用于计算静态日志集中的历史访问请求的响应时间的平均值,并将计算得到的该平均值作为静态响应时间阈值;
第二计算模块737,用于计算动态日志集中的历史访问请求的响应时间的平均值,并将计算得到的该平均值作为动态响应时间阈值。
关于容量监控装置的具体限定可以参见上文中对于容量监控方法的限定,在此不再赘述。上述容量监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种容量监控方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中容量监控方法中的步骤,例如图2所示的步骤S10至步骤S50,或者,处理器执行计算机程序时实现上述实施例中容量监控装置的各模块的功能,例如图7所示模块71至模块75的功能。为避免重复,这里不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中容量监控方法中的步骤,例如图2所示的步骤S10至步骤S60,或者,处理器执行计算机程序时实现上述实施例中容量监控装置的各模块的功能,例如图7所示模块71至模块75的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种容量监控方法,其特征在于,所述容量监控方法包括:
使用预设的压力测试方式对监控对象进行测试,得到所述监控对象的容量峰值,并根据所述容量峰值设置所述监控对象的容量阈值;
使用预设的监控工具对所述监控对象的容量进行检测,实时获取所述监控对象的实时容量数据;
若检测到所述实时容量数据超过所述容量阈值,则从预设的日志库中,获取所述监控对象的实时访问日志,其中,所述实时访问日志包括实时访问请求和所述实时访问请求的响应时间;
若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警;
使用预设的处理方案对所述预设的日志库中的日志文件进行清理。
2.如权利要求1所述的容量监控方法,其特征在于,所述日志文件包括日志类型和日志时间,所述使用预设的处理方案对所述预设的日志库中的日志文件进行清理包括:
根据所述预设的处理方案确定待处理日志的目标类型;
若所述日志文件的所述日志类型属于所述目标类型,则将该日志文件标识为所述待处理日志;
根据所述待处理日志的所述日志时间,确定所述待处理日志的存储时间;
将所述存储时间大于预设的存储时间阈值的所述待处理日志删除;
对所述存储时间小于或者等于所述预设的存储时间阈值的所述待处理日志进行压缩。
3.如权利要求1所述的容量监控方法,其特征在于,在所述若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警之后,所述容量监控方法还包括:
采用预设的扩容方案对所述监控对象进行扩容处理。
4.如权利要求3所述的容量监控方法,其特征在于,所述异常容量告警包括磁盘容量告警、内存容量告警和CPU资源告警,所述采用预设的扩容方案对所述监控对象进行扩容处理包括:
若所述异常容量告警为所述磁盘容量告警或者所述内存容量告警,则按照预设的纵向扩容方案对所述监控对象进行扩容处理;
若所述异常容量告警为所述CPU资源告警,则按照预设的横向扩容方案对所述监控对象进行扩容处理。
5.如权利要求1所述的容量监控方法,其特征在于,在所述若检测到所述实时容量数据超过所述容量阈值,则从预设的日志库中,获取所述监控对象的实时访问日志之后,并且在所述若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警之前,所述容量监控方法还包括:
获取所述实时访问日志中所述实时访问请求的访问类型,其中,所述访问类型包括静态资源请求和动态资源请求;
若所述实时访问请求的访问类型为所述静态资源请求,则将所述静态资源请求对应的静态响应时间阈值作为所述预设的响应时间阈值;
若所述实时访问请求的访问类型为所述动态资源请求,则将所述动态资源请求对应的动态响应时间阈值作为所述预设的响应时间阈值。
6.如权利要求5所述的容量监控方法,其特征在于,在所述获取所述实时访问日志中所述实时访问请求的访问类型之前,所述容量监控方法还包括:
从所述预设的日志库中,获取所述监控对象的历史访问日志,其中,所述历史访问日志包括历史访问请求和所述历史访问请求的响应时间;
获取所述历史访问请求的访问类型,并将所述历史访问请求的访问类型为所述静态资源请求的所述历史访问日志保存到静态日志集中,以及将所述历史访问请求的访问类型为所述动态资源请求的所述历史访问日志保存到动态日志集中;
计算所述静态日志集中的所述历史访问请求的所述响应时间的平均值,并将计算得到的该平均值作为所述静态响应时间阈值;
计算所述动态日志集中的所述历史访问请求的所述响应时间的平均值,并将计算得到的该平均值作为所述动态响应时间阈值。
7.一种容量监控装置,其特征在于,所述容量监控装置包括:
压力测试模块,用于使用预设的压力测试方式对监控对象进行测试,得到所述监控对象的容量峰值,并根据所述容量峰值设置所述监控对象的容量阈值;
容量检测模块,用于使用预设的监控工具对所述监控对象的容量进行检测,实时获取所述监控对象的实时容量数据;
日志获取模块,用于若检测到所述实时容量数据超过所述容量阈值,则从预设的日志库中,获取所述监控对象的实时访问日志,其中,所述实时访问日志包括实时访问请求和所述实时访问请求的响应时间;
异常告警模块,用于若所述实时访问请求的响应时间大于预设的响应时间阈值,则进行异常容量告警;
日志清理模块,用于使用预设的处理方案对所述预设的日志库中的日志文件进行清理。
8.如权利要求7所述的容量监控装置,其特征在于,所述日志清理模块包括:
类型获取子模块,用于根据所述预设的处理方案确定待处理日志的目标类型;
文件标识子模块,用于若所述日志文件的日志类型属于所述目标类型,则将该日志文件标识为所述待处理日志;
时间计算子模块,用于根据所述待处理日志的日志时间,确定所述待处理日志的存储时间;
日志删除子模块,用于将所述存储时间大于预设的存储时间阈值的所述待处理日志删除;
日志压缩子模块,用于对所述存储时间小于或者等于所述预设的存储时间阈值的所述待处理日志进行压缩。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述容量监控方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述容量监控方法。
CN201910208505.XA 2019-03-19 2019-03-19 容量监控方法、装置、计算机设备及存储介质 Active CN110113224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910208505.XA CN110113224B (zh) 2019-03-19 2019-03-19 容量监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910208505.XA CN110113224B (zh) 2019-03-19 2019-03-19 容量监控方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110113224A CN110113224A (zh) 2019-08-09
CN110113224B true CN110113224B (zh) 2022-08-09

Family

ID=67484403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910208505.XA Active CN110113224B (zh) 2019-03-19 2019-03-19 容量监控方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110113224B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737593B (zh) * 2019-09-19 2022-03-29 平安科技(深圳)有限公司 智能容量管理方法、装置及存储介质
CN110908964B (zh) * 2019-10-18 2023-08-18 平安科技(深圳)有限公司 分布式文件***的监控方法、装置、终端及存储介质
CN111162965A (zh) * 2019-12-17 2020-05-15 杭州迪普科技股份有限公司 监控Buffer的方法和装置
CN111181812B (zh) * 2020-01-03 2022-04-08 四川新网银行股份有限公司 基于网络流量的链路故障检测方法
CN111651170B (zh) * 2020-05-29 2022-11-08 深圳平安医疗健康科技服务有限公司 一种实例动态调整方法、装置及相关设备
CN112732999B (zh) * 2021-01-21 2023-06-09 建信金融科技有限责任公司 静态容灾方法、***、电子设备及存储介质
CN112965658A (zh) * 2021-02-04 2021-06-15 许亮 一种磁盘io处理方法及***
CN113434135B (zh) * 2021-06-28 2023-06-16 青岛海尔科技有限公司 接口的调用重复度确定方法和装置、存储介质及电子装置
CN113630327B (zh) * 2021-10-12 2022-02-18 北京每日优鲜电子商务有限公司 流量控制方法、装置、电子设备和计算机可读介质
CN113900906A (zh) * 2021-10-28 2022-01-07 北京达佳互联信息技术有限公司 日志容量确定方法、装置、电子设备及存储介质
CN117112331A (zh) * 2023-08-30 2023-11-24 贝壳找房(北京)科技有限公司 压测提示的生成方法、电子设备、存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817253A (zh) * 2017-01-04 2017-06-09 郑州云海信息技术有限公司 日志文件的实时监控及报警的方法和***
CN107241229A (zh) * 2017-07-03 2017-10-10 北京奇安信科技有限公司 一种基于接口测试工具的业务监控方法及装置
CN108234199A (zh) * 2017-12-20 2018-06-29 中国联合网络通信集团有限公司 基于Kafka的监控方法、装置及***
CN108255884A (zh) * 2016-12-29 2018-07-06 大唐移动通信设备有限公司 一种omc的日志信息的数据处理方法和装置
CN109284267A (zh) * 2018-09-26 2019-01-29 深圳壹账通智能科技有限公司 基于异常监控的日志管理方法及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171491B2 (en) * 2014-12-09 2019-01-01 Fortinet, Inc. Near real-time detection of denial-of-service attacks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255884A (zh) * 2016-12-29 2018-07-06 大唐移动通信设备有限公司 一种omc的日志信息的数据处理方法和装置
CN106817253A (zh) * 2017-01-04 2017-06-09 郑州云海信息技术有限公司 日志文件的实时监控及报警的方法和***
CN107241229A (zh) * 2017-07-03 2017-10-10 北京奇安信科技有限公司 一种基于接口测试工具的业务监控方法及装置
CN108234199A (zh) * 2017-12-20 2018-06-29 中国联合网络通信集团有限公司 基于Kafka的监控方法、装置及***
CN109284267A (zh) * 2018-09-26 2019-01-29 深圳壹账通智能科技有限公司 基于异常监控的日志管理方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
磁盘容量远程监控程序的设计与实现;张乐君;《铁路计算机应用》;20150325(第03期);全文 *

Also Published As

Publication number Publication date
CN110113224A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110113224B (zh) 容量监控方法、装置、计算机设备及存储介质
CN109522287B (zh) 分布式文件存储集群的监控方法、***、设备及介质
CN110995468B (zh) 待分析***的***故障处理方法、装置、设备和存储介质
CN106886485B (zh) ***容量分析预测方法及装置
CN111143163B (zh) 数据监控方法、装置、计算机设备和存储介质
CN110149421B (zh) 域名***的异常监测方法、***、装置和计算机设备
CN111193608B (zh) 网络质量探测监控方法、装置、***和计算机设备
WO2020151358A1 (zh) ***资源分配方法、装置、计算机设备和存储介质
CN110674149B (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN113704018A (zh) 应用运维数据处理方法、装置、计算机设备及存储介质
CN113419950A (zh) Ui自动化脚本的生成方法、装置、计算机设备及存储介质
CN111835583B (zh) 物联网产品的属性巡检方法、装置和计算机设备
CN111756594B (zh) 压力测试的控制方法、计算机设备和计算机可读存储介质
CN109656707B (zh) 计量数据采集方法、装置、计算机设备和存储介质
CN110838940A (zh) 地下电缆巡检任务配置方法和装置
CN110521233B (zh) 标识中断的方法、接入点、远程配置的方法、***和介质
CN114528179B (zh) 数据采集程序状态监控方法、装置、设备及存储介质
CN114385498A (zh) 性能测试方法、***、计算机设备及可读存储介质
CN116230067A (zh) 一种固态硬盘自动化测试方法、***、设备及介质
CN115442225A (zh) 埋点日志上报方法和装置以及埋点质量监控方法和装置
RU2646388C1 (ru) Способ мониторинга безопасности автоматизированных систем
CN111274112B (zh) 应用程序压测方法、装置、计算机设备和存储介质
KR102418892B1 (ko) 신뢰구간에 기반한 에너지 절감 방법 및 이를 이용한 장치
CN113419852A (zh) 微服务的请求响应方法、装置、设备及存储介质
US9054954B2 (en) Determining false alarms in an IT application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant