CN111639011B - 一种数据监控方法、装置及设备 - Google Patents
一种数据监控方法、装置及设备 Download PDFInfo
- Publication number
- CN111639011B CN111639011B CN202010530114.2A CN202010530114A CN111639011B CN 111639011 B CN111639011 B CN 111639011B CN 202010530114 A CN202010530114 A CN 202010530114A CN 111639011 B CN111639011 B CN 111639011B
- Authority
- CN
- China
- Prior art keywords
- preset
- data
- alarm
- service
- service index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Alarm Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例公开了一种数据监控方法、装置及设备,所述方法包括:基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线;基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种数据监控方法、装置及设备。
背景技术
随着计算机技术的不断发展,服务提供商可以为用户提供的服务种类越来越多,随之而来的用户量也日益庞大,如何对当前场景下的用户业务指标数据进行监控,已经成为服务提供商关注的焦点。
目前,可以通过人工设定告警基线的方式,对业务场景下的业务指标数据进行监控和告警,例如,针对核身收银台场景下的校验量(如成功校验量),可以通过专家经验设置对应的告警基线,如设置的告警基线可以为自然日24小时内,每个时间点对应的告警阈值都为a,如果检测到当前的成功校验量小于a,则发出告警。
但是,由于业务指标的数量较大,通过人工设定告警基线的方式会使得人工成本升高,设置准确率低,设置效率下降,监控效率低下。因此,需要提供一种更高监控效率和监控准确性的数据监控方案。
发明内容
本说明书实施例的目的是提供一种数据监控方法、装置及设备,以提供一种能提高监控效率和监控准确性的数据监控方案。
为了实现上述技术方案,本说明书实施例是这样实现的:
第一方面,本说明书实施例提供的一种数据监控方法,所述方法包括:基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
第二方面,本说明书实施例提供了一种数据监控装置,所述装置包括:数据获取模块,用于基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;数据处理模块,用于对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;基线获取模块,用于对所述处理后的频率分布进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;数据监控模块,用于基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
第三方面,本说明书实施例提供了一种数据监控设备,所述数据监控设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一种数据监控方法实施例的流程图;
图2为本说明书一种告警基线的示意图;
图3为本说明书又一种数据监控方法实施例的流程图;
图4为本说明书又一种数据监控装置实施例的结构示意图;
图5为本说明书一种数据监控设备的结构示意图。
具体实施方式
本说明书实施例提供一种数据监控方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1所示,本说明书实施例提供一种数据监控方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以是宿主程序的终端设备,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在S102中,基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据。
其中,业务***可以是为用户提供预设业务服务的***,例如,业务***可以是为用户提供转账服务、支付服务等业务服务的***,日志数据可以包括用户在使用业务***提供的业务服务时产生的行为数据以及对应的时间数据,预设业务场景可以是为用户提供预设业务服务的场景,预设业务指标可以是在预设业务场景下的任意业务指标,例如,假设预设业务场景是提供转账服务的场景,预设业务指标可以包括对用户进行身份核验的校验量(包括校验成功量和校验失败量)、用户转账金额等指标,历史业务指标数据可以是任意历史时段的业务指标数据,例如,历史业务指标数据可以是近1天的业务指标数据、近3天的业务指标数据、近1周的业务指标数据或已存储的所有业务指标数据等。
在实施中,随着计算机技术的不断发展,服务提供商可以为用户提供的服务种类越来越多,随之而来的用户量也日益庞大,如何对当前场景下的用户业务指标数据进行监控,已经成为服务提供商关注的焦点。
目前,可以通过人工设定告警基线的方式,对业务场景下的业务指标数据进行监控和告警,例如,针对核身收银台场景下的校验量(如成功校验量),可以通过专家经验设置对应的告警基线,如设置的告警基线可以为自然日24小时内,每个时间点对应的告警阈值都为a,如果检测到当前的成功校验量小于a,则发出告警。但是,由于业务指标的数量较大,通过人工设定告警基线的方式会使得人工成本升高,设置准确率低,设置效率下降,监控效率低下。因此,需要提供一种能提高监控效率和监控准确性的数据监控方案。此外,除人工设定告警基线的方式,对业务场景下的业务指标数据进行监控和告警外,还可以通过移动平均算法、指数平均算法等方法,确定告警基线,但是通过移动平均算法确定告警基线,对应突变率比较高的业务场景,存在噪声较大的问题,而指数平均算法则存在计算量较大的问题,对于数据波动频率较低的业务场景,监控准确性差,为此,本说明书实施例提供一种可以解决上述问题的技术方案,具体可以参见下述内容。
以预设业务场景是为用户提供转账服务的场景,预设业务指标可以包括对使用转账服务的用户进行身份核验后得到的校验状态,即校验成功或校验失败,则对应的业务指标数据可以包括校验成功量和校验失败量,历史业务指标数据可以是近1天内每秒钟的校验成功量或校验失败量,也即是每一条历史指标数据对应有一个时间(即历史业务指标数据为时域数据),具体如6月5日15:45:50的校验成功量为100,即100-6月5日15:45:50。
在S104中,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布。
其中,对历史业务指标数据进行频率分析的方法可以有多种,例如,可以通过快速傅里叶变换算法,对历史业务指标数据进行频率分析,也可以通过正弦曲线拟合算法,对历史业务指标数据进行频率分析,或者,也可以通过小波变换方法或希尔伯特变换算法等,对历史业务指标数据进行频率分析,频率分析的方法可以有多种,可以根据实际应用场景的不同而有所不同,本发明实施例对此不作具体限定。
在实施中,通过将历史业务指标数据转换到频率域中(即对历史业务指标数据进行频率分析),在对频率分布进行噪声处理,可以更加准确的去除历史业务指标数据中的噪声,提高告警基线的准确性。
在S106中,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线。
其中,告警基线可以为用于判定是否进行告警的基准数据。
在实施中,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析的处理,可以是将处理后的频率分布再转换为时域上的数据分布,具体的逆向分析方式包括:可以通过上述对历史业务指标数据进行频率分析的方法,对处理后的频率分布的逆向分析,得到对应的告警基线。如可以根据傅里叶逆变换算法,对处理后的频率分布进行时间域的逆向分析,也可以根据小波变换方法,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变化进行逆向分析,又或者,也可以根据正弦曲线拟合算法,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变化进行逆向分析。
在S108中,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。
在实施中,告警基线可以是一个离散时间序列,在该序列上可以有多个时间点,每个时间点可以对应一个告警阈值,例如,如图2所示,告警基线可以是根据近1天的历史业务指标数据生成的离散时间序列,该告警基线可以是以秒为单位的离散时间序列,每个时间点都可以对应有1个告警阈值,例如,如图2所示,与0:00对应的告警阈值可以为50,与19:00对应的告警阈值可以为80,可以根据该告警基线,对业务指标数据进行监控。例如,假设当前时间点为19:00,则对应的告警阈值为80,如果当前业务指标数据为85,大于该告警阈值,则可以确定当前业务指标数据存在异常。
本说明书实施例提供一种数据监控方法,通过基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线,告警基线为用于判定是否进行告警的基准数据,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。这样,可以通过对历史业务指标数据的处理,得到对应的告警基线,并对当前业务指标数据进行监控,避免了由于人工设定告警基线的方式导致的工作量大、准确性差的问题,即可以提高告警基线的确定效率及确定准确性,以提高监控效率和监控准确性。
实施例二
如图3所示,本说明书实施例提供一种数据监控方法,该方法的执行主体可以为终端设备或服务器,其中,该终端设备可以是宿主程序的终端设备,该终端设备可以如个人计算机等设备,也可以如手机、平板电脑等移动终端设备,该服务器可以是独立的服务器,也可以是由多个服务器组成的服务器集群。该方法具体可以包括以下步骤:
在S302中,获取预设时间段内,业务***中产生的,与预设业务场景对应的日志数据。
其中,预设时间段可以是任意时间段,如近1天、近3天或近1周等。
在S304中,针对预设业务指标,获取日志数据中的第一业务指标数据。
在实施中,第一业务指标数据可以是日志数据中与预设业务指标对应的指标数据,每一条第一业务指标数据对应有一个时间(即第一业务指标数据为时域数据),具体如6月6日15:45:40的校验成功量为10,即10-6月6日15:45:40。
在S304中,对第一业务指标数据进行预处理,得到历史业务指标数据。
其中,对第一业务指标数据的预处理,可以包括对第一业务指标数据的缺失值检查处理、缺失值填充处理、数值转换处理等处理。例如,可以将第一业务指标数据中的字符型数据转换为数值型数据,具体如可以将“是”转换为1,将“否”转换为0,即对第一业务指标数据进行数值转换处理。或者,可以根据时间,对第一业务指标数据是否存在缺失值进行检查,即缺失值检查处理。或者,在检查到第一业务指标数据存在缺失值的情况下,如在6月6日15:45:41这一时间点缺少对应的第一业务指标数据,则可以获取6月6日15:45:40这一时间点对应的第一业务指标数据1和6月6日15:45:42这一时间点对应的第一业务指标数据2,并将第一业务指标数据1和第一业务指标数据2的平均值,作为6月6日15:45:41这一时间点对应的第一业务指标数据,即进行缺失值填充处理。
上述预处理是一种可选地、可实现的预处理方式,在实际应用场景中,还可以有多种不同的预处理方式,可以根据实际应用场景的不同而有所不同,本发明实施例对此不作具体限定。
在实施中,可以对历史业务指标数据进行预处理,以提高告警基线确定的准确性。
在S308中,基于快速傅里叶变换算法,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布。
在实施中,可以将每秒钟的校验成功量代入下列公式
得到k个频率分布,其中,X(k)是第k个频率分布,n为第n个时间点(即第n秒),N为傅里叶变换的点数(即N为历史业务指标数据的时间范围,如历史业务指标数据为近1天的数据,且时间点为秒,则N=24*60*60),WN(kn)为复变函数,其中,j为虚部。
在将这k个频率分布进行叠加,得到叠加后的频率分布,并对叠加后的频率分布进行噪声处理,得到处理后的频率分布。
在S310中,通过低通滤波算法,对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布。
其中,低通滤波算法可以包括多种,例如一阶低通滤波算法、二阶低通滤波算法等,本实施例中的低通滤波算法可以采用一阶低通滤波算法。
在实施中,可以通过一阶低通滤波算法,去除预设业务指标对应的频率分布中的噪声,以减少后续处理的工作量,并提高告警基线确定的准确性。
此外,在实际应用中,低通滤波算法的选择,除了上述一阶低通滤波算法外,还可以通过其它多种低通滤波算法实现,可以根据实际应用场景的不同而有所不同,本发明实施例对此不做具体限定。
在S312中,基于傅里叶逆变换算法和处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线。
在实施中,可以将处理后的频率分布转换为k个频率分布,然后将这k个频率分布代入下列公式
得到每个时间点上的告警数据点,并由这n个告警数据点,确定对应的告警基线。
在S314中,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。
在实施中,在监控到业务***中预设业务指标的当前业务指标数据,不符合告警基线对应的预设范围的情况下,可以输出预设告警信息。例如,如图2所示的告警基线,如果当前业务指标数据超出对应时间点上的告警阈值(即不符合告警基线对应的预设范围),可以认为当前业务指标数据存在异常,可以输出预设告警信息。
其中,告警信息可以包括用于提示服务提供商当前存在异常业务指标数据的信息,告警信息还可以包括用于提示用户当前使用的业务存在异常的信息等。
此外,可以获取与不符合告警基线对应的预设范围的当前业务指标数据对应的用户设备,向用户设备,输出预设告警信息。
例如,可以获取用户设备中安装的应用程序信息,基于应用程序信息,确定用于输出预设告警信息的即时通讯应用,并通过即时通讯应用,输出预设告警信息。如,可以通过用户设备中安装的应用程序信息,确定可以输出预设告警信息的应用程序,如即时通讯应用,并通过确定的一个或多个即时通讯应用,向用户输出预设告警信息。
此外,还可以通过短消息和/或电子邮件的方式,向用户设备,输出预设告警信息。
本说明书实施例提供一种数据监控方法,通过基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线,告警基线为用于判定是否进行告警的基准数据,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。这样,可以通过对历史业务指标数据的处理,得到对应的告警基线,并对当前业务指标数据进行监控,避免了由于人工设定告警基线的方式导致的工作量大、准确性差的问题,即可以提高告警基线的确定效率及确定准确性,以提高监控效率和监控准确性。
实施例三
以上为本说明书实施例提供的数据监控方法,基于同样的思路,本说明书实施例还提供一种数据监控装置,如图4所示。
该数据监控装置包括:数据获取模块401、数据处理模块402、基线获取模块403和数据监控模块404,其中:
数据获取模块401,用于基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;
数据处理模块402,用于对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;
基线获取模块403,用于基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;
数据监控模块404,用于基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
本说明书实施例中,所述数据处理模块402,用于:
基于快速傅里叶变换算法,对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布;
所述基线获取模块403,用于:
基于傅里叶逆变换算法和所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线。
本说明书实施例中,所述数据获取模块401,用于:
获取预设时间段内,所述业务***中产生的,与所述预设业务场景对应的日志数据;
针对所述预设业务指标,获取所述日志数据中的第一业务指标数据;
对所述第一业务指标数据进行预处理,得到所述历史业务指标数据。
本说明书实施例中,所述数据处理模块402,用于:
通过低通滤波算法,对所述预设业务指标对应的频率分布进行噪声处理,得到所述处理后的频率分布。
本说明书实施例中,所述装置,还包括:
信息输出模块,用于在监控到所述业务***中所述预设业务指标的当前业务指标数据,不符合所述告警基线对应的预设范围的情况下,输出预设告警信息。
本说明书实施例中,所述信息输出模块,用于:
获取与所述不符合所述告警基线对应的预设范围的当前业务指标数据对应的用户设备;
向所述用户设备,输出所述预设告警信息。
本说明书实施例中,所述信息输出模块,用于:
获取所述用户设备中安装的应用程序信息;
基于所述应用程序信息,确定用于输出预设告警信息的即时通讯应用,并通过所述即时通讯应用,输出所述预设告警信息。
本说明书实施例中,所述信息输出模块,用于:
通过短消息和/或电子邮件的方式,向所述用户设备,输出所述预设告警信息。
本说明书实施例提供一种数据监控装置,通过基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线,告警基线为用于判定是否进行告警的基准数据,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。这样,可以通过对历史业务指标数据的处理,得到对应的告警基线,并对当前业务指标数据进行监控,避免了由于人工设定告警基线的方式导致的工作量大、准确性差的问题,即可以提高告警基线的确定效率及确定准确性,以提高监控效率和监控准确性。
实施例四
基于同样的思路,本说明书实施例还提供一种数据监控设备,如图5所示。
所述数据监控设备可以为上述实施例提供的终端设备或服务器。
数据监控设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器501和存储器502,存储器502中可以存储有一个或一个以上存储应用程序或数据。其中,存储器502可以是短暂存储或持久存储。存储在存储器502的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对数据监控设备中的一系列计算机可执行指令。更进一步地,处理器501可以设置为与存储器502通信,在数据监控设备上执行存储器502中的一系列计算机可执行指令。数据监控设备还可以包括一个或一个以上电源503,一个或一个以上有线或无线网络接口504,一个或一个以上输入输出接口505,一个或一个以上键盘504。
具体在本实施例中,数据监控设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对数据监控设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;
对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;
基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;
基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控。
可选地,所述对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,包括:
基于快速傅里叶变换算法,对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布;
所述基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,包括:
基于傅里叶逆变换算法和所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线。
可选地,所述基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,包括:
获取预设时间段内,所述业务***中产生的,与所述预设业务场景对应的日志数据;
针对所述预设业务指标,获取所述日志数据中的第一业务指标数据;
对所述第一业务指标数据进行预处理,得到所述历史业务指标数据。
可选地,所述对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,包括:
通过低通滤波算法,对所述预设业务指标对应的频率分布进行噪声处理,得到所述处理后的频率分布。
可选地,在所述基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控之后,还包括:
在监控到所述业务***中所述预设业务指标的当前业务指标数据,不符合所述告警基线对应的预设范围的情况下,输出预设告警信息。
可选地,所述输出预设告警信息,包括:
获取与所述不符合所述告警基线对应的预设范围的当前业务指标数据对应的用户设备;
向所述用户设备,输出所述预设告警信息。
可选地,所述向所述用户设备,输出所述预设告警信息,包括:
获取所述用户设备中安装的应用程序信息;
基于所述应用程序信息,确定用于输出预设告警信息的即时通讯应用,并通过所述即时通讯应用,输出所述预设告警信息。
可选地,所述向所述用户设备,输出所述预设告警信息,包括:
通过短消息和/或电子邮件的方式,向所述用户设备,输出所述预设告警信息。
本说明书实施例提供一种数据监控设备,通过基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线,告警基线为用于判定是否进行告警的基准数据,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。这样,可以通过对历史业务指标数据的处理,得到对应的告警基线,并对当前业务指标数据进行监控,避免了由于人工设定告警基线的方式导致的工作量大、准确性差的问题,即可以提高告警基线的确定效率及确定准确性,以提高监控效率和监控准确性。
实施例五
本说明书实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述数据监控方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
本说明书实施例提供一种计算机可读存储介质,通过基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,对历史业务指标数据进行频率分析,得到预设业务指标对应的频率分布,并对预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,基于处理后的频率分布,对历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对预设业务指标的告警基线,告警基线为用于判定是否进行告警的基准数据,基于告警基线对业务***中预设业务指标的当前业务指标数据进行监控。这样,可以通过对历史业务指标数据的处理,得到对应的告警基线,并对当前业务指标数据进行监控,避免了由于人工设定告警基线的方式导致的工作量大、准确性差的问题,即可以提高告警基线的确定效率及确定准确性,以提高监控效率和监控准确性。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(FieldProgrammable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 425D、Atmel AT91SAM、Microchip PIC18F24K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、***、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (9)
1.一种数据监控方法,所述方法包括:
基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;
对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;
基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;
基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控;
在监控到所述业务***中所述预设业务指标的当前业务指标数据,不符合所述告警基线对应的预设范围的情况下,获取与所述不符合所述告警基线对应的预设范围的当前业务指标数据对应的用户设备,并通过由所述用户设备中安装的应用程序信息确定的即时通讯应用,输出预设告警信息;
其中,所述告警基线为包含多个时间点的离散时间序列,每个所述时间点对应一个告警阈值,所述基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控,包括:
基于当前时间点和所述告警基线,确定所述当前时间点对应的告警阈值,并基于所述当前时间点对应的告警阈值,对所述当前业务指标数据进行监控。
2.根据权利要求1所述的方法,所述对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,包括:
基于快速傅里叶变换算法,对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布;
所述基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,包括:
基于傅里叶逆变换算法和所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线。
3.根据权利要求1所述的方法,所述基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据,包括:
获取预设时间段内,所述业务***中产生的,与所述预设业务场景对应的日志数据;
针对所述预设业务指标,获取所述日志数据中的第一业务指标数据;
对所述第一业务指标数据进行预处理,得到所述历史业务指标数据。
4.根据权利要求1所述的方法,所述对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布,包括:
通过低通滤波算法,对所述预设业务指标对应的频率分布进行噪声处理,得到所述处理后的频率分布。
5.根据权利要求1所述的方法,所述输出所述预设告警信息,包括:
通过短消息和/或电子邮件的方式,向所述用户设备,输出所述预设告警信息。
6.一种数据监控装置,所述装置包括:
数据获取模块,用于基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;
数据处理模块,用于对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;
基线获取模块,用于基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;
数据监控模块,用于基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控;
信息输出模块,用于在监控到所述业务***中所述预设业务指标的当前业务指标数据,不符合所述告警基线对应的预设范围的情况下,获取与所述不符合所述告警基线对应的预设范围的当前业务指标数据对应的用户设备,并通过由所述用户设备中安装的应用程序信息确定的即时通讯应用,输出预设告警信息;
其中,所述告警基线为包含多个时间点的离散时间序列,每个所述时间点对应一个告警阈值,所述数据监控模块,用于:
基于当前时间点和所述告警基线,确定所述当前时间点对应的告警阈值,并基于所述当前时间点对应的告警阈值,对所述当前业务指标数据进行监控。
7.根据权利要求6所的装置,所述数据处理模块,用于:
基于快速傅里叶变换算法,对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布;
所述基线获取模块,用于:
基于傅里叶逆变换算法,对所述处理后的频率分布进行逆向分析,得到针对所述预设业务指标的告警基线。
8.根据权利要求6所述的装置,所述数据处理模块,用于:
通过低通滤波算法,对所述预设业务指标对应的频率分布进行噪声处理,得到所述处理后的频率分布。
9.一种数据监控设备,所述数据监控设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
基于业务***中产生的日志数据,获取预设业务场景下的预设业务指标的历史业务指标数据;
对所述历史业务指标数据进行频率分析,得到所述预设业务指标对应的频率分布,并对所述预设业务指标对应的频率分布进行噪声处理,得到处理后的频率分布;
基于所述处理后的频率分布,对所述历史业务指标数据的时间域到频率域的变换进行逆向分析,得到针对所述预设业务指标的告警基线,所述告警基线为用于判定是否进行告警的基准数据;
基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控;
在监控到所述业务***中所述预设业务指标的当前业务指标数据,不符合所述告警基线对应的预设范围的情况下,获取与所述不符合所述告警基线对应的预设范围的当前业务指标数据对应的用户设备,并通过由所述用户设备中安装的应用程序信息确定的即时通讯应用,输出预设告警信息;
其中,所述告警基线为包含多个时间点的离散时间序列,每个所述时间点对应一个告警阈值,所述基于所述告警基线对所述业务***中所述预设业务指标的当前业务指标数据进行监控,包括:
基于当前时间点和所述告警基线,确定所述当前时间点对应的告警阈值,并基于所述当前时间点对应的告警阈值,对所述当前业务指标数据进行监控。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010530114.2A CN111639011B (zh) | 2020-06-11 | 2020-06-11 | 一种数据监控方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010530114.2A CN111639011B (zh) | 2020-06-11 | 2020-06-11 | 一种数据监控方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111639011A CN111639011A (zh) | 2020-09-08 |
CN111639011B true CN111639011B (zh) | 2023-05-12 |
Family
ID=72332522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010530114.2A Active CN111639011B (zh) | 2020-06-11 | 2020-06-11 | 一种数据监控方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111639011B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112463834A (zh) * | 2020-12-02 | 2021-03-09 | 中国建设银行股份有限公司 | 流式处理中自动实现根因分析的方法、装置及电子设备 |
CN112416724B (zh) * | 2020-12-04 | 2024-05-07 | 中国建设银行股份有限公司 | 告警处理方法、***、计算机设备和存储介质 |
CN113391981A (zh) * | 2021-06-30 | 2021-09-14 | 中国民航信息网络股份有限公司 | 一种监控指标的预警方法及相关设备 |
CN115756782A (zh) * | 2022-11-15 | 2023-03-07 | 支付宝(杭州)信息技术有限公司 | 一种大规模告警布防方法、装置以及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705149A (zh) * | 2017-09-22 | 2018-02-16 | 平安科技(深圳)有限公司 | 数据实时监控方法、装置、终端设备及存储介质 |
CN111158983A (zh) * | 2019-12-27 | 2020-05-15 | 广东华保数据有限公司 | 一种一体化运维管理*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102346745B (zh) * | 2010-08-02 | 2014-04-02 | 阿里巴巴集团控股有限公司 | 单词的用户行为数的预测方法和装置 |
CN103854067B (zh) * | 2012-12-06 | 2017-03-15 | 国家电网公司 | 电力负荷预测精度的检测方法及装置 |
-
2020
- 2020-06-11 CN CN202010530114.2A patent/CN111639011B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705149A (zh) * | 2017-09-22 | 2018-02-16 | 平安科技(深圳)有限公司 | 数据实时监控方法、装置、终端设备及存储介质 |
CN111158983A (zh) * | 2019-12-27 | 2020-05-15 | 广东华保数据有限公司 | 一种一体化运维管理*** |
Also Published As
Publication number | Publication date |
---|---|
CN111639011A (zh) | 2020-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111639011B (zh) | 一种数据监控方法、装置及设备 | |
CN110262937B (zh) | 一种指标异常原因的识别方法及装置 | |
CN110163417B (zh) | 一种业务量的预测方法、装置及设备 | |
CN107526667B (zh) | 一种指标异常检测方法、装置以及电子设备 | |
CN110457578B (zh) | 一种客服服务需求识别方法及装置 | |
CN110634030B (zh) | 应用的业务指标挖掘方法、装置及设备 | |
CN110443457B (zh) | 数据处理方法及装置 | |
CN111538869B (zh) | 一种交易异常群组的检测方法、装置及设备 | |
CN110222936B (zh) | 一种业务场景的根因定位方法、***及电子设备 | |
CN109615171B (zh) | 特征阈值确定方法及装置、问题对象确定方法及装置 | |
CN110008394B (zh) | 一种舆情信息的识别方法、装置及设备 | |
CN111324533A (zh) | A/b测试方法、装置及电子设备 | |
CN109597678B (zh) | 任务处理方法及装置 | |
CN110175084B (zh) | 数据变化的监控方法及装置 | |
CN117370034B (zh) | 一种算力调度***评估方法、装置、存储介质及电子设备 | |
CN112015570B (zh) | 消息提醒处理方法及装置 | |
CN110245166B (zh) | 数据核对方法及装置 | |
CN116048977B (zh) | 一种基于数据还原的测试方法及装置 | |
CN116822606A (zh) | 一种异常检测模型的训练方法、装置、设备及存储介质 | |
CN116485188A (zh) | 一种风险的识别方法、装置及设备 | |
CN114926706B (zh) | 数据处理方法、装置及设备 | |
CN116017395A (zh) | 资源转移处理的方法及装置 | |
CN111967769B (zh) | 一种风险识别方法、装置、设备及介质 | |
CN110046090B (zh) | 页面元素的定位方法及装置 | |
CN116304947A (zh) | 业务处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40036413 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |