CN112463543A - 业务数据的监控方法、规则数据生成方法、装置及*** - Google Patents
业务数据的监控方法、规则数据生成方法、装置及*** Download PDFInfo
- Publication number
- CN112463543A CN112463543A CN202011492921.6A CN202011492921A CN112463543A CN 112463543 A CN112463543 A CN 112463543A CN 202011492921 A CN202011492921 A CN 202011492921A CN 112463543 A CN112463543 A CN 112463543A
- Authority
- CN
- China
- Prior art keywords
- data
- service
- monitoring
- statistical
- monitoring rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 287
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 abstract description 19
- 230000008859 change Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种业务数据的监控方法、规则数据生成方法、装置及***。监控方法包括:集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取监控规则数据,监控规则数据包括:在告警平台中预先配置的业务指标及与业务指标对应的统计维度;将业务指标与其对应的统计维度组合,形成指标组合;实时接收业务流数据,获取业务数据;按照指标组合统计业务数据,对业务数据进行监控分析。本发明可以实现实时监听监控规则数据的变更情况,利用业务流数据获取业务数据,对业务数据进行实时监控,相较于现有技术无需过度依赖数据加速层、提高数据监控过的实时性。
Description
技术领域
本发明涉及数据分析技术领域,特别涉及一种业务数据的监控方法、装置及***。
背景技术
在多维度组合的业务指标监控的现有技术中,每个业务指标都有自己的统计维度,对业务指标的监控是基于这些维度进行统计的。现有技术中对于多维度组合下的业务指标,大多采用OLAP***,其主要的方法是将业务实时数据落到数据加速层,比如:Druid、PostGreSQL或ClickHouse,然后基于数据加速层,将业务指标和其对应的维度进行组合,按照组合后的业务指标维度对业务数据进行定时轮询,再与预先设置的阈值条件比较,进行预警监控。上述监控方法的缺陷是:无法实现业务数据的实时监控,且如果监控的指标过多,对数据加速层的压力也比较大。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种业务数据的监控方法、装置及***。所述技术方案如下:
第一方面,提供了一种业务数据的监控方法,所述方法包括:
集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取所述监控规则数据,所述监控规则数据包括:在所述告警平台中预先配置的所述业务指标及与所述业务指标对应的统计维度;
将所述业务指标与其对应的所述统计维度组合,形成指标组合;
实时接收业务流数据,获取业务数据;
按照所述指标组合统计所述业务数据,对所述业务数据进行监控分析。
进一步地,所述监控规则数据还包括:预先配置的统计频率、告警策略、告警方式、统计滑动窗口;
所述按照所述指标组合统计业务数据,对所述业务数据进行监控分析,包括:
按照所述指标组合统计业务数据,按照所述统计频率及所述统计滑动窗口中对所述业务数据进行监控分析,根据所述告警策略判断所述业务数据是否存在异常,若存在异常,则按照所述告警方式发出告警信息。
进一步地,所述按照所述指标组合划分业务数据,对所述业务数据进行监控分析,包括:
从业务流数据中获取与所述指标组合对应的当前业务数据;
从数据库中获取与所述指标组合对应的历史业务数据;
基于所述当前业务数据和所述历史业务数据,进行监控分析。
进一步地,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
接收由监控规则数据转换而成的规则流数据,所述监控规则数据由所述告警平台生成,所述规则流数据由流数据处理平台根据所述监控规则数据转换生成;
解析所述规则流数据,获取所述监控规则数据。
进一步地,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
异步查询热存储数据库中的所述监控规则数据,所述监控规则数据由所述告警平台生成并存储至热存储数据库中。
进一步地,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
定期加载所述监控规则数据,所述监控规则数据由所述告警平台生成并存储。
第二方面,提供了一种监控规则数据的生成方法,所述方法包括:
获取监控配置数据,所述监控配置数据包括:业务指标及所述业务指标对应的统计维度、统计频率;
根据所述监控配置数据生成监控规则数据;
根据所述业务指标对应的统计数据需求量及所述统计频率,确定所述监控规则数据的传输方式。
进一步地,监控配置数据还包括与业务指标对应的统计频率、告警策略、告警方式、统计滑动窗。
进一步地,当业务指标的统计数据需求量和统计频率满足第三阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据发送至流数据处理平台,以使流数据处理平台将监控规则数据转换成规则流数据。
进一步地,当业务指标的统计数据需求量和统计频率满足第二阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据存储至热存储数据库中,以便集群中的业务节点可以异步查询。
进一步地,当业务指标的统计数据需求量和统计频率满足第一阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据进行本地存储中,或者存储至Zookeeper中。
第三方面,提供了一种业务数据的监控装置,所述装置包括:
规则数据获取模块,用于集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取所述监控规则数据,所述监控规则数据包括:预先配置的所述业务指标及所述业务指标对应的统计维度;
组合模块,用于将所述业务指标与其对应的所述统计维度组合,形成指标组合;
业务数据获取模块,用于实时接收业务流数据,获取业务数据;
监控模块,用于按照所述指标组合统计所述业务数据,对所述业务数据进行监控分析。
进一步地,监控规则数据还包括:预先配置的统计频率、告警策略、告警方式、统计滑动窗口;
监控模块,具体用于按照指标组合统计业务数据,按照统计频率及统计滑动窗口对业务数据进行监控分析,根据告警策略判断业务数据是否存在异常,若存在异常,则按照告警方式发出告警信息。
进一步地,监控模块还具体用于:
从业务流数据中获取与指标组合对应的当前业务数据;
从数据库中获取指标组合对应的历史业务数据;
基于当前业务数据和历史业务数据,进行监控分析。
进一步地,规则数据获取模块,具体用于:
接收由监控规则数据转换而成的规则流数据,监控规则数据由告警平台生成,规则流数据由流数据处理平台根据监控规则数据转换生成;
解析规则流数据,获取监控规则数据。
进一步地,规则数据获取模块,具体用于:
异步查询热存储数据库中的监控规则数据,其中监控规则数据由告警平台生成并存储至热存储数据库中。
进一步地,规则数据获取模块,具体用于:
定期加载监控规则数据,监控规则数据由告警平台生成并存储。
第四方面,提供了一种监控规则数据的生成装置,所述装置包括:
配置模块,用于获取监控配置数据,所述监控配置数据包括:业务指标及所述业务指标对应的统计维度、统计频率;
规则生成模块,用于根据所述监控配置数据生成监控规则数据;
传输方式确定模块,用于根据所述业务指标对应的统计数据需求量及所述统计频率,确定所述监控规则数据的传输方式。
进一步地,监控配置数据还包括与业务指标对应的统计频率、告警策略、告警方式、统计滑动窗口。
进一步地,当业务指标的统计数据需求量和统计频率满足第三阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据发送至流数据处理平台,以使流数据处理平台将监控规则数据转换成规则流数据。
进一步地,当业务指标的统计数据需求量和统计频率满足第二阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据存储至热存储数据库中,以便集群中的业务节点可以异步查询。
进一步地,当业务指标的统计数据需求量和统计频率满足第一阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据进行本地存储中,或者存储至Zookeeper中。
第五方面,提供了一种计算机***,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行上述第一方面任一项所述的方法。
本发明实施例提供的技术方案带来的有益效果是:
1、本发明公开的业务数据的监控技术方案,可以实现实时监听监控规则数据的变更情况,利用业务流数据获取业务数据,对业务数据进行实时监控,相较于现有技术无需过度依赖数据加速层、提高数据监控过的实时性;
2、本发明公开的监控规则数据的生成技术方案,根据业务指标对应的统计维度、统计频率,提出了三种监控规则数据的传输方式,其中规则流数据的传输方式以及热存储的传输方式无需轮询数据加速层,减少了数据加速层的压力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的业务数据的监控方法流程图;
图2是本发明实施例提供的监控规则数据的生成方法流程图;
图3是本发明实施例提供的业务数据的监控装置结构示意图;
图4是本发明实施例提供的监控规则数据的生成装置结构示意图;
图5是本发明实施例提供的计算机***结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,现有的多维度指标数据监控方法是基于OLAP***。OLAP***即联机分析处理***,其主要是利用下探、上钻、切片、切块、旋转等操作将维度立方中的维度进行组合和切分,然后按照维度组合从数据加速层中定时轮询业务数据,实现业务数据的监控分析。但是上述方法由于是基于数据加速层获取业务数据,无法实现实时的监控分析,且一旦监控的指标过多,或者监控频率过大,则需要频繁轮询数据加速层,增加了数据加速层的运行压力。
为了解决现有技术的问题,本发明提供了一种业务数据的监控方法、规则数据生成方法、装置及***,具体技术方案如下:
如图1所示,一种业务数据的监控方法,包括:
S11、集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取监控规则数据。其中,监控规则数据包括:在告警平台中预先配置的业务指标及与业务指标对应的统计维度。
上述,集群主要指Flink集群,Flink集群是一个计算框架和分别式处理引擎,用于对无界和有界数据流进行有状态计算。Flink集群中包含多个节点,按照分布式程序分成JobManager、TaskManager、JobClient,其中JobClient负责提交任务给JobManager,JobManager再调度任务到各个TaskManager去执行。本发明中的业务节点一般指上述三种节点。
上述,监控规则数据与业务指标对应,监控规则数据的传输方式由告警平台预先确定,告警平台为本发明实施例提出的一种可以根据人员配置生成告警规则数据的***,告警平台可以根据告警配置数据中的业务指标和统计频率确定告警规则数据的传输方式。集群中的业务节点需要先根据业务指标确定其对应的监控规则的传输方式,然后再按照传输方式获取业务指标数据。需要说明的是,此处的获取可以是主动的加载、查询,也可以是被动的接收。
在一个实施例中,监控规则数据还包括:预先配置的统计频率、告警策略、告警方式、统计滑动窗口。
上述,统计频率、告警策略、告警方式、统计滑动窗口,均在告警平台中配置,其中告警策略是指用于判断业务数据是否存在异常的阈值条件,告警方式是指发送告警信息的类型,如亮灯告警、趋势告警、波动告警灯。统计滑动窗口是指用于进行数据统计的数据滑动获取单位,例如从[0,k-1]的一个窗口,记录其总和,然后窗口向右移动到[1,k],再到[2,k+1],直到数组的最尾端。
在一个实施例中,上述传输方式可以是将监控规则数据转换成规则流数据,将规则流数据广播至集群中的业务节点。因此步骤S11具体为:
接收由监控规则数据转换而成的规则流数据,监控规则数据由告警平台生成,规则流数据由流数据处理平台根据监控规则数据转换生成;
解析规则流数据,获取监控规则数据。
上述,具体地,告警平台生成的监控规则数据保存在Zookeeper中,启动Zookeeper的监听功能,监听监控规则数据的变化情况,一旦告警平台上更新了相应业务指标的监控规则数据,则Zookeeper获取更新的监控规则数据将其发送至流数据处理平台(主要指kafka)中,由kafka广播至集群中的业务节点中。
上述,监控规则数据的获取方法是被动的获取,主要针对业务指标统计数据量较少,且统计频率高的业务指标的监控规则数据。
上述监控规则数据的传输方式可以实时获取监控规则数据的更新情况,相对于仅根据维度立方体进行操作而缺乏实时获取规则数据变更状态的现有技术,更有利于准确地进行业务数据的实时监控。
在一个实施例中,上述传输方式可以是将监控规则数据存储至Redis、Hbase、ES等热存储数据库中。因此步骤S11具体为:
异步查询热存储数据库中的监控规则数据,其中监控规则数据由告警平台生成并存储至热存储数据库中。
上述,监控规则数据的获取方法是主动的获取,主要针对业务指标统计数据量大,且统计频率相对不大的业务指标的监控规则数据。
在一个实施例中,上述传输方式可以是将监控规则数据存储至告警平台中,或者Zookeeper中。因此步骤S11具体为:
定期加载监控规则数据,监控规则数据由告警平台生成并存储。
上述,监控规则数据的获取方法是主动的获取,主要针对业务指标统计数据量大,且统计频率小的业务指标的监控规则数据。
S12、将业务指标与其对应的统计维度组合,形成指标组合。
上述,一个业务指标可以与多个统计维度对应,他们之间的对应关系是在告警平台中确定的。监控规则数据中包含了业务指标与统计维度之间的对应关系,因此获取监控规则数据后可以直接进行组合。
在一个实施例中,在组合业务指标和统计维度时,针对同一个维度不同维值的情况可以将其做合并处理,针对同一个业务流数据的相同的业务指标也可以进行合并处理。
S13、实时接收业务流数据,获取业务数据。
上述,业务流数据是可以是业务平台通过kafka下发的流数据,其中主要包含实时的业务数据,业务流数据按照业务类型可以分为:销售业务流数据、流量业务流数据、库存业务流数据,等等。现有技术中主要通过从数据加速层获取业务数据,因此无法实现实时监控,本发明利用业务流数据,可以进行实时的数据获取和实时监控。
S14、按照指标组合统计业务数据,对业务数据进行监控分析。
上述,按照指标组合统计业务数据主要指将指标组合与业务数据进行关联操作,并按照指标组合划分业务数据。对业务数据的监控分析主要是指将按照指标组合的统计结果与阈值条件对比,判断业务数据是否异常。
在一个实施例中,监控规则数据还包括:统计频率、告警策略、告警方式、统计滑动窗口时,步骤S14具体包括:
按照指标组合统计业务数据,按照统计频率及统计滑动窗口对业务数据进行监控分析,根据告警策略判断业务数据是否存在异常,若存在异常,则按照告警方式发出告警信息。
实际应用场景中存在需要同期数据对比分析的情况,比如将本期的业务指标数据和去年同期的业务指标数据做一个波段范围的预警,因此需要将历史业务数据不同到数据加速层中,数据加速层可以是:Druid、PostGreSQL或ClickHouse。
因此,在一个实施例中,步骤S14具体还可以包括:
从业务流数据中获取与指标组合对应的当前业务数据;
从数据库中获取指标组合对应的历史业务数据;
基于当前业务数据和历史业务数据,进行监控分析。
上述,数据库优选为Flink集群的数据加速层。
在一个实施例中,监控规则数据中还可以包括:规则生效条件,即设置更新后的监控规则是在当前统计滑动窗口生效还是下一个统计滑动窗口生效。
如图2所示,基于上述业务数据的监控方法,本发明还公开一种监控规则数据的生成方法,包括:
S21、获取监控配置数据,监控配置数据包括:业务指标及业务指标对应的统计维度、统计频率。
上述,监控配置数据是由人员基于告警平台输入配置数据形成的。
在一个实施例中,监控配置数据还包括与业务指标对应的统计频率、告警策略、告警方式、统计滑动窗口。
上述,告警策略是指用于判断业务数据是否存在异常的阈值条件,告警方式是指发送告警信息的类型。统计滑动窗口是指用于进行数据统计的数据滑动获取单位。
在一个实施例中,监控规则数据中还可以包括:规则生效条件,即设置更新后的监控规则是在当前统计滑动窗口生效还是下一个统计滑动窗口生效。
S22、根据监控配置数据生成监控规则数据。
上述,生成的监控规则数据与业务指标对应。
基于监控配置数据中的各项配置内容,生成的监控规则数据也包括与业务指标对应的统计频率、告警策略、告警方式、统计滑动窗口、规则生效条件。
S23、根据业务指标对应的统计数据需求量及统计频率,确定监控规则数据的传输方式。
上述,每种传输方式都有对应的业务指标对应的统计数据需求量的阈值条件和统计频率的阈值条件,将业务指标对应的统计数据需求量与统计频率分别与上述阈值条件对比,根据对比结果确定传输方式。
具体地,阈值条件可以包括第一阈值条件、第二阈值条件、第三阈值条件,其中按照业务指标对应的统计数据需求量将三个阈值条件排序为:第一阈值条件>第二阈值条件>第三阈值条件,按照统计频率的排序情况为:第一阈值条件<第二阈值条件<第三阈值条件。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第三阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据发送至流数据处理平台,以使流数据处理平台将监控规则数据转换成规则流数据。
上述,具体地,将监控工规则数据保存至Zookeeper中,Zookeeper听监控规则数据的变化情况,一旦告警平台上更新了相应业务指标的监控规则数据,则Zookeeper获取更新的监控规则数据将其发送至流数据处理平台,由流数据处理平台广播至集群中的业务节点中。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第二阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据存储至Redis、Hbase、ES等热存储数据库中,以便集群中的业务节点可以异步查询。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第一阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据进行本地存储中,或者存储至Zookeeper中。
上述,进一步地,不同的传输方式均有业务指标表,将符合规则的业务指标存入相应的表中,因此集群中的业务节点可以根据业务指标表获取相应的监控规则数据的传输方式,从而可以获取到监控规则数据。
如图3所示,基于上述业务数据的监控方法,本发明实施例还提供一种业务数据的监控装置,包括:
规则数据获取模块301,用于集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取监控规则数据,监控规则数据包括:预先配置的业务指标及与业务指标对应的统计维度。
上述,在一个实施例中,监控规则数据还包括:预先配置的统计频率、告警策略、告警方式、统计滑动窗口。
上述,统计频率、告警策略、告警方式、统计滑动窗口,均在告警平台中配置,其中告警策略是指用于判断业务数据是否存在异常的阈值条件,告警方式是指发送告警信息的类型,如亮灯告警、趋势告警、波动告警灯。统计滑动窗口是指用于进行数据统计的数据滑动获取单位,例如从[0,k-1]的一个窗口,记录其总和,然后窗口向右移动到[1,k],再到[2,k+1],直到数组的最尾端。
在一个实施例中,规则数据获取模块301,具体用于:
接收由监控规则数据转换而成的规则流数据,监控规则数据由告警平台生成,规则流数据由流数据处理平台根据监控规则数据转换生成;
解析规则流数据,获取监控规则数据。
上述,具体地,告警平台生成的监控规则数据保存在Zookeeper中,启动Zookeeper的监听功能,监听监控规则数据的变化情况,一旦告警平台上更新了相应业务指标的监控规则数据,则Zookeeper获取更新的监控规则数据将其发送至流数据处理平台(主要指kafka)中,由kafka广播至集群中的业务节点中。
在一个实施例中,规则数据获取模块301,具体用于:
异步查询热存储数据库中的监控规则数据,其中监控规则数据由告警平台生成并存储至热存储数据库中。
在一个实施例中,规则数据获取模块301,具体用于:
定期加载监控规则数据,监控规则数据由告警平台生成并存储。
组合模块302,用于将业务指标与其对应的统计维度组合,形成指标组合。
上述,一个业务指标可以与多个统计维度对应,他们之间的对应关系是在告警平台中确定的。监控规则数据中包含了业务指标与统计维度之间的对应关系,因此获取监控规则数据后可以直接进行组合。
在一个实施例中,组合模块302,包括:针对同一个维度不同维值的情况可以将其做合并处理,针对同一个业务流数据的相同的业务指标也可以进行合并处理。
业务数据获取模块303,用于实时接收业务流数据,获取业务数据。
上述,业务流数据是可以是业务平台通过kafka下发的流数据,其中主要包含实时的业务数据。
监控模块304,用于按照指标组合统计业务数据,对业务数据进行监控分析。
上述,按照指标组合统计业务数据主要指将指标组合与业务数据进行关联操作,并按照指标组合划分业务数据。对业务数据的监控分析主要是指将按照指标组合的统计结果与阈值条件对比,判断业务数据是否异常。
在一个实施例中,监控规则数据还包括:统计频率、告警策略、告警方式、统计滑动窗口时,监控模块304具体用于:
按照指标组合统计业务数据,按照统计频率及统计滑动窗口对业务数据进行监控分析,根据告警策略判断业务数据是否存在异常,若存在异常,则按照告警方式发出告警信息。
在一个实施例中,为了适用于需要历史业务数据的分析情况,监控模块304还具体用于:
从业务流数据中获取与指标组合对应的当前业务数据;
从数据库中获取指标组合对应的历史业务数据;
基于当前业务数据和历史业务数据,进行监控分析。
上述,数据库优选为Flink集群的数据加速层。
在一个实施例中,监控规则数据中还可以包括:规则生效条件,即设置更新后的监控规则是在当前统计滑动窗口生效还是下一个统计滑动窗口生效。
如图4所示,基于上述监控规则数据的生成方法,本发明实施例还提供一种监控规则数据的生成装置,包括:
配置模块401,用于获取监控配置数据,监控配置数据包括:业务指标及与业务指标对应的统计维度,统计频率。
上述,监控配置数据是由人员基于告警平台输入配置数据形成的。
在一个实施例中,监控配置数据还包括与业务指标对应的告警策略、告警方式、统计滑动窗口。
上述,告警策略是指用于判断业务数据是否存在异常的阈值条件,告警方式是指发送告警信息的类型。统计滑动窗口是指用于进行数据统计的数据滑动获取单位。
在一个实施例中,监控规则数据中还可以包括:规则生效条件,即设置更新后的监控规则是在当前统计滑动窗口生效还是下一个统计滑动窗口生效。
规则生成模块402,用于根据监控配置数据生成监控规则数据。
上述,生成的监控规则数据与业务指标对应。
基于监控配置数据中的各项配置内容,生成的监控规则数据也包括与业务指标对应的统计频率、告警策略、告警方式、统计滑动窗口、规则生效条件。
传输方式确定模块403,用于根据业务指标对应的统计数据需求量及统计频率,确定监控规则数据的传输方式。
上述,每种传输方式都有对应的业务指标对应的统计数据需求量的阈值条件和统计频率的阈值条件,传输方式确定模块403具体用于将业务指标对应的统计数据需求量与统计频率分别与上述阈值条件对比,根据对比结果确定传输方式。
具体地,传输方式包括三种,分别对一个三个阈值条件。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第三阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据发送至流数据处理平台,以使流数据处理平台将监控规则数据转换成规则流数据。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第二阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据存储至Redis、Hbase、ES等热存储数据库中,以便集群中的业务节点可以异步查询。
在一个实施例中,当业务指标的统计数据需求量和统计频率满足第一阈值条件时,监控规则数据的传输方式可以是:
将监控规则数据进行本地存储中,或者存储至Zookeeper中。
基于上述业务数据的监控方法,本发明还提供一种计算机***,包括:
一个或多个处理器;以及
与一个或多个处理器关联的存储器,存储器用于存储程序指令,程序指令在被一个或多个处理器读取执行时,执行上述业务数据的监控方法。
其中,图5示例性的展示出了计算机***的架构,具体可以包括处理器510,视频显示适配器511,磁盘驱动器512,输入/输出接口513,网络接口514,以及存储器520。上述处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,与存储器520之间可以通过通信总线530进行通信连接。
其中,处理器510可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器520可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器520可以存储用于控制电子设备500运行的操作***521,用于控制电子设备500的低级别操作的基本输入输出***522(BIOS)。另外,还可以存储网页浏览器523,数据存储管理***524,以及设备标识信息处理***525等等。上述设备标识信息处理***525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器520中,并由处理器510来调用执行。
输入/输出接口513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口514用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线530包括一通路,在设备的各个组件(例如处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,与存储器520)之间传输信息。
另外,该电子设备500还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器510、视频显示适配器511、磁盘驱动器512、输入/输出接口513、网络接口514,存储器520,总线530等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***或***实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例提供的技术方案带来的有益效果是:
1、本发明公开的业务数据的监控技术方案,可以实现实时监听监控规则数据的变更情况,利用业务流数据获取业务数据,对业务数据进行实时监控,相较于现有技术无需过度依赖数据加速层、提高数据监控过的实时性;
2、本发明公开的监控规则数据的生成技术方案,根据业务指标对应的统计维度、统计频率,提出了三种监控规则数据的传输方式,其中规则流数据的传输方式以及热存储的传输方式无需轮询数据加速层,减少了数据加速层的压力。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种业务数据的监控方法,其特征在于,包括:
集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取所述监控规则数据,所述监控规则数据包括:在所述告警平台中预先配置的所述业务指标及与所述业务指标对应的统计维度;
将所述业务指标与其对应的所述统计维度组合,形成指标组合;
实时接收业务流数据,获取业务数据;
按照所述指标组合统计所述业务数据,对所述业务数据进行监控分析。
2.如权利要求1所述的方法,其特征在于,所述监控规则数据还包括:预先配置的统计频率、告警策略、告警方式、统计滑动窗口;
所述按照所述指标组合统计业务数据,对所述业务数据进行监控分析,包括:
按照所述指标组合统计业务数据,按照所述统计频率及所述统计滑动窗口中对所述业务数据进行监控分析,根据所述告警策略判断所述业务数据是否存在异常,若存在异常,则按照所述告警方式发出告警信息。
3.如权利要求1所述的方法,其特征在于,所述按照所述指标组合划分业务数据,对所述业务数据进行监控分析,包括:
从业务流数据中获取与所述指标组合对应的当前业务数据;
从数据库中获取与所述指标组合对应的历史业务数据;
基于所述当前业务数据和所述历史业务数据,进行监控分析。
4.如权利要求1~3中任一项所述的方法,其特征在于,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
接收由监控规则数据转换而成的规则流数据,所述监控规则数据由所述告警平台生成,所述规则流数据由流数据处理平台根据所述监控规则数据转换生成;
解析所述规则流数据,获取所述监控规则数据。
5.如权利要求1~3中任一项所述的方法,其特征在于,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
异步查询热存储数据库中的所述监控规则数据,所述监控规则数据由所述告警平台生成并存储至热存储数据库中。
6.如权利要求1~3中任一项所述的方法,其特征在于,所述集群中的业务节点基于告警平台确定的监控规则数据的传输方式,获取所述监控规则数据,包括:
定期加载所述监控规则数据,所述监控规则数据由所述告警平台生成并存储。
7.一种监控规则数据的生成方法,其特征在于,包括:
获取监控配置数据,所述监控配置数据包括:业务指标及与所述业务指标对应的统计维度、统计频率;
根据所述监控配置数据生成监控规则数据;
根据所述业务指标对应的统计数据需求量及所述统计频率,确定所述监控规则数据的传输方式。
8.一种业务数据的监控装置,其特征在于,包括:
规则数据获取模块,用于集群中的业务节点基于告警平台确定的监控规则数据的传输方式获取所述监控规则数据,所述监控规则数据包括:预先配置的所述业务指标及与所述业务指标对应的统计维度;
组合模块,用于将所述业务指标与其对应的所述统计维度组合,形成指标组合;
业务数据获取模块,用于实时接收业务流数据,获取业务数据;
监控模块,用于按照所述指标组合统计所述业务数据,对所述业务数据进行监控分析。
9.一种监控规则数据的生成装置,其特征在于,包括:
配置模块,用于获取监控配置数据,所述监控配置数据包括:业务指标及与所述业务指标对应的统计维度、统计频率;
规则生成模块,用于根据所述监控配置数据生成监控规则数据;
传输方式确定模块,用于根据所述业务指标对应的统计数据需求量及所述统计频率,确定所述监控规则数据的传输方式。
10.一种计算机***,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行上述权利要求1~6任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492921.6A CN112463543A (zh) | 2020-12-17 | 2020-12-17 | 业务数据的监控方法、规则数据生成方法、装置及*** |
CA3230388A CA3230388A1 (en) | 2020-12-17 | 2021-12-17 | Method of and device for monitoring business data, method of and device for generating rule data, and system |
CA3142771A CA3142771A1 (en) | 2020-12-17 | 2021-12-17 | Method of and device for monitoring business data, method of and device for generating rule data, and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011492921.6A CN112463543A (zh) | 2020-12-17 | 2020-12-17 | 业务数据的监控方法、规则数据生成方法、装置及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112463543A true CN112463543A (zh) | 2021-03-09 |
Family
ID=74802896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011492921.6A Pending CN112463543A (zh) | 2020-12-17 | 2020-12-17 | 业务数据的监控方法、规则数据生成方法、装置及*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112463543A (zh) |
CA (2) | CA3142771A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920698A (zh) * | 2021-11-25 | 2022-01-11 | 杭州安恒信息技术股份有限公司 | 一种接口异常调用的预警方法、装置、设备及介质 |
CN114661563A (zh) * | 2022-05-24 | 2022-06-24 | 恒生电子股份有限公司 | 基于流处理框架的数据处理方法以及*** |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115331440B (zh) * | 2022-08-09 | 2023-08-18 | 山东旗帜信息有限公司 | 一种基于监测阈值信息的高适配预警方法及*** |
CN115913886A (zh) * | 2022-11-15 | 2023-04-04 | 浪潮云信息技术股份公司 | 一种云原生环境下基于滑动窗口的告警方法及*** |
CN116112385B (zh) * | 2023-02-15 | 2023-09-19 | 贵州北盘江电力股份有限公司光照分公司 | 一种电力监控***网络通信数据分析展示方法及*** |
CN117009105B (zh) * | 2023-07-25 | 2024-07-02 | 南京南瑞智慧交通科技有限公司 | 一种基于storm流式计算的地铁车载设备状态实时预报警的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105471671A (zh) * | 2015-11-10 | 2016-04-06 | 国云科技股份有限公司 | 一种云平台资源自定义监控规则的方法 |
WO2016095626A1 (zh) * | 2014-12-19 | 2016-06-23 | 北京奇虎科技有限公司 | 监控进程的方法和装置 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
CN109688188A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 监控告警方法、装置、设备及计算机可读存储介质 |
-
2020
- 2020-12-17 CN CN202011492921.6A patent/CN112463543A/zh active Pending
-
2021
- 2021-12-17 CA CA3142771A patent/CA3142771A1/en active Pending
- 2021-12-17 CA CA3230388A patent/CA3230388A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016095626A1 (zh) * | 2014-12-19 | 2016-06-23 | 北京奇虎科技有限公司 | 监控进程的方法和装置 |
CN105471671A (zh) * | 2015-11-10 | 2016-04-06 | 国云科技股份有限公司 | 一种云平台资源自定义监控规则的方法 |
CN107741955A (zh) * | 2017-09-15 | 2018-02-27 | 平安科技(深圳)有限公司 | 业务数据监控方法、装置、终端设备及存储介质 |
CN109688188A (zh) * | 2018-09-07 | 2019-04-26 | 平安科技(深圳)有限公司 | 监控告警方法、装置、设备及计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113920698A (zh) * | 2021-11-25 | 2022-01-11 | 杭州安恒信息技术股份有限公司 | 一种接口异常调用的预警方法、装置、设备及介质 |
CN113920698B (zh) * | 2021-11-25 | 2023-08-04 | 杭州安恒信息技术股份有限公司 | 一种接口异常调用的预警方法、装置、设备及介质 |
CN114661563A (zh) * | 2022-05-24 | 2022-06-24 | 恒生电子股份有限公司 | 基于流处理框架的数据处理方法以及*** |
Also Published As
Publication number | Publication date |
---|---|
CA3142771A1 (en) | 2022-06-17 |
CA3230388A1 (en) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112463543A (zh) | 业务数据的监控方法、规则数据生成方法、装置及*** | |
CN110502494B (zh) | 日志处理方法、装置、计算机设备及存储介质 | |
US10963330B2 (en) | Correlating failures with performance in application telemetry data | |
CN110493065B (zh) | 一种云中心运维的告警关联度分析方法及*** | |
CN109753406B (zh) | 接口的性能监控方法、装置、设备及计算机可读存储介质 | |
US20100153431A1 (en) | Alert triggered statistics collections | |
CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
CN107861981B (zh) | 一种数据处理方法及装置 | |
CN111740860A (zh) | 日志数据传输链路监控方法及装置 | |
CN112615742A (zh) | 用于预警的方法、装置、设备以及存储介质 | |
CN111338888B (zh) | 一种数据统计方法、装置、电子设备及存储介质 | |
CN114090366A (zh) | 一种监控数据的方法、装置和*** | |
CN105471938B (zh) | 服务器负载管理方法及装置 | |
CN113641567B (zh) | 一种数据库巡检方法、装置、电子设备及存储介质 | |
CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112671922B (zh) | 工业互联网数据处理***及方法 | |
CN110138720B (zh) | 网络流量的异常分类检测方法、装置、存储介质和处理器 | |
US10983888B1 (en) | System and method for generating dynamic sparse exponential histograms | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
CN115914064A (zh) | 网络***服务性能评估方法、装置、计算设备和存储介质 | |
CN109587223B (zh) | 数据聚合方法、装置和*** | |
CN114595135A (zh) | 日志数据处理方法、装置、设备、存储介质及程序产品 | |
CN104980750A (zh) | 一种视频转码日志的收集方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |