CN116260702A - 数据监控的方法、装置、计算机设备和存储介质 - Google Patents
数据监控的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116260702A CN116260702A CN202310005607.8A CN202310005607A CN116260702A CN 116260702 A CN116260702 A CN 116260702A CN 202310005607 A CN202310005607 A CN 202310005607A CN 116260702 A CN116260702 A CN 116260702A
- Authority
- CN
- China
- Prior art keywords
- data
- alarm
- monitoring
- index
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0681—Configuration of triggering conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种数据监控的方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:从目标数据源获取监听数据;基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;根据字段映射关系将所述目标字段映射至指标字段;基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。采用本方法能够提高对智能设备的监控效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据监控的方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,智能设备在各种应用场景得到广泛应用,而智能设备在使用过程可能会发生各种问题,怎样对智能设备的使用过程进行监控成为重要的问题。传统技术中,通过技术人员对智能设备的日志进行分析或者通过用户反馈发现智能设备产生的问题,效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高效率的数据监控的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据监控的方法。所述方法包括:
从目标数据源获取监听数据;
基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
根据字段映射关系将所述目标字段映射至指标字段;
基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
在一个实施例中,所述基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算包括:
确定所述监听数据对应的规则标识;
查询所述规则标识对应的规则数据;
从所述规则数据中提取配置条件,并将所述配置条件作为所述监听数据对应的告警触发条件;
基于所述告警触发条件,对所述指标字段中的指标数据进行计算。
在一个实施例中,所述方法还包括:
基于配置指令确定所述目标数据源对应的多个配置条件;
对所述配置条件进行组合,得到组合后的所述配置条件,并基于组合后的所述配置条件生成所述规则数据;
所述从所述规则数据中提取配置条件,并将所述配置条件作为所述监听数据对应的告警触发条件包括:
从所述规则数据中提取组合后的所述配置条件,并将组合后的所述配置条件作为所述监听数据对应的告警触发条件。
在一个实施例中,所述指标字段中的指标数据包括多次监听所得的多个指标数据;所述基于所述告警触发条件对所述指标字段中的指标数据进行计算,得到计算结果包括:
依次判断各所述指标数据是否满足所述告警触发条件;
对满足所述告警触发条件的指标数据的个数进行计数;
将计数所得的数值作为所述计算结果。
在一个实施例中,所述若所述计算结果达到所述告警触发条件对应的告警阈值,基于告警策略进行告警包括:
若所述计算结果达到所述告警触发条件对应的告警阈值,生成包括所述计算结果、所述告警触发条件以及所述指标字段的告警消息;
若确定当前时间在通知时段内、且所述当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送所述告警消息。
在一个实施例中,所述方法还包括:
在达到查询时间时,查询未发送的告警消息;
若所述未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于所述预设时长,则对所述未发送的告警消息进行推送。
在一个实施例中,所述从目标数据源获取监听数据包括:
配置待监听的目标数据源的链接信息;
根据所述链接信息订阅所述目标数据源;
对订阅的所述目标数据源进行监听,得到所述监听数据。
第二方面,本申请还提供了一种数据监控的装置。所述装置包括:
获取模块,用于从目标数据源获取监听数据;
抽取模块,用于基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
映射模块,用于根据字段映射关系将所述目标字段映射至指标字段;
计算模块,用于基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
告警模块,用于若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
在一个实施例中,所述计算模块,还用于:
确定所述监听数据对应的规则标识;
查询所述规则标识对应的规则数据;
从所述规则数据中提取配置条件,并将所述配置条件作为所述监听数据对应的告警触发条件;
基于所述告警触发条件,对所述指标字段中的指标数据进行计算。
在一个实施例中,所述装置还包括:
确定模块,用于基于配置指令确定所述目标数据源对应的多个配置条件;
组合模块,用于对所述配置条件进行组合,得到组合后的所述配置条件,并基于组合后的所述配置条件生成所述规则数据;
所述计算模块,还用于从所述规则数据中提取组合后的所述配置条件,并将组合后的所述配置条件作为所述监听数据对应的告警触发条件。
在一个实施例中,所述指标字段中的指标数据包括多次监听所得的多个指标数据;所述计算模块,还用于:
依次判断各所述指标数据是否满足所述告警触发条件;
对满足所述告警触发条件的指标数据的个数进行计数;
将计数所得的数值作为所述计算结果。
在一个实施例中,所述告警模块,还用于:
若所述计算结果达到所述告警触发条件对应的告警阈值,生成包括所述计算结果、所述告警触发条件以及所述指标字段的告警消息;
若确定当前时间在通知时段内、且所述当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送所述告警消息。
在一个实施例中,所述装置还包括:
查询模块,还用于在达到查询时间时,查询未发送的告警消息;
推送模块,用于若所述未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于所述预设时长,则对所述未发送的告警消息进行推送。
在一个实施例中,所述获取模块,还用于:
配置待监听的目标数据源的链接信息;
根据所述链接信息订阅所述目标数据源;
对订阅的所述目标数据源进行监听,得到所述监听数据。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
从目标数据源获取监听数据;
基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
根据字段映射关系将所述目标字段映射至指标字段;
基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
从目标数据源获取监听数据;
基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
根据字段映射关系将所述目标字段映射至指标字段;
基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
从目标数据源获取监听数据;
基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
根据字段映射关系将所述目标字段映射至指标字段;
基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
上述数据监控的方法、装置、计算机设备、存储介质和计算机程序产品,从目标数据源获取监听数据。基于目标数据源对应的数据格式,从监听数据中抽取目标字段,并根据字段映射关系将目标字段映射至指标字段,从而可以从监听数据中提取出监控指标对应的字段,然后基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果。若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。从而可以根据采集的监听数据快速的判断智能设备的运行情况并及时的进行告警,提高了对智能设备进行监控的效率。
附图说明
图1为一个实施例中数据监控的方法的应用环境图;
图2为一个实施例中数据监控的方法的流程示意图;
图3为一个实施例中指标数据计算方法的流程示意图;
图4为一个实施例中处理层的逻辑原理图;
图5a为一个实施例中规则模板和规则脚本生成方法的时序图;
图5b为一个实施例中规则脚本生成方法的原理图;
图6a为一个实施例中告警触发方法的时序图;
图6b为一个实施例中告警消息发送方法的流程示意图;
图7为一个实施例中目标数据源监听方法的流程示意图;
图8为一个实施例中链接层与处理层的示意图;
图9为另一个实施例中数据监控的方法的流程示意图;
图10为一个实施例中告警配置方法的原理示意图;
图11为又一个实施例中数据监控的方法的流程示意图;
图12为一个实施例中数据监控的装置的结构框图;
图13为一个实施例中数据监控的装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据监控的方法,可以应用于如图1所示的应用环境中。其中,智能设备102通过网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104从目标数据源获取监听数据;基于目标数据源对应的数据格式,从监听数据中抽取目标字段;根据字段映射关系将目标字段映射至指标字段;基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果;若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。
其中,智能设备102可以但不限于是各种机器人、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。机器人可以是各种服务机器人、导航机器人、送餐机器人、扫地机器人等。物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
其中,服务器104可以是独立的物理服务器,也可以是区块链***中的多个服务节点所组成的服务器集群,各服务节点之间形成组成点对点(P2P,Peer To Peer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。此外,服务器也可以是多个物理服务器构成的服务器集群,可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中,如图2所示,提供了一种数据监控的方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202,从目标数据源获取监听数据。
其中,目标数据源为监听数据的来源,包括数据库、文件***或者消息***等。数据库可以为关系型数据库或者非关系型数据库。例如,数据库可以为MySql数据库、Oracle数据库等。消息***是用于分布式发布、订阅消息的***,例如可以是Kafka消息***。监听数据为对智能设备进行监听所得的数据,包括智能设备的配置参数、运行状态数据、记录任务执行情况的数据或者用于记录异常事件的数据等。例如,监听数据可以为机器人的行驶里程数、运行时间、电量、异常关机数据或者定位数据等等。又例如,监听数据可以为智能手表的***内存、屏幕分辨率或者网络连接数据等。
S204,基于目标数据源对应的数据格式,从监听数据中抽取目标字段。
其中,数据格式用于存储和表示数据的格式,可以为文本格式、字符格式或者其他数据格式等。例如,数据格式可以为JSON(Java Script Object Notation,JS对象简谱)格式。JSON格式用序列化的键值对表示数据,键值对中的值可以是对象、数组、数字、或者字符串等。当键值对中的值为对象时,该对象可以嵌套键值对,各级键值对的值向下嵌套键值对,形成层级结构的数据格式。例如,目标数据源对应的数据格式可以描述目标数据源包括几层键值对,每级键值对的键和值分别是什么字段等。目标字段可以是监听数据中与指标字段具有映射关系的字段。
服务器基于目标数据源对应的数据格式,从监听数据中抽取目标字段。具体地,服务器基于目标数据源对应的数据格式,确定目标数据源的层级结构,根据目标数据源的层级结构确定所需提取的目标字段在监听数据中的位置,然后根据目标字段的位置进行抽取。例如,服务器确定目标字段为第三层键值对的值,对第三次键值对的值进行抽取,得到目标字段。
S206,根据字段映射关系将目标字段映射至指标字段。
其中,字段映射关系为目标字段与指标字段间的映射关系。例如,字段映射关系为目标字段1映射至指标字段A;又例如,字段映射关系为目标字段1与目标字段2的和映射至指标字段B。指标字段为监控指标对应的字段。监控指标为用于衡量智能设备运行情况的参数,例如,行驶里程、运行时间、待机时长或者单位时长耗电量等。
服务器根据字段映射关系将目标字段映射至指标字段,具体地,服务器可以直接将目标字段映射至指标字段,或者服务器也可以对多个目标字段进行计算,并将计算结果映射至指标字段。
S208,基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果。
其中,告警触发条件为用于判断是否进行告警的条件。例如,告警触发条件可以为行驶里程小于预设里程;或者告警触发条件可以为运行时长小于预设时长;或者告警触发条件可以为单位时间耗电量大于预设电量值等。
在一个实施例中,指标字段中的指标数据包括多次监听所得的多个指标数据;S208具体包括:依次判断各指标数据是否满足告警触发条件;对满足告警触发条件的指标数据的个数进行计数;将计数所得的数值作为计算结果。
服务器对智能设备进行持续监听,将每次监听所得的监听数据映射为指标字段中的指标数据,然后对满足告警触发条件的指标数据进行计数,并将计数所得的数值作为计算结果。例如,若在持续监听过程中,有5个指标数据满足告警触发条件,则计数所得的数值为5,计算结果为5。
S210,若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。
其中,告警阈值为用于判断计算结果大小的临界值,可以根据应用场景的实际需要进行设置。例如,告警阈值可以设置为10、15或者50等。若计算结果达到告警触发条件对应的告警阈值,说明智能设备可能发生故障或者运行异常,服务器基于告警策略进行告警。例如,服务器可以以站内信、接口回调、邮件、短信或者应用程序消息等形式向客户端推送告警信息。
上述实施例中,从目标数据源获取监听数据。基于目标数据源对应的数据格式,从监听数据中抽取目标字段,并根据字段映射关系将目标字段映射至指标字段,从而可以从监听数据中提取出监控指标对应的字段,然后基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果。若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。从而可以根据采集的监听数据快速的判断智能设备的运行情况并及时的进行告警,提高了对智能设备进行监控的效率。
在一个实施例中,如图3所示,S208具体包括:
S302,确定监听数据对应的规则标识。
S304,查询规则标识对应的规则数据。
S306,从规则数据中提取配置条件,并将配置条件作为监听数据对应的告警触发条件。
S308,基于告警触发条件,对指标字段中的指标数据进行计算。
其中,规则标识为监控规则的标识,可以包括数字、字符、字母或者特殊符号中的一种或多种。规则数据为用于描述监控规则的相关数据,包括监控规则的配置条件、阈值或者监控指标等。
在一个实施例中,S304之前还包括:基于配置指令确定目标数据源对应的多个配置条件;对配置条件进行组合,得到组合后的配置条件,并基于组合后的配置条件生成规则数据;S306具体包括:从规则数据中提取组合后的配置条件,并将组合后的配置条件作为监听数据对应的告警触发条件。
其中,配置指令为用于对目标数据源进行条件配置的指令,可以是通过点击、滑动、拖动等操作触发的指令。例如,当通过鼠标点击了配置界面上的候选条件时,即触发了配置指令,通过鼠标选取的候选条件为该数据源对应的配置条件。当基于配置指令选取了多个配置条件时,服务器对多个配置条件进行组合,得到组合后的配置条件。例如,服务器可以对多个配置条件进行逻辑组合,得到组合后的配置条件。例如,若基于配置指令选取了配置条件1、配置条件2和配置条件3,则所得的组合后的配置条件可以为“‘配置条件1’与‘配置条件2’或者‘配置条件3’”。
在一个实施例中,服务器基于配置条件、配置阈值与配置指标生成规则数据。其中,配置阈值是对目标数据源配置的告警阈值,也即目标数据源对应的告警触发条件的告警阈值。例如,服务器可以获取通过配置界面中的输入框输入的配置阈值,并将输入的配置阈值作为告警阈值。配置指标是对目标数据源配置的监控指标,可以通过配置指令在配置界面中展示的候选指标中选取。
在一个实施例中,如图4所示,服务器的处理层获取用户选取的配置条件,对配置条件进行组合。然后基于用户选取的配置指标、组合后的配置条件和配置阈值生成规则数据,并将规则数据转换为规则脚本。主程序通过调用规则引擎执行规则脚本,以将规则数据中的配置条件作为告警触发条件,通过告警触发条件对指标字段中的指标数据进行计算,得到计算结果。若计算结果达到配置阈值(也即告警阈值),基于告警策略进行告警。
在一个实施例中,服务器还可以基于告警周期、监控范围生成规则数据。用户通过配置界面对目标数据源的条件、阈值、监控指标、告警周期与监控范围等参数进行配置。
在一个实施例中,如图5a所示,操作人员通过配置界面选取配置条件、配置指标和配置阈值等配置参数,服务器根据选取的配置参数生成规则模板,并将规则模板发送至规则服务。规则服务将规则模板转换为规则脚本,并在数据库和缓存中保存规则模板和规则脚本。
在一个实施例中,如图5b所示,运营方建立监控规则,根据基于监控规则制定的监控策略,通过管理后台选择配置指标、监控条件并通过配置界面输入告警阈值。运营方根据配置指标、配置的监控条件以及告警阈值生成规则模板,并将规则模板组合提交至管理后台。管理后台将规则模板发送至处理层,处理层将规则模板转换为规则脚本并存储。
上述实施例中,服务器可以对条件、阈值、监控指标、告警周期与监控范围等参数进行配置并且可以对配置条件进行组合,以根据配置的参数生成规则数据。从而可以使监控方法适用于各种智能设备,扩展了应用场景并且方便对***进行维护。
在一个实施例中,S210具体包括:若计算结果达到告警触发条件对应的告警阈值,生成包括计算结果、告警触发条件以及指标字段的告警消息;若确定当前时间在通知时段内、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送告警消息。
其中,通知时段是预计推送告警消息的时段,可以根据用户需求进行设置。例如,通知时段可以为9:00-11:00。预设时长是相邻两次进行告警推送的时间间隔时长。例如,预设时长可以为1分钟、10分钟或者15分钟等。
服务器可以根据消息模板生成告警消息,并且可以对消息模板进行配置,所配置的消息模板中包括消息的通知方式、内容格式以及语言等。服务器按照消息模板对计算结果、告警触发条件以及指标字段等进行编辑,得到告警消息。在一个实施例中,告警消息中还可以包括数据源、监听时间、告警阈值或者规则标识中的一种或多种。在一个实施例中,服务器对已推送的告警消息添加已推送标记。
在一个实施例中,如图6a所示,数据监控***包括监控服务、规则服务、告警服务、Mysql数据库与Redis等。监控服务、规则服务与告警服务为分布式微服务。监控服务从目标数据源获取监听数据并基于目标数据源对应的数据格式,从监听数据中抽取目标字段,并根据字段映射关系将目标字段映射至指标字段,然后将指标字段中的指标数据发送至规则服务。规则服务根据数据源对应的规则标识向Mysql数据库查询规则,Mysql数据库向规则服务返回规则数据。Redis依次判断各指标数据是否满足规则数据中的告警触发条件,并对满足告警触发条件的指标数据的个数进行计数并向规则服务返回计数结果。规则服务判断计数结果是否满足告警触发条件。若计数结果满足告警触发条件,则规则服务根据配置的告警时间间隔对推送告警消息的频次进行限制。若当前时间在通知时段内、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送告警消息。
在一个实施例中,在达到查询时间时,查询未发送的告警消息;若未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则对未发送的告警消息进行推送。
其中,查询时间是查询未发送的告警消息的时间。例如,服务器可以每隔一小时查询一次未发送的告警消息;或者,服务器也可以在9:00、11:00等预设的查询时间查询未发送的告警消息。
在一个实施例中,如图6b所示,服务器定时查询未发送的告警消息,若未发送的告警消息的预计发送时间小于当前时间,则查询告警消息对应的redis_key(缓存键)是否存在。如果redis_key存在,说明在之前的预设时长内已发送过该告警消息,为避免频繁发送告警消息浪费网络资源,则将该告警消息标记为限流拦截消息;如果redis_key不存在,说明在之前的预设时长内未发送过该告警消息,则推送该告警消息,并将该告警消息标记为已发送。
上述实施例中,服务器只有在当前时间在通知时段内时才推送告警消息,而通知时段可以根据用户需求进行设置,从而可以按照用户需求进行消息推送。服务器在当前时间与上次进行告警推送时的时间间隔大于预设值时,推送告警消息,从而可以对推送告警消息的频次进行限制,避免由于频繁的进行消息推送而导致浪费网络资源。
在一个实施例中,S202具体包括:配置待监听的目标数据源的链接信息;根据链接信息订阅目标数据源;对订阅的目标数据源进行监听,得到监听数据。
其中,链接信息是用于连接目标数据源的信息,包括目标数据源对应的账号、密码、网络地址等。服务器根据目标数据源的链接信息订阅目标数据源,并对订阅的目标数据源进行监听。具体地,如图7所示,用户在web端配置目标数据源的链接信息,链接层根据配置的链接信息对目标数据源进行落库操作。链接层向kafka消息队列发送数据源监听消息,当收到kafka消息队列对数据源监听消息的响应时,链接层消费数据源监听消息。当链接层接收到kafka消息队列对链接层发送的消费数据源监听消息的响应时,链接层通过数据库订阅数据源并对目标数据源进行持续监听。当web端请求停止监听数据源时,链接层向数据库发送停止监听数据源消息并停止对目标数据源进行监听。服务器基于目标数据源对应的数据格式,从监听数据中抽取目标字段;根据字段映射关系将目标字段映射至指标字段,然后将指标字段发送至处理层进行处理。
上述实施例中,服务器配置待监听的目标数据源的链接信息;根据链接信息订阅目标数据源;对订阅的目标数据源进行监听,得到监听数据。从而可以同时订阅多个数据源,支持高并发的数据监听,提高了对目标数据源的监听效率。并且与现有的监听***的兼容性较强,降低了对现有监听***的改造成本。
在一个实施例中,数据监控***包括链接层、处理层和告警层,每层均有独立的逻辑输入与逻辑输出,可以独立部署服务,并可以通过标准输入输出进行连接。链接层用于进行数据准备,包括从数据源获取监听数据,对监听数据进行数据清洗、数据转换与数据集成。处理层用于进行数据计算,包括配置告警触发条件、阈值等,并根据告警触发条件对指标数据进行计算。告警层用于进行数据告警。具体地,如图8所示,链接层从消息队列或者数据库等数据源获取监听数据,然后通过ETL(Extract-Transform-Load,抽取-转换-加载)抽取脚本从监听数据中抽取目标字段并将目标字段映射至指标字段输出至处理层。链接层也可以对数据库中数据表进行拆分与组合并进行数值处理与格式转换等。此外,链接层可以对监控指标进行配置。具体地,用户可以在配置界面对数据源的监控指标进行配置,当服务器接收到在web端的配置界面触发的指标配置指令时,基于指标配置指令确定用户所配置的监控指标。处理层对告警触发条件、告警阈值等进行配置,并根据配置的告警触发条件、告警阈值和监控指标生成规则脚本。处理层的任务主程序执行规则脚本,通过调用规则引擎对指标字段中的指标数据进行计算,并将计算结果输出至告警层。
在一个实施例中,如图9所示,链接层获取监听数据以及配置指标,然后判断监听数据是否符合监听策略,具体地,判断监听数据中是否包含配置指标对应的目标字段。若监听数据符合策略,则链接层触发监控规则并将目标字段发送至处理层进行计算。告警层查询数据源对应的规则脚本,然后通过执行规则脚本对目标字段进行计算,判断计算结果是否达到告警阈值。若计算结果达到告警阈值,则基于告警策略进行告警。
在一个实施例中,服务器在开始对智能设备进行监控之前,对***进行配置,包括配置监听策略、告警策略和消息通知格式。如图10所示,运营方建立通知模板,并根据通知模板制定通知格式。具体地,管理后台根据通知模板中的通知方式、内容格式与语言制定通知格式。运营方对通知格式进行保存并通过管理后台发送至告警层,告警层将通知格式保存到数据库。运营方在配置界面配置监听策略,具体地,当管理后台接收到运营方触发的告警配置新建指令时,通过链接层从数据库获取候选的配置项,基于候选的配置项生成告警配置界面并展示,运营方在告警配置界面选择产品、监控指标、数据源、规则标识和通知模板以及通知告警消息的时间段。管理后台对运营方选择的配置项进行整合并提交至链接层,链接层将运营方选择的产品标识以及与产品标识对应的监控指标、数据源和规则标识组成监听策略并存储。告警层将运营方选择的规则标识、通知模板与通知接收方标识组成告警策略并存储。链接层在对智能设备进行监控时,首先获取数据源对应的监听策略,根据监听策略确定数据源对应的监控指标与规则标识。然后将从数据源获取的监听数据中目标字段映射至监控指标对应的指标字段。基于规则标识对应的告警触发条件,对指标字段中的指标数据进行计算。若计算结果达到告警触发条件对应的告警阈值,则根据告警策略中通知模板对应的通知格式生成告警消息,并按照告警策略中的通知方标识推送告警消息。
在一个实施例中,如图11所示,数据监控的方法包括如下步骤:
S1102,从目标数据源获取监听数据。
S1104,基于目标数据源对应的数据格式,从监听数据中抽取目标字段。
S1106,根据字段映射关系将目标字段映射至指标字段。
S1108,确定监听数据对应的规则标识,并查询规则标识对应的规则数据。
S1110,从规则数据中提取配置条件,并将配置条件作为监听数据对应的告警触发条件。
S1112,依次判断各指标数据是否满足告警触发条件,并对满足告警触发条件的指标数据的个数进行计数,将计数所得的数值作为计算结果。
S1114,若计算结果达到告警触发条件对应的告警阈值,则生成包括计算结果、告警触发条件以及指标字段的告警消息。
S1116,若确定当前时间在通知时段内、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送告警消息。
S1118,在查询时间到达时,查询未发送的告警消息。
S1120,若未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则对未发送的告警消息进行推送。
上述S1102至S1120的具体内容可以参考上文的具体实现过程。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据监控的方法的数据监控的装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据监控的装置实施例中的具体限定可以参见上文中对于数据监控的方法的限定,在此不再赘述。
在一个实施例中,如图12所示,提供了一种数据监控的装置,包括:获取模块1202、抽取模块1204、映射模块1206、计算模块1208和告警模块1210,其中:
获取模块1202,用于从目标数据源获取监听数据;
抽取模块1204,用于基于目标数据源对应的数据格式,从监听数据中抽取目标字段;
映射模块1206,用于根据字段映射关系将目标字段映射至指标字段;
计算模块1208,用于基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果;
告警模块1210,用于若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。
上述实施例中,从目标数据源获取监听数据。基于目标数据源对应的数据格式,从监听数据中抽取目标字段,并根据字段映射关系将目标字段映射至指标字段,从而可以从监听数据中提取出监控指标对应的字段,然后基于监听数据对应的告警触发条件,对指标字段中的指标数据进行计算,得到计算结果。若计算结果达到告警触发条件对应的告警阈值,则基于告警策略进行告警。从而可以根据采集的监听数据快速的判断智能设备的运行情况并及时的进行告警,提高了对智能设备进行监控的效率。
在一个实施例中,计算模块1208,还用于:
确定监听数据对应的规则标识;
查询规则标识对应的规则数据;
从规则数据中提取配置条件,并将配置条件作为监听数据对应的告警触发条件;
基于告警触发条件,对指标字段中的指标数据进行计算。
在一个实施例中,如图13所示,装置还包括:
确定模块1212,用于基于配置指令确定目标数据源对应的多个配置条件;
组合模块1214,用于对配置条件进行组合,得到组合后的配置条件,并基于组合后的配置条件生成规则数据;
计算模块1208,还用于从规则数据中提取组合后的配置条件,并将组合后的配置条件作为监听数据对应的告警触发条件。
在一个实施例中,指标字段中的指标数据包括多次监听所得的多个指标数据;计算模块1208,还用于:
依次判断各指标数据是否满足告警触发条件;
对满足告警触发条件的指标数据的个数进行计数;
将计数所得的数值作为计算结果。
在一个实施例中,告警模块1210,还用于:
若计算结果达到告警触发条件对应的告警阈值,生成包括计算结果、告警触发条件以及指标字段的告警消息;
若确定当前时间在通知时段内、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送告警消息。
在一个实施例中,装置还包括:
查询模块1216,还用于在达到查询时间时,查询未发送的告警消息;
推送模块1218,用于若未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于预设时长,则对未发送的告警消息进行推送。
在一个实施例中,获取模块1202,还用于:
配置待监听的目标数据源的链接信息;
根据链接信息订阅目标数据源;
对订阅的目标数据源进行监听,得到监听数据。
上述数据监控的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过***总线连接,通信接口通过输入/输出接口连接到***总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据监控数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据监控的方法。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据监控的方法,其特征在于,所述方法包括:
从目标数据源获取监听数据;
基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
根据字段映射关系将所述目标字段映射至指标字段;
基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
2.根据权利要求1所述的方法,其特征在于,所述基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算包括:
确定所述监听数据对应的规则标识;
查询所述规则标识对应的规则数据;
从所述规则数据中提取配置条件,并将所述配置条件作为所述监听数据对应的告警触发条件;
基于所述告警触发条件,对所述指标字段中的指标数据进行计算。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于配置指令确定所述目标数据源对应的多个配置条件;
对所述配置条件进行组合,得到组合后的所述配置条件,并基于组合后的所述配置条件生成所述规则数据;
所述从所述规则数据中提取配置条件,并将所述配置条件作为所述监听数据对应的告警触发条件包括:
从所述规则数据中提取组合后的所述配置条件,并将组合后的所述配置条件作为所述监听数据对应的告警触发条件。
4.根据权利要求1所述的方法,其特征在于,所述指标字段中的指标数据包括多次监听所得的多个指标数据;所述基于所述告警触发条件对所述指标字段中的指标数据进行计算,得到计算结果包括:
依次判断各所述指标数据是否满足所述告警触发条件;
对满足所述告警触发条件的指标数据的个数进行计数;
将计数所得的数值作为所述计算结果。
5.根据权利要求1所述的方法,其特征在于,所述若所述计算结果达到所述告警触发条件对应的告警阈值,基于告警策略进行告警包括:
若所述计算结果达到所述告警触发条件对应的告警阈值,生成包括所述计算结果、所述告警触发条件以及所述指标字段的告警消息;
若确定当前时间在通知时段内、且所述当前时间与上次进行告警推送时的时间间隔大于预设时长,则推送所述告警消息。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在达到查询时间时,查询未发送的告警消息;
若所述未发送的告警消息对应的预计推送时间已到达、且当前时间与上次进行告警推送时的时间间隔大于所述预设时长,则对所述未发送的告警消息进行推送。
7.根据权利要求1所述的方法,其特征在于,所述从目标数据源获取监听数据包括:
配置待监听的目标数据源的链接信息;
根据所述链接信息订阅所述目标数据源;
对订阅的所述目标数据源进行监听,得到所述监听数据。
8.一种数据监控的装置,其特征在于,所述装置包括:
获取模块,用于从目标数据源获取监听数据;
抽取模块,用于基于所述目标数据源对应的数据格式,从所述监听数据中抽取目标字段;
映射模块,用于根据字段映射关系将所述目标字段映射至指标字段;
计算模块,用于基于所述监听数据对应的告警触发条件,对所述指标字段中的指标数据进行计算,得到计算结果;
告警模块,用于若所述计算结果达到所述告警触发条件对应的告警阈值,则基于告警策略进行告警。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的数据监控的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的数据监控的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005607.8A CN116260702A (zh) | 2023-01-04 | 2023-01-04 | 数据监控的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310005607.8A CN116260702A (zh) | 2023-01-04 | 2023-01-04 | 数据监控的方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116260702A true CN116260702A (zh) | 2023-06-13 |
Family
ID=86685491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310005607.8A Pending CN116260702A (zh) | 2023-01-04 | 2023-01-04 | 数据监控的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116260702A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116610664A (zh) * | 2023-07-19 | 2023-08-18 | 深圳高灯计算机科技有限公司 | 数据监控方法、装置、计算机设备、存储介质和产品 |
-
2023
- 2023-01-04 CN CN202310005607.8A patent/CN116260702A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116610664A (zh) * | 2023-07-19 | 2023-08-18 | 深圳高灯计算机科技有限公司 | 数据监控方法、装置、计算机设备、存储介质和产品 |
CN116610664B (zh) * | 2023-07-19 | 2024-01-16 | 深圳高灯计算机科技有限公司 | 数据监控方法、装置、计算机设备、存储介质和产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727039B2 (en) | Low-latency streaming analytics | |
US10985970B1 (en) | Automatic actionable event responder for operational clusters | |
US11397726B2 (en) | Data enrichment and augmentation | |
US11816108B1 (en) | Dynamic alert messages using tokens based on searching events | |
US11829330B2 (en) | Log data extraction from data chunks of an isolated execution environment | |
US20190258677A1 (en) | Cardinality of time series | |
CN111885040A (zh) | 分布式网络态势感知方法、***、服务器及节点设备 | |
CN106874424A (zh) | 一种基于MongoDB和Redis的网页数据采集处理方法及*** | |
CN111752799A (zh) | 一种业务链路跟踪方法、装置、设备及储存介质 | |
US9396448B2 (en) | Distributed and open schema interactions management system and method | |
CN105427545B (zh) | 基于drools的设备告警管理方法及装置 | |
CN114265758A (zh) | 基于软硬件一体化架构的全链路监控方法及装置 | |
CN113420043A (zh) | 数据实时监控方法、装置、设备及存储介质 | |
CN114090366A (zh) | 一种监控数据的方法、装置和*** | |
CN116260702A (zh) | 数据监控的方法、装置、计算机设备和存储介质 | |
US10331484B2 (en) | Distributed data platform resource allocator | |
CN113377626A (zh) | 基于服务树的可视化统一报警方法、装置、设备和介质 | |
CN114070718B (zh) | 一种告警方法、装置和存储介质 | |
CN114443437A (zh) | 告警根因输出方法、装置、设备、介质和程序产品 | |
US20160125005A1 (en) | Apparatus and Method for Profiling Activities and Transitions | |
CN111522918A (zh) | 数据汇聚方法、装置、电子设备及计算机可读存储介质 | |
CN114756301B (zh) | 日志处理方法、装置和*** | |
CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
CN115514618A (zh) | 告警事件的处理方法、装置、电子设备和介质 | |
CN115237617A (zh) | 接口组件的确定方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |