CN113342606A - 基于消息中间件的数据监控方法、装置、设备和存储介质 - Google Patents
基于消息中间件的数据监控方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113342606A CN113342606A CN202110633822.3A CN202110633822A CN113342606A CN 113342606 A CN113342606 A CN 113342606A CN 202110633822 A CN202110633822 A CN 202110633822A CN 113342606 A CN113342606 A CN 113342606A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring
- request
- asynchronous
- subscription request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 457
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000012545 processing Methods 0.000 claims abstract description 97
- 238000004590 computer program Methods 0.000 claims description 27
- 238000013079 data visualisation Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3086—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及机架运维领域的软件监控，具体涉及一种基于消息中间件的数据监控方法、装置、计算机设备和存储介质。所述方法包括：获取数据监控请求；解析数据监控请求，获取数据监控请求对应的目标数据地址信息以及数据检查方法；根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器；接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据；通过数据检查方法对异步监控数据进行检查，获取监控结果数据。本申请的数据监控方法可以完成对全量的目标数据进行监控处理，而不是只对检查时间点的目标数据进行监控，所以可以有效地避免数据监控中故障遗漏，提高数据监控的有效性。
Description
技术领域
本申请涉及机架运维领域的软件监控，特别是涉及一种基于消息中间件的数据监控方法、装置、设备和存储介质。
背景技术
信息***(Information system)，是由计算机硬件、网络和通信设备、计算机软件、信息资源、信息用户和规章制度组成的以处理信息流为目的的人机一体化***。主要有五个基本功能，即对信息的输入、存储、处理、输出和控制。而信息***的监控，是信息***的维护环节中不可或缺的环节，越是重要的***，对***的监控和故障的检测就愈发重要。几乎任何一个信息***，都要建立对应的监控方案。
通用的监控方式，一般使用读取日志中的关键字或者定时查询数据库中的数据，通过对比查询结果与预期数据之间的区别，来达到数据监控的目的。
然而在这种方式下，监控过程中一般通过定时查询的方式来进行查询结果，在定时查询的方式下，检查时间点之间的故障容易遗漏，并造成安全隐患。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效减少故障遗漏，提高数据监控有效性的基于消息中间件的数据监控方法、装置、计算机设备和存储介质。
一种基于消息中间件的数据监控方法，所述方法包括：
获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；
通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
上述数据监控方法，通过获取用户端发送的数据监控请求；根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器；接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据，异步监控数据由数据订阅服务器通过消息中间件获取；通过数据检查方法对异步监控数据进行检查，获取监控结果数据。本申请的数据监控方法，通过监控数据请阅请求获取所有的异步监控数据，而后通过数据检查方法来对异步监控数据进行全量检查，通过本申请的数据监控方法可以完成对全量的目标数据进行监控处理，而不是只对检查时间点的目标数据进行监控，所以可以有效地避免数据监控中故障遗漏，提高数据监控的有效性。
在其中一个实施例中，所述通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据之后，还包括：
通过预设数据可视化方法对所述异步监控数据以及所述监控结果数据进行可视化处理，获取可视化监控数据；
反馈所述可视化监控数据至所述用户端。
在其中一个实施例中，所述方法还包括：
接收数据订阅服务器发送的接口信息，所述接口信息根据消息中间件对应的数据接口生成；
则，所述根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器包括：
根据所述目标数据地址信息与所述接口信息打包生成监控数据订阅请求；
发送所述监控数据订阅请求至所述数据订阅服务器。
在其中一个实施例中，所述通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据之后，还包括：
当所述监控结果数据包括数据异常监控结果时，根据所述数据异常监控发送对应数据异常警报。
一种基于消息中间件的数据监控方法，所述方法包括：
接收处理前端发送的监控数据订阅请求；
为所述监控数据订阅请求添加所述处理前端对应的数据标记；
推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
根据所述数据标记反馈所述异步监控数据至所述处理前端。
上述基于消息中间件的数据监控方法，通过接收处理前端发送的监控数据订阅请求；为所述监控数据订阅请求添加所述处理前端对应的数据标记；推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；根据所述数据标记反馈所述异步监控数据至所述处理前端。本申请的数据监控方法，根据监控数据请阅请求向消息中间件请求异步监控数据，而后根据监控数据订阅请求对应的数据标记，将获得的异步监控数据反馈给处理前端，由处理前端完成数据监控的处理过程，通过本申请的数据监控方法可以完成对全量的目标数据进行监控处理，而不是只对检查时间点的目标数据进行监控，所以可以有效地避免数据监控中故障遗漏，提高数据监控的有效性。
在其中一个实施例中，所述推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据包括：
解析所述监控数据订阅请求，将所述监控数据订阅请求的数据格式转化消息中间件对应的可识别格式；
推送转化数据格式后的监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据。
一种基于消息中间件的数据监控装置，所述装置包括：
监控请求获取模块，用于获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
监控请求转发模块，用于根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
异步数据接收模块，用于接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；。
监控结果获取模块，用于通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
一种基于消息中间件的数据监控装置，所述装置包括：
订阅请求获取模块，用于获取处理前端发送的监控数据订阅请求；
数据标记模块，用于为所述监控数据订阅请求添加所述处理前端对应的数据标记；
数据推送模块，用于推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
监控数据反馈模块，用于根据所述数据标记反馈所述异步监控数据至所述处理前端。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；
通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收处理前端发送的监控数据订阅请求；
为所述监控数据订阅请求添加所述处理前端对应的数据标记；
推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
根据所述数据标记反馈所述异步监控数据至所述处理前端。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；
通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收处理前端发送的监控数据订阅请求；
为所述监控数据订阅请求添加所述处理前端对应的数据标记；
推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
根据所述数据标记反馈所述异步监控数据至所述处理前端。
附图说明
图1为一个实施例中基于消息中间件的数据监控方法的应用环境图；
图2为一个实施例中基于消息中间件的数据监控方法的流程示意图；
图3为一个实施例中对数据进行可视化处理步骤的流程示意图；
图4为一个实施例中图2中步骤205的子流程示意图；
图5为另一个实施例中基于消息中间件的数据监控方法的流程示意图；
图6为一个实施例中图5中步骤506的子流程示意图；
图7为一个实施例中基于消息中间件的数据监控装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于消息中间件的数据监控方法，可以应用于如图1所示的应用环境中。其中，处理前端102通过网络与数据订阅服务器104通过网络进行通信。数据订阅服务器104与消息中间件服务器106通过网络进行通信。处理前端102获取用户提交的数据监控请求；解析数据监控请求，获取数据监控请求对应的目标数据地址信息以及数据检查方法；根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器104；数据订阅服务器104接收处理前端发送的监控数据订阅请求；为监控数据订阅请求添加处理前端对应的数据标记；推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据；根据数据标记反馈异步监控数据至处理前端。接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据。通过数据检查方法对异步监控数据进行检查，获取监控结果数据。其中，处理前端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，数据订阅服务器104以及消息中间件服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于消息中间件的数据监控方法，以该方法应用于图1中的处理前端102为例进行说明，包括以下步骤：
步骤201，获取用户端发送的数据监控请求，数据监控请求包括数据检查方法和目标数据地址信息。
其中，数据监控请求是指用户向处理前端102提交的，用于请求处理前端对信息***内的目标数据进行数据监控，确认目标数据是否异常。数据监控请求内，具体包括了用户希望监控的目标数据地址信息以及用于确认目标数据地址信息是否出现异常的数据检查方法。其中目标数据地址信息是指本次数据监控对应的目标数据的具体所在位置的信息，而目标数据具体可以为数据监控的目标信息***内的部分原始数据。而数据检查方法则是用于确定这些请求来的目标数据是否存在异常的方法。除此之外，数据监控请求还可以包括目标数据的描述信息，用于查找确定目标数据。
具体的，本申请的数据监控方法，在处理前端102上，具体可以以web(World WideWeb，全球广域网)应用的存在。当用户需要对某个信息***内的指定数据进行数据监控时，可以直接在处理前端102上生成并提交数据监控请求，而后web会获取用户提交的数据监控请求，并开始后续的数据监控操作。以web为数据监控的主体，监控界面则可以为web浏览器，从而无需安装新的监控客户端，进一步简化数据监控的操作流程。具体地，处理前端102在接收到用户的数据监控请求后，还可以通过解析用户提交的数据监控请求，获得目标数据地址信息以及数据检查方法，进而确定用户的数据监控请求所请求的是哪些目标数据。监控用户为了对信息***中的原始数据进行订阅，可以通过数据订阅请求来向数据订阅服务器来请求数据监控对应的目标数据，并通过对应的数据检查方法对原始消息数据进行识别并展示，当原始消息数据出现异常时，还可以进行报警，以达到数据监控的目的。
步骤203，根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器。
其中，监控数据订阅请求是指向数据订阅服务器请求数据监控对应目标数据的请求，其根据用户提交的数据监控请求中的目标数据地址信息生成。而数据订阅服务器是指处于用于信息流转的服务器，数据订阅服务器可以与多个数据处理前端102以及消息中间件服务器106连接。用于实现，提供数据接口、接收订阅的监控数据、推送监控数据到数据处理前端102等功能。
具体地，处理前端102可以根据数据监控请求中的目标数据地址信息，向数据订阅服务器104发送相应的监控数据订阅请求，来向数据订阅服务器请求监控数据。
步骤205，接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据，异步监控数据由数据订阅服务器通过消息中间件获取。
其中消息中间件是指负责消息数据的发送和接受，利用高效可靠的异步消息传递机制进行消息数据传送的服务器，对应上述的消息中间件服务器106。异步监控数据是指数据订阅服务器根据监控数据订阅请求在消息中间件中查找得到的监控的目标数据。
具体地，数据订阅服务器104在接收到监控数据订阅请求后，会向消息中间件请求相应的异步监控数据。而由于数据订阅服务器104从消息中间件获取的监控数据的异步获取的，可以随时获取，并全部接收，不会发生遗漏错误的情况。同时如果忽略数据逻辑处理的时间的话，从数据订阅服务器104获取的监控数据为实时接收，从而可以实现无延迟地接收监控数据，进而提高数据监控的时效性。
步骤207，通过数据检查方法对异步监控数据进行检查，获取监控结果数据。
具体地，处理前端102可以通过上述的数据检查方法来对异步监控数据并对分析，当检查出异步监控数据出现异常时，对其进行标记，同时在检查分析的过程中还可以生成对应的数据分析日志，以供用户在后续的监控数据异常分析时使用，以提高数据监控异常分析的效率。
上述基于消息中间件的数据监控方法，通过首先获取数据监控请求；解析数据监控请求，获取数据监控请求对应的目标数据地址信息以及数据检查方法；根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器；接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据；通过数据检查方法对异步监控数据进行检查，获取监控结果数据。本申请的数据监控方法，通过监控数据请阅请求获取所有的异步监控数据，而后通过数据检查方法来对异步监控数据进行全量检查，通过本申请的数据监控方法可以完成对全量的目标数据进行监控处理，而不是只对检查时间点的目标数据进行监控，所以可以有效地避免数据监控中故障遗漏，提高数据监控的有效性。
如图3所示，在其中一个实施例中，步骤209之后，还包括：
步骤302，通过预设数据可视化方法对异步监控数据以及监控结果数据进行可视化处理，获取可视化监控数据。
步骤304，反馈可视化监控数据至用户端。
其中，预设数据可视化方法是指把异步监控数据以及监控结果数据以更直观的方式进行展示的方法。具体可以包括，根据数据的类型生成对应的数据变化图，或者数据列表。
具体地，在获取监控结果数据之后，为了向用户更直观地展示数据监控获得的监控结果数据，可以对异步监控数据以及监控结果数据进行可视化处理，通过可视化处理将异步监控数据以及最后的监控结果数据向用户进行展示。比如在一个实施例中，获取的异步监控数据是显示价格变化的一串离散数字，而预设数据可视化方法对应的是一个折线图展示法。则可以将异步监控数据导入到现有的折线图模板，将数据的变化过程通过图像的方式进行展示。在本实施例，通过预设数据可视化方法对监控过程中的异步监控数据以及监控结果数据进行展示，可以更直观地向用户展示数据监控的过程以及监控结果，从而提高数据监控的效果。
如图4所示，在其中一个实施例中，本申请的基于消息中间件的数据监控方法还包括：
步骤401，接收数据订阅服务器发送的接口信息，接口信息根据消息中间件对应的数据接口生成。
则，步骤205包括：
步骤403，根据目标数据地址信息与接口信息打包生成监控数据订阅请求。
步骤405，发送监控数据订阅请求至数据订阅服务器。
其中接口信息具体可以是指web接口信息。web接口即Web Service接口，WebService技术，能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成。依据Web Service规范实施的应用之间，无论它们所使用的语言、平台或内部协议是什么，都可以相互交换数据。Web Service是自描述、自包括的可用网络模块，可以执行具体的业务功能。
具体地，数据订阅服务器104可以获取消息中间件对应的web接口数据，并反馈相应的接口信息数据处理前端102，之后底层消息订阅服务器可以通过该提供的接口从数据处理前端接收对应的数据订阅请求。此外，在另一个实施例中，还包括了建立信息沟通通道的过程，具体的，数据订阅服务器104接收处理前端102的登录请求与连接请求，数据订阅服务器104根据登录请求查找对应的处理前端102的前端编号，而后根据连接请求与前端编号建立与处理前端102的连接关系，形成订阅消息通道。处理前端102可以先建立与处理前端102之间建立订阅消息通道，而后从数据处理前段接收数据订阅请求，而后进行沟通，通过订阅消息通道可以更方便的进行订阅消息的流转，提高数据监控效率。在本实施例中，通过数据订阅服务器104提供的数据接口来建立数据订阅服务器104与处理前端102之间的数据联系，可以有效提高数据监控过程中的数据处理效率。
在其中一个实施例中，步骤209之后，还包括：当监控结果数据包括数据异常监控结果时，根据数据异常监控发送对应数据异常警报。
本方案中的数据处理过程主要在数据处理前端上进行，主要通过预先的数据检查方法对获取到的异步监控数据进行分析，当得到数据异常的结果时，数据处理前端102可以直接向用户直接报警。并展示异步监控数据中的异常数据，完成数据监控的过程。此外，还可以通过发提示邮件的方式来对监控异常进行报警。本方案中监控的异步监控数据对信息***本身增加的负荷非常低，并且处理的工作放在前端，对***无额外负荷。在本实施例中，通过发送数据异常警报可以有效提示用户当前监控的数据存在异常进行提高数据监控过程的报警时效性。
在一个实施例中，如图5所示，提供了一种基于消息中间件的数据监控方法，以该方法应用于图1中的数据订阅服务器104为例进行说明，包括以下步骤：
步骤502，接收处理前端发送的监控数据订阅请求。
步骤504，为监控数据订阅请求添加处理前端对应的数据标记。
步骤506，推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据。
步骤508，根据数据标记反馈异步监控数据至处理前端。
其中数据标记可以根据当前发送监控数据订阅请求的处理前端102的身份信息进行设置，每个处理前端102对于数据订阅服务器104都有其对应的标记，可以通过标记将通过获得的异步监控数据反馈给到对应的数据处理前端。
具体地，数据订阅服务器104可以从多个不同的处理前端102接收监控数据订阅请求。为了区分不同的处理前端，在接收监控数据订阅请求后，数据订阅服务器104可以为接收到的监控数据订阅请求添加处理前端对应的数据标记。而后推送监控数据订阅请求至消息中间件，并获取消息中间件根据监控数据订阅请求反馈的异步监控数据。最后根据添加的数据标记，将最后获得的异步监控数据反馈至处理前端。完成数据订阅服务器104端的处理过程。通过数据标记，可以有效提高数据反馈的准确性。
上述基于消息中间件的数据监控方法，通过接收处理前端发送的监控数据订阅请求；为监控数据订阅请求添加处理前端对应的数据标记；推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据；根据数据标记反馈异步监控数据至处理前端。本申请的数据监控方法，根据监控数据请阅请求向消息中间件请求异步监控数据，而后根据监控数据订阅请求对应的数据标记，将获得的异步监控数据反馈给处理前端，由处理前端完成数据监控的处理过程，通过本申请的数据监控方法可以完成对全量的目标数据进行监控处理，而不是只对检查时间点的目标数据进行监控，所以可以有效地避免数据监控中故障遗漏，提高数据监控的有效性。
在一个实施例中，如图6所示，步骤506包括：
步骤601，解析监控数据订阅请求，将监控数据订阅请求的数据格式转化消息中间件对应的可识别格式。
步骤603，推送转化数据格式后的监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据。
具体的，由于从数据处理前端获取到的数据订阅请求无法直接被消息中间件读取，所以首先底层消息订阅服务器可以通过对信息流转服务器地解析，将其转化为消息中间件可以的读取的格式，具体的解析格式可以根据消息中间件的类型进行设置。通过将监控数据订阅请求进行解析，进行格式转换，可以有效保证监控数据订阅请求的可阅读性，从而保证数据监控过程数据处理的有效性。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种基于消息中间件的数据监控装置，包括：监控请求获取模块702、监控请求转发模块704、异步数据接收模块706和监控结果获取模块708，其中：
监控请求获取模块702，用于获取用户端发送的数据监控请求，数据监控请求包括数据检查方法和目标数据地址信息。
监控请求转发模块704，用于根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器。
异步数据接收模块706，用于接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据，异步监控数据由数据订阅服务器通过消息中间件获取。
监控结果获取模块708，用于通过数据检查方法对异步监控数据进行检查，获取监控结果数据。
在其中一个实施例中，还包括可视化处理模块，用于：通过预设数据可视化方法对异步监控数据以及监控结果数据进行可视化处理，获取可视化监控数据；反馈可视化监控数据至用户端。
在其中一个实施例中，监控请求转发模块705具体用于：接收数据订阅服务器发送的接口信息，接口信息根据消息中间件对应的数据接口生成；根据目标数据地址信息与接口信息打包生成监控数据订阅请求；发送监控数据订阅请求至数据订阅服务器。
在其中一个实施例中，还包括异常报警模块，用于：当监控结果数据包括数据异常监控结果时，根据数据异常监控发送对应数据异常警报。
在一个实施例中，提供了一种基于消息中间件的数据监控装置，包括：
订阅请求获取模块，用于获取处理前端发送的监控数据订阅请求。
数据标记模块，用于为监控数据订阅请求添加处理前端对应的数据标记。
数据推送模块，用于推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据。
监控数据反馈模块，用于根据数据标记反馈异步监控数据至处理前端。
在其中一个实施例中，
关于基于消息中间件的数据监控装置的具体限定可以参见上文中对于基于消息中间件的数据监控方法的限定，在此不再赘述。上述数据监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据监控方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取用户端发送的数据监控请求，数据监控请求包括数据检查方法和目标数据地址信息；
根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据，异步监控数据由数据订阅服务器通过消息中间件获取；
通过数据检查方法对异步监控数据进行检查，获取监控结果数据。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设数据可视化方法对异步监控数据以及监控结果数据进行可视化处理，获取可视化监控数据；反馈可视化监控数据至用户端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收数据订阅服务器发送的接口信息，接口信息根据消息中间件对应的数据接口生成；根据目标数据地址信息与接口信息打包生成监控数据订阅请求；发送监控数据订阅请求至数据订阅服务器。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当监控结果数据包括数据异常监控结果时，根据数据异常监控发送对应数据异常警报。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收处理前端发送的监控数据订阅请求；
为监控数据订阅请求添加处理前端对应的数据标记；
推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据；
根据数据标记反馈异步监控数据至处理前端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
解析监控数据订阅请求，将监控数据订阅请求的数据格式转化消息中间件对应的可识别格式；
推送转化数据格式后的监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取用户端发送的数据监控请求，数据监控请求包括数据检查方法和目标数据地址信息；
根据目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据监控数据订阅请求反馈的异步监控数据，异步监控数据由数据订阅服务器通过消息中间件获取；
通过数据检查方法对异步监控数据进行检查，获取监控结果数据。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设数据可视化方法对异步监控数据以及监控结果数据进行可视化处理，获取可视化监控数据；反馈可视化监控数据至用户端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收数据订阅服务器发送的接口信息，接口信息根据消息中间件对应的数据接口生成；根据目标数据地址信息与接口信息打包生成监控数据订阅请求；发送监控数据订阅请求至数据订阅服务器。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当监控结果数据包括数据异常监控结果时，根据数据异常监控发送对应数据异常警报。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收处理前端发送的监控数据订阅请求；
为监控数据订阅请求添加处理前端对应的数据标记；
推送监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据；
根据数据标记反馈异步监控数据至处理前端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：解析监控数据订阅请求，将监控数据订阅请求的数据格式转化消息中间件对应的可识别格式；推送转化数据格式后的监控数据订阅请求至消息中间件，获取消息中间件根据监控数据订阅请求反馈的异步监控数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于消息中间件的数据监控方法，所述方法包括：
获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；
通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
2.根据权利要求1所述的方法，其特征在于，所述通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据之后，还包括：
通过预设数据可视化方法对所述异步监控数据以及所述监控结果数据进行可视化处理，获取可视化监控数据；
反馈所述可视化监控数据至所述用户端。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收数据订阅服务器发送的接口信息，所述接口信息根据消息中间件对应的数据接口生成；
则，所述根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器包括：
根据所述目标数据地址信息与所述接口信息打包生成监控数据订阅请求；
发送所述监控数据订阅请求至所述数据订阅服务器。
4.根据权利要求1所述的方法，其特征在于，所述通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据之后，还包括：
当所述监控结果数据包括数据异常监控结果时，根据所述数据异常监控结果发送对应数据异常警报。
5.一种基于消息中间件的数据监控方法，其特征在于，所述方法包括：
接收处理前端发送的监控数据订阅请求；
为所述监控数据订阅请求添加所述处理前端对应的数据标记；
推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
根据所述数据标记反馈所述异步监控数据至所述处理前端。
6.根据权利要求5所述的方法，其特征在于，所述推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据包括：
解析所述监控数据订阅请求，将所述监控数据订阅请求的数据格式转化消息中间件对应的可识别格式；
推送转化数据格式后的监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据。
7.一种基于消息中间件的数据监控装置，其特征在于，所述装置包括：
监控请求获取模块，用于获取用户端发送的数据监控请求，所述数据监控请求包括数据检查方法和目标数据地址信息；
监控请求转发模块，用于根据所述目标数据地址信息发送监控数据订阅请求至数据订阅服务器；
异步数据接收模块，用于接收数据订阅服务器根据所述监控数据订阅请求反馈的异步监控数据，所述异步监控数据由所述数据订阅服务器通过消息中间件获取；。
监控结果获取模块，用于通过所述数据检查方法对所述异步监控数据进行检查，获取监控结果数据。
8.一种基于消息中间件的数据监控装置，其特征在于，所述装置包括：
订阅请求获取模块，用于获取处理前端发送的监控数据订阅请求；
数据标记模块，用于为所述监控数据订阅请求添加所述处理前端对应的数据标记；
数据推送模块，用于推送所述监控数据订阅请求至消息中间件，获取所述消息中间件根据所述监控数据订阅请求反馈的异步监控数据；
监控数据反馈模块，用于根据所述数据标记反馈所述异步监控数据至所述处理前端。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4或5至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4或5至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110633822.3A CN113342606A (zh) | 2021-06-07 | 2021-06-07 | 基于消息中间件的数据监控方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110633822.3A CN113342606A (zh) | 2021-06-07 | 2021-06-07 | 基于消息中间件的数据监控方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113342606A true CN113342606A (zh) | 2021-09-03 |
Family
ID=77475166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110633822.3A Pending CN113342606A (zh) | 2021-06-07 | 2021-06-07 | 基于消息中间件的数据监控方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113342606A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102377685A (zh) * | 2010-08-06 | 2012-03-14 | 阿里巴巴集团控股有限公司 | 一种订阅消息的发送***以及订阅消息的发送方法 |
| US20140350888A1 (en) * | 2013-05-24 | 2014-11-27 | Software Ag | Self-monitoring event-based system and method |
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| JP2017174158A (ja) * | 2016-03-24 | 2017-09-28 | 日本電気株式会社 | 監視システム、監視方法および監視プログラム |
| CN109960621A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据抽取方法 |
| CN110138634A (zh) * | 2019-04-03 | 2019-08-16 | 福建天泉教育科技有限公司 | 一种重点数据的监控方法及终端 |
| CN110225113A (zh) * | 2019-06-10 | 2019-09-10 | 南威互联网科技集团有限公司 | 一种服务监控方法及*** |
| CN110806960A (zh) * | 2019-11-01 | 2020-02-18 | 中国联合网络通信集团有限公司 | 信息处理方法、装置及终端设备 |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112732463A (zh) * | 2021-01-16 | 2021-04-30 | 刘铮 | 一种基于大数据的消息订阅方法和装置 |
-
2021
- 2021-06-07 CN CN202110633822.3A patent/CN113342606A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102377685A (zh) * | 2010-08-06 | 2012-03-14 | 阿里巴巴集团控股有限公司 | 一种订阅消息的发送***以及订阅消息的发送方法 |
| US20140350888A1 (en) * | 2013-05-24 | 2014-11-27 | Software Ag | Self-monitoring event-based system and method |
| JP2017174158A (ja) * | 2016-03-24 | 2017-09-28 | 日本電気株式会社 | 監視システム、監視方法および監視プログラム |
| CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
| CN109960621A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据抽取方法 |
| CN110138634A (zh) * | 2019-04-03 | 2019-08-16 | 福建天泉教育科技有限公司 | 一种重点数据的监控方法及终端 |
| CN110225113A (zh) * | 2019-06-10 | 2019-09-10 | 南威互联网科技集团有限公司 | 一种服务监控方法及*** |
| CN110806960A (zh) * | 2019-11-01 | 2020-02-18 | 中国联合网络通信集团有限公司 | 信息处理方法、装置及终端设备 |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112732463A (zh) * | 2021-01-16 | 2021-04-30 | 刘铮 | 一种基于大数据的消息订阅方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吕海林: "基于消息中间件的订阅/发布***的研究与设计", 《中国优秀硕士学位论文全文数据库》 * |
| 王重楠等: "发布/订阅模式测控消息中间件***设计", 《计算机应用》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108984388B (zh) | 一种生成自动化测试用例的方法及终端设备 | |
| CN110069297B (zh) | 基于Spring MVC的异常处理方法、装置、计算机设备和存储介质 | |
| CN112148674B (zh) | 日志数据处理方法、装置、计算机设备和存储介质 | |
| CN111310007B (zh) | 网页接口查询方法、装置、电子设备及存储介质 | |
| CN110069413B (zh) | 测试数据通信、测试方法、装置、设备及存储介质 | |
| CN111475376A (zh) | 处理测试数据的方法、装置、计算机设备和存储介质 | |
| CN111859224A (zh) | 基于节点服务器的服务端渲染方法、装置和计算机设备 | |
| CN105205144A (zh) | 用于数据诊断优化的方法和*** | |
| CN112765497A (zh) | 业务数据分析结果查询展示方法、装置、设备和介质 | |
| CN112069384A (zh) | 一种埋点数据处理方法、服务器及可读存储介质 | |
| CN112817831A (zh) | 应用性能监测方法、装置、计算机***和可读存储介质 | |
| CN112437148A (zh) | 业务请求的处理方法、装置、业务服务器及*** | |
| CN111552696A (zh) | 基于大数据的数据处理方法、装置、计算机设备和介质 | |
| CN114153703A (zh) | 微服务的异常定位方法、装置、电子设备和程序产品 | |
| CN112835856A (zh) | 一种日志数据查询方法及装置、设备、介质 | |
| CN112417016A (zh) | 一种数据交换方法、***、设备及存储介质 | |
| CN111901383A (zh) | 数据请求处理方法、装置、计算机设备和存储介质 | |
| CN112130944A (zh) | 页面异常的检测方法、装置、设备及存储介质 | |
| CN113342606A (zh) | 基于消息中间件的数据监控方法、装置、设备和存储介质 | |
| CN114546560A (zh) | 数据分享方法及装置、存储介质及电子设备 | |
| CN111654547B (zh) | 数据传输方法、装置、设备及存储介质 | |
| CN110704218B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN114567571A (zh) | 性能测试方法、装置、电子设备和计算机可读存储介质 | |
| CN109803017B (zh) | 文件互通方法、装置、计算设备和计算机可读存储介质 | |
| CN108108369B (zh) | 公用接口库调用错误处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |
|
| RJ01 | Rejection of invention patent application after publication |