CN114785722B - 监控数据处理方法、装置及计算机可读存储介质 - Google Patents

监控数据处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114785722B
CN114785722B CN202210666149.8A CN202210666149A CN114785722B CN 114785722 B CN114785722 B CN 114785722B CN 202210666149 A CN202210666149 A CN 202210666149A CN 114785722 B CN114785722 B CN 114785722B
Authority
CN
China
Prior art keywords
server
monitoring
change information
client
data change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210666149.8A
Other languages
English (en)
Other versions
CN114785722A (zh
Inventor
陈立军
陈涛
钟楷锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Barda Technology Co ltd
Original Assignee
Wuhan Sitong Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Sitong Information Service Co ltd filed Critical Wuhan Sitong Information Service Co ltd
Priority to CN202210666149.8A priority Critical patent/CN114785722B/zh
Publication of CN114785722A publication Critical patent/CN114785722A/zh
Application granted granted Critical
Publication of CN114785722B publication Critical patent/CN114785722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0609Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on severity or priority
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请实施例公开了一种监控数据处理方法、装置及计算机可读存储介质。该方法应用于监控数据处理***中,该***中部署有采集器和第一发送器,该方法包括:通过采集器中采集数据库的目标数据表的数据变更信息,该目标数据表中保存的是针对客户服务器的监控数据,将数据变更信息发送至第一发送器,第一发送器拼接出数据变更信息所对应的告警通知信息,并根据数据变更信息所对应的监控异常程度、监控业务类型和客户服务器所对应的客户优先级确定数据变更信息所对应的重要程度,根据重要程度将告警通知信息发送至客户服务器所对应的客户终端。本申请实施例中可提高监控数据处理的效率。

Description

监控数据处理方法、装置及计算机可读存储介质
技术领域
本申请涉及数据处理技术领域,具体涉及一种监控数据处理方法、装置、计算机可读存储介质。
背景技术
在云服务中,通常涉及对云服务中的监控数据进行处理。现有的对监控数据进行处理通常和对数据进行监控(对数据进行监控得到监控数据)一起进行,一般是在需要检测的服务器上部署监控软件,而这些监控软件是第三方提供的软件,为了提高兼容性,这些监控软件功能通常比较复杂,学习成本高,在进行监控数据处理时,通常还需要进行一些额外的操作,例如,需要输入liunx命令(需要掌握一些liunx方面的知识)等,降低了监控数据处理的效率。
发明内容
本申请实施例提供一种监控数据处理方法、装置、及计算机可读存储介质,可以自动实现监控数据的处理,提高监控数据处理的效率。
本申请实施例提供了一种监控数据处理方法,应用于监控数据处理***中,所述监控数据处理***中包括采集器和第一发送器,所述监控数据处理方法,包括:
通过所述采集器,采集数据库的目标数据表的数据变更信息,并将所述数据变更信息发送至第一发送器,所述目标数据表中保存的是针对客户服务器的监控数据;
所述第一发送器根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取所述数据变更信息;
所述第一发送器根据所述数据变更信息拼接出所述数据变更信息所对应的告警通知信息;
根据所述数据变更信息所对应的监控业务类型、监控异常程度和所述客户服务器所对应的客户优先级确定所述数据变更信息所对应的重要程度;
所述第一发送器根据所述重要程度将所述数据变更信息所对应的告警通知信息发送至所述客户服务器所对应的客户终端。
本申请实施例还提供一种监控数据处理装置,应用于监控数据处理***中,所述监控数据处理装置包括数据采集模块、第一发送模块、消息获取模块、拼接模块、程度确定模块、第二发送模块,其中:
所述数据采集模块,用于通过采集器,采集所述数据库的目标数据表的数据变更信息,所述目标数据表中保存的是针对客户服务器的监控数据;
所述第一发送模块,用于将所述数据变更信息发送至第一发送器;
所述消息获取模块,用于通过第一发送器,获取所述数据变更信息;
所述拼接模块,用于根据所述数据变更信息拼接出所述数据变更信息所对应的告警通知信息,并保存所述告警通知信息;
所述程度确定模块,用于根据所述数据变更信息所对应的监控异常程度、监控业务类型和所述客户服务器所对应的客户优先级确定所述数据变更信息所对应的重要程度;
所述第二发送模块,用于根据所述重要程度将所述数据变更信息所对应的告警通知信息发送至所述客户服务器所对应的客户终端。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的监控数据处理方法中的步骤。
本申请实施例还提供一种监控数据处理***,所述监控数据处理***中包括服务器,所述服务器中包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,执行如上任一实施例所述的监控数据处理方法中的步骤。
本申请实施例提供的监控数据处理方法、装置、计算机可读存储介质及监控数据处理***,该监控数据处理***中包括采集器和第一发送器,通过采集器采集数据库的目标数据表的数据变更信息,该目标数据表中保存的是针对客户服务器的监控数据,将数据变更信息发送至第一发送器,第一发送器拼接出数据变更信息所对应的告警通知信息,并根据数据变更信息所对应的监控异常程度、监控业务类型和客户服务器所对应的客户优先级确定数据变更信息所对应的重要程度,第一发送器根据重要程度将告警通知信息发送至客户服务器所对应的客户终端。本申请实施例中不再使用第三方提供的监控软件,通过采集器和第一发送器自动实现了针对不同客户服务器的监控数据的数据变更信息的监听、数据变更信息所对应的告警通知信息的生成、重要程度的确定、告警通知信息的发送等,全程无需手动操作,提高了监控数据处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的监控数据处理方法的应用场景示意图。
图2为本申请实施例提供的监控数据处理方法的另一应用场景示意图。
图3为本申请实施例提供的监控数据处理方法的又一应用场景示意图。
图4为本申请实施例提供的监控数据处理方法的流程示意图。
图5为本申请实施例提供的监控数据处理方法的一流程示意图。
图6为本申请实施例提供的监控数据处理方法的子流程示意图。
图7为本申请实施例提供的监控数据处理方法的另一流程示意图。
图8为本申请实施例提供的监控数据处理装置的结构示意图。
图9为本申请实施例提供的监控数据处理装置的另一结构示意图。
图10为本申请实施例提供的监控数据处理装置的又一结构示意图。
图11为本申请实施例提供的监控数据处理***的结构示意图。
图12为本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种监控数据处理方法、装置、计算机可读存储介质及监控数据处理***。具体地,本申请实施例的监控数据处理方法可以运行于监控数据处理***中,该监控数据处理***中部署有采集器和第一发送器。
如图1所示,为本申请实施例提供的监控数据处理方法的应用场景示意图,在该应用场景中,包括客户服务器、监控数据处理***、客户终端。该监控数据处理***中包括第一服务器,客户服务器与第一服务器、第一服务器和客户终端之间通过网络进行通信连接。
第一服务器中包括/部署有采集器和第一发送器,第一服务器中还包括保存客户服务器的监控数据的数据库,如MySql数据库、Oracle数据库等。其中,采集器包括采集器1、采集器2、采集器3和采集器4,对应的,第一发送器包括第一发送器1、第一发送器2、第一发送器3和第一发送器4。
在图1所示的应用场景中,监控数据处理方法由第一服务器来执行,其中,第一服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
客户服务器如图1中的易备服务器、易云服务器等,还可以是不同环境下的服务器,例如生产环境下的服务器、测试环境下的服务器等。客户服务器是客户所购买/所租用的服务器,该服务器上运行有监控程序,该监控程序可实现对客户服务器中的数据的监控,例如,对客户服务器的CPU、内存等数据的监控等,对客户服务器中的数据进行监控得到监控数据,并将该监控数据保存至第一服务器中对应的数据库。
第一服务器中的采集器采集数据库中的目标数据表的数据变更信息,并将数据变更信息发送至第一发送器。
例如,将数据变更信息发送至第一服务器中的消息队列,如通过对应主题发送至第一服务器中的该主题对应的消息队列,其中,第一服务器中还可创建主题对应的消息队列。
第一服务器中的第一发送器获取数据变更信息,并对数据变更信息进行一系列的处理。例如第一服务器中的第一发送器从对应主题的消息队列中获取数据变更信息,并对数据变更信息进行一系列的处理。
例如,一系列的处理包括根据数据变更信息拼接出告警通知信息,将告警通知信息保存至数据库,根据数据变更信息所对应的监控异常程度、监控业务类型和客户服务器应的客户优先级确定重要程度、根据重要程度对数据变更信息进行过滤处理,对过滤处理后的告警通知信息进行收敛处理等等,进行一系列处理后,将数据变更信息所对应的告警通知信息发送至客户终端,以通知客户知晓对应的客户服务器上对应的监控数据,以便于客户了解客户服务器的情况,以及进行相应决策。
其中,图1所示的应用场景只是一个实例,在其他实施例中,采集器的数量还可以为更多个,第一发送器的数量可以为更少/更多个,其中,一个采集器可对应一个或者多个第一发送器。
图2是本申请实施例提供的监控数据处理方法的应用场景示意图。在图2中,监控数据处理***包括第一服务器和第二服务器,第一服务器中部署有采集器,如采集器1、采集器2、采集器3、采集器3等,第一服务器中还包括数据库如MySql数据库、Oracle数据库等,第二服务器中部署有第一消息服务器、第一发送器和另一个数据库,如分布式数据库MongoDB。客户服务器与第一服务器、第一服务器和第二服务器、第二服务器和客户终端之间通过网络进行通信连接。
具体地,监控数据处理方法由第一服务器和第二服务器共同执行,其中,第一服务器和/或第二服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是可提供云服务的云服务器。
在客户服务器得到监控数据,并将该监控数据保存至第一服务器中对应的数据库中之后,第一服务器中的采集器采集数据库中的目标数据表的数据变更信息,并将数据变更信息通过对应主题发送至第二服务器的第一消息服务器中的消息队列。第二服务器中的第一发送器从对应主题的消息队列中获取数据变更信息,并对数据变更信息进行一系列的处理,例如,根据数据变更信息拼接出告警通知信息,将告警通知信息保存至数据库MongoDB,根据数据变更信息所对应的监控异常程度、监控业务类型和客户服务器应的客户优先级确定重要程度、根据重要程度对数据变更信息进行过滤处理,将过滤处理后的告警通知信息进行收敛处理等等,进行一系列处理后,将数据变更信息所对应的告警通知信息发送至客户终端,以通知客户知晓对应的客户服务器上对应的监控数据,以便于客户了解客户服务器的情况,以及进行相应决策。
在图2所示的实施例中,将采集器和第一发送器分别部署在不同的服务器中,以在不同的服务器中实现监控数据的数据变更信息的采集,和对采集的数据变更信息进行处理,降低第一服务器的负载。
图3是本申请实施例提供的监控数据处理方法的又一应用场景示意图。在该实施例中,新增了第三服务器,第三服务器中部署有第二消息服务器、第二发送器和又一个数据库如分布式数据库MongoDB等。
对应地,第一发送器可用于对数据变更信息进行第一处理,例如,根据数据变更信息拼接出告警通知信息,将告警通知信息保存至数据库MongoDB,根据数据变更信息所对应的监控异常程度、监控业务类型和客户服务器应的客户优先级确定重要程度、根据重要程度对数据变更信息进行过滤处理,将过滤处理后的数据变更消信息所对应的告警通知信息根据主题发送至第三服务器中的第二消息服务器的相应消息队列等,第二发送器用于对告警通知信息对应第二处理,例如,从第二消息服务器的相应消息队列中获取告警通知信息,对告警通知信息进行收敛处理等,将收敛处理后的告警通知信息保存至分布式数据库MongoDB数据库,并发送至客户终端。
在图3中,存在两个不同的消息服务器,第一个消息服务器部署于第二服务器中,用于接收从发送器发送的数据变更信息,第二个消息服务器部署于第三服务器中,用于接收从第一发送器发送的告警通知信息。在图3中,相对于第二服务器来说,采集器相当于消息生产者,第一发送器相当于消息消费者,同时相对于第三服务器来说,第一发送器相当于消息生产者,第二发送器相当于消息消费者。图3中考虑了第二服务器的负载问题,将图2所示的实施例中的第二服务器完成的所有功能分摊至图3所示的第二服务器和第三服务器中,提高了监控数据处理***的稳定性,提高了监控数据处理的效率。
在图1至图3所示的实施例中,对应图中的客户服务器、第一服务器、第二服务器、第三服务器为独立的服务器,还可以是服务器集群。在图2和图3中,第一消息服务器和第一发送器部署在第二服务器上,在其他实施例中,可以使用独立的服务器/服务器集群来部署第一消息服务器,使用另一独立的服务器/服务器集群来部署第一发送器。需要注意的是,图1中可无需部署第一消息服务器,只是用对应主题的消息队列就可。在图2和图3中,第一发送器的数量为一个,但在其他实施例中,第一发送器的数量可以为多个。
在图3中,第二消息服务器和第二发送器部署在第三服务器上,在其他实施例中,可以使用独立的服务器/服务器集群来部署第二消息服务器,使用另一独立的服务器/服务器集群来部署第二发送器。在其他实施例中,第二发送器的数量还可以为多个。在其他实施例中,还可以不用部署第一消息服务器和/或第二消息服务器等。
在实际使用中,一般为了降低第一服务器的负载,图1所示的应用场景使用的较少,一般如图2和图3所示的应用场景。下面将分别结合图1、图2和图3所示的应用场景,对本申请实施例中的监控数据处理方法进行详细介绍。
以下将分别对本申请实施例提供的一种监控数据处理方法、装置、计算机可读存储介质及计算机设备进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
图4是本申请实施例提供的监控数据处理方法的流程示意图,该监控数据处理方法包括如下步骤,请结合图1来进行理解。
101,通过采集器,采集数据库的目标数据表的数据变更信息,该目标数据表中保存的是针对客户服务器的监控数据。
客户服务器上运行有监控程序,该监控程序可实现对客户服务器中的数据的监控,例如,客户服务器中有定时任务,该定时任务可定期/定时执行检测客户服务器的CPU、内存使用情况,实现对客户服务器的CPU、内存使用情况进行监控,例如,对客户服务器上运行的服务是否稳定进行监控等,对客户服务器中的数据进行监控后得到监控数据,并将该监控数据保存至第一服务器中对应的数据库。
例如,客户服务器所对应的数据库是Oracle数据库,则保存至第一服务器中的Oracle数据库中,客户服务器所对应的数据库为MySql数据库,则保存至MySql数据库中。其中,客户服务器中的监控数据根据对应场景需求可保存至一个数据库中,也可以保存至多个数据库中。第一服务器中的数据库还可以是其他类型的数据库,在此不作具体限制。
其中,在步骤101之前,监控数据处理方法还包括在第一服务器中部署采集器,部署采集器可以是将采集器所对应的数据包安装/复制至第一服务器中,该数据包可以是jar数据包,还可以是其他类型的数据包。需要注意的是,本申请实施例中只是将采集器所对应的数据包进行安装/复制,即可采集监控数据。
在部署采集器后,在一实施例中,还可对采集器中的配置文件进行修改,如修改客户服务器的相关信息、修改连接数据库的连接方式、修改监听的数据表、第一消息服务器的服务地址等。若无需对配置文件进行修改,则直接启动采集器。
启动采集器后,获取采集器中的配置文件,并读取配置文件中的内容。其中,在配置文件中配置有连接数据库的连接方式,客户服务器的相关信息如客户服务器的服务标识信息、服务类型,监听数据库中的哪些数据表,第一消息服务器的服务地址等信息。
其中,连接方式中包括连接IP和/或连接接口等,不同数据库所对应的连接方式不同,例如,Oracle数据库和MySql数据库所对应的连接方式不同。客户服务器的服务标识信息包括客户服务器所对应的IP地址等信息,客户服务器的服务类型包括文件服务器、虚拟机服务器、数据库服务器等。将第一服务器的数据库中需要监听的数据表作为目标数据表,对于不同客户服务器来说,在数据库中所对应的数据表不同,因此需要监听的目标数据表不同。第一消息服务器的服务器地址包括第一消息服务器的IP地址等可以识别第一消息服务器的信息。
其中,第一消息服务器可以是RocketMQ所对应的服务器,RocketMQ所对应的服务器包括Name Server、Broker等,数据变更消息保存至Broker中的主题对应的消息队列中。在本申请实施例中,Name Server、Broker部署在同一服务器中,在一些实施例中,NameServer、Broker可部署在不同的服务器中。
在启动采集器后,通过采集器获取配置文件中的连接数据库的连接方式,采集器通过连接方式连接对应的数据库,并自动为配置文件中该数据库中需要监听的目标数据表创建一个数据库监听插件,其中,一个数据库可对应一个数据库监听插件,该数据库监听插件可以监听该数据库中所有的需要监听的目标数据表,该目标数据表可包括不同客户服务器对应的不同数据表。
对应地,步骤101包括:确定与数据库类型匹配的数据库监听插件;利用数据库监听插件采集数据库的数据变更信息。
其中,不同数据库所对应的数据库监听插件也不相同,数据库监听插件中所采用的监听方式需要与数据库类型相匹配,例如,对于Oracle数据,则采用的是对java兼容的监听技术,对于MySql数据库,则通过监听MySql的binlog来进行监听目标数据表的增删改查等。
通过该数据库监听插件,来监听所配置的针对数据库的目标数据表的数据变更信息,其中,数据变更信息包括针对目标数据表的增删改查等。以增(***)为例进行说明,下文中也以***为例进行说明,当检测到目标数据表中***监控数据时,将该***的监控数据作为数据变更信息,即数据变更信息为增删改查的监控数据,如本次新增的***的监控数据。
在获取配置文件中的客户服务器的服务标识信息、服务类型之后,将服务标识信息和服务类型向第一发送器发送,以向第一发送器注册客户服务器,以告知第一发送器这些服务标识信息和服务类型所对应的客户服务器的数据变更信息需要进行处理,需要向客户终端发送对应的告警通知信息以通知客户终端。可以理解地,并不是所有客户,同时也不是每个客户的每个客户服务器都需要将数据变更信息对应的告警通知信息发送至客户终端以进行通知,只有这些注册了的客户服务器的数据变更信息才需要进行通知。
102,将数据变更信息发送至第一发送器。
其中,采集器在获取数据变更信息之后,将所获取的数据变更信息发送至第一发送器。
其中,还可以是将数据变更信息发送至消息队列,第一发送器从消息队列中获取每个数据变更信息,以实现将数据变更信息发送至第一发送器。
其中,还可以是如图5中的步骤202所示的情况,具体请参看下文中的所示,在此不再赘述。
103,通过第一发送器获取数据变更信息,并拼接出数据变更信息所对应的告警通知信息。
其中,第一发送器获取所发送的数据变更信息,并拼接出数据变更信息所对应的告警通知信息。
其中,第一发送器从消息队列中获取数据变更信息,并拼接出数据变更信息所对应的告警通知信息。
其中,还可以如步骤203所示的情况来获取数据变更信息,再拼接出数据变更信息所对应的告警通知信息。具体请参看下文中的所示,在此不再赘述。
其中,由于是本次新增的***的监控数据,因此,数据变更信息中包括了目标数据表所对应的多数字段,其中如告警时间等可以是根据具体***到目标数据表的***时间来确定。在一实施例中,数据变更信息包括客户服务器的服务标识信息、客户服务器的服务类型、消息类型、消息内容、目标数据表、变更时间等信息。其中,消息类型可以是CPU使用率、内存使用率等。
例如,数据变更信息中包括客户服务器的服务标识信息如客户服务器的IP、客户服务器的服务类型如数据库服务器、消息类型如CPU使用率、消息内容如CPU使用率为95%、目标数据表如CPU数据表,变更时间如xxxx年xx月xx日等。可按照变更时间的内容、服务标识信息的内容、服务类型的内容、消息类型的内容、消息内容等拼接出数据变更信息所对应的告警通知信息,例如,拼接后的告警通知信息可以为:在xxxx年xx月xx日中,监控到IP为xxx.xxx.xxx.xxx的数据库服务器中的CPU使用率达到了95%。再例如,在xxxx年xx月xx日中,监控到IP为xxx.xxx.xxx.xxx的文件服务器中删除了某文件;在xxxx年xx月xx日中,监控到IP为xxx.xxx.xxx.xxx的数据库服务器中的A数据库备份成功等。其中,具体的拼接方式根据具体应用场景的不同而不同,该处所举例的只是举例说明而已,并不构成限定。
其中,数据变更信息中包括了多个不同字段以及不同字段所对应的字段内容,这些信息直接发送至客户终端,很有可能导致客户终端的用户看不懂具体什么内容,因此,拼接的作用是将数据变更信息进行了“翻译”,使得拼接出的告警通知信息通俗易懂,提高了用户体验。
得到数据变更信息所对应的告警通知信息之后,将告警通知信息保存至第一服务器对应的数据库中。
104,根据数据变更信息所对应的监控业务类型、监控异常程度和客户服务器所对应的客户优先级确定数据变更信息所对应的重要程度。
先要确定数据变更信息所对应的监控业务类型、监控异常程度和客户服务器所对应的客户优先级,再根据客户优先级、监控业务类型和监控异常程度确定数据变更信息所对应的重要程度。
可根据客户服务器的服务标识信息和服务类型来确定客户优先级。不同服务类型所对应的优先级不同,例如数据库服务器与文件服务器的优先级不同。
可根据消息类型来进一步确定监控业务类型。可理解地,不同客户所关注的监控业务类型不一样,例如a客户更关注数据安全,对应地,监控业务类型包括数据库备份、数据库恢复等,b客户更关注用户体验,对应地,更关注CPU使用率、内存使用率等。
可根据消息内容来确定监控异常程度。例如,消息内容包括CPU使用率,则CPU使用率为95%的异常程度大于CPU使用率为80%的异常程度。
在其他实施例中,还可以使用不同其他方式来确定客户优先级、监控业务类型和监控异常程度等。
确定了客户优先级、监控业务类型和监控异常程度之后,在一实施例中,先根据客户优先级的来确定数据变更信息所对应的重要程度,在客户优先级相同的情况下,再根据监控业务类型来确定数据变更信息所对应的重要程度,在监控业务类型相同的情况下,再根据监控异常程度来确定数据表更信息所对应的重要程度,如此,以实现根据客户优先级、监控业务类型和监控异常程度确定数据变更信息所对应的重要程度。例如,不同客户优先级所对应的权重可分别为1、0.8,对于都是1的,则对应的监控业务类型所对应的权重为0.6、0.5,则计算出来的重要程度为1*0.6、1*0.5等以此类推。在该实施例中,认为客户优先级是最重要的,监控业务类型是次要的,监控异常程度是最不重要的。
在一实施例中,可设置不同客户优先级所对应的不同分数、不同监控业务类型所对应的不同分数和不同监控异常程度所对应的不同分数。如此,根据所确定的客户优先级确定该客户优先级所对应的第一分数、根据所确定的监控业务类型确定该监控业务类型所对应的第二分数、根据所确定的监控异常程度来确定该监控异常程度所对应的第三分数,将第一分数、第二分数和第三分数进行加权求和,将加权求和的结果作为数据变更信息所对应的重要程度,如此,以实现根据客户优先级、监控业务类型和监控异常程度确定数据变更信息所对应的重要程度。在该实施例中,可根据加权系数的大小来确定客户优先级、监控业务类型和监控异常程度的重要性程度。
在其他实施例中,还可以使用其他的方式来确定数据变更信息所对应的重要程度。
105,根据重要程度将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。
在一情况下,根据重要程度,将当前消息队列中的所有数据变更信息都进行排序,然后按照排序结果将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。
在一情况下,可根据重要程度对数据变更信息所对应的告警通知信息进行过滤处理,将过滤处理后的告警通知信息发送至客户服务器所对应的客户终端。例如,检测重要程度是否大于预设权重,该预设权重可预先进行设置,例如设置为0.5,若重要程度不大于预设权重,则过滤数据变更信息所对应的告警通知信息,否则,若重要程度大于预设权重,则将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。其中,将重要程度大于预设权重的告警通知信息作为过滤处理后的告警通知信息。
根据重要程度进行过滤处理,一方面可以减少后续的处理量,提高处理速度,另一反面,可以降低不重要的告警信息对客户的影响,提高用户体验。
在一情况下,还可以如步骤206所示,具体请参看下文中的所示,在此不再赘述。
如图5所示,图5是本申请实施例提供的监控数据处理方法的流程示意图,该监控数据处理方法包括如下步骤,请结合图2来进行理解。
201,通过采集器,采集数据库的目标数据表的数据变更信息,该目标数据表中保存的是针对客户服务器的监控数据。
该步骤中的详细内容请参看上文中对应步骤的描述,此处说明与上述实施例中的不同之处。
在获取配置文件中的客户服务器的服务标识信息、服务类型之后,将服务标识信息和服务类型向第二服务器发送,以向第二服务器注册客户服务器,以告知第二服务器这些服务标识信息和服务类型所对应的客户服务器的数据变更信息需要进行处理,需要向客户终端发送对应的告警通知信息以通知客户终端。可以理解地,并不是所有客户,同时也不是每个客户的每个客户服务器都需要将数据变更信息对应的告警通知信息发送至客户终端以进行通知,只有这些注册了的客户服务器的数据变更信息才需要进行通知。
202,根据数据变更信息所对应的主题,将数据变更信息发送至主题所对应的消息队列。
首先确定数据变更信息所对应的主题,再将数据变更信息发送至主题所对应的消息队列。
其中,由于是本次新增的***的监控数据,因此,数据变更信息中包括了目标数据表所对应的多数字段,其中如告警时间等可以是根据具体***到目标数据表的***时间来确定。在一实施例中,数据变更信息包括客户服务器的服务标识信息、客户服务器的服务类型、消息类型、消息内容、目标数据表、变更时间等信息。其中,消息类型可以是CPU使用率、内存使用率等。可以理解地,客户服务器中在监控时,针对不同消息类型进行监控,因此,数据变更信息中包括消息类型。
可根据数据变更消息中的消息类型来确定数据变更消息所对应的主题。其中,可一个消息类型对应一个主题,还可以多个消息类型对应一个主题,具体根据应用场景来确定。
确定数据变更信息的主题后,获取所配置的第一消息服务器的服务地址,根据数据变更信息所对应的主题,通过服务地址,将数据变更信息发送至第一消息服务器中,第一消息服务器根据该主题将数据变更信息保存至该主题对应的消息队列。其中,第一消息服务器的服务地址可以配置在采集器的配置文件中,从配置文件中获取对应的服务地址,该服务地址可以为第一消息服务器的IP等信息。
其中,在第一消息服务器中可根据不同主题设置不同主题所对应的消息队列,如一个主题对应一个消息队列,本申请实施例中以该种情况为例进行说明;需要注意的是,还可以是多个主题对应一个消息队列,或者一个主题对应多个消息队列等。若一个主题对应多个消息队列,该种情况下将数据变更信息保存至多个消息队列中消息数量最少的一个消息队列中。
当一个主题对应一个消息队列时,对应地,将CPU使用率所对应的数据变更信息发送至CPU使用率所对应的消息队列,将内存使用率所对应的数据变更消息发送至内存使用率所对应的消息队列。
通过第一消息服务器的不同主题所对应的消息队列将采集器采集的数据变更信息按照主题进行保存,一方面数据变更信息按照主题进行保存,对数据变更信息进行了主题分类,使得每个第一发送器都可以只处理相对应主题的数据变更信息,提高了第一发送器的处理效率和稳定性;同时利用消息队列将数据变更信息进行保存,以避免采集器采集的数据变更信息长时间未处理而丢失的问题,此外,利用消息队列可实现消息队列中的数据变更信息的异步处理,采用异步的方式提高了监控数据处理***的稳定性。即在自动实现监控数据采集发送的过程中,通过不同主题所对应的消息队列,采用异步的方式来实现数据变更信息的保存和处理,避免数据变更信息的丢失,提高了监控数据处理***的稳定性。
203,第一发送器根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取数据变更信息。
每个第一发送器都有自己所能处理的主题,第一发送器所能处理的主题可提前进行设置,或者采用默认设置。第一发送器监听所处理的主题所对应的消息队列,当所处理的主题所对应的消息队列中有数据变更信息时,则从对应的消息队列中获取数据变更信息。
204,根据数据变更信息拼接出数据变更信息所对应的告警通知信息。
205,根据数据变更信息所对应的监控业务类型、监控异常程度和客户服务器所对应的客户优先级确定数据变更信息所对应的重要程度。
206,根据重要程度将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。
在一情况下,根据重要程度,将当前消息队列中的所有数据变更信息都进行排序,然后按照排序结果将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。
在一情况下,可根据重要程度对数据变更信息所对应的告警通知信息进行过滤处理,将过滤处理后的告警通知信息发送至客户服务器所对应的客户终端。例如,检测重要程度是否大于预设权重,该预设权重可预先进行设置,例如设置为0.5,若重要程度不大于预设权重,则过滤数据变更信息所对应的告警通知信息,否则,若重要程度大于预设权重,则将数据变更信息所对应的告警通知信息发送至客户服务器所对应的客户终端。其中,将重要程度大于预设权重的告警通知信息作为过滤处理后的告警通知信息。
根据重要程度进行过滤处理,一方面可以减少后续的处理量,提高处理速度,另一反面,可以降低不重要的告警信息对客户的影响,提高用户体验。
在一情况下,可如图6所示,步骤206包括2061至2063。
2061,根据重要程度对数据变更信息所对应的告警通知信息进行过滤处理。过滤处理的具体内容请参看上文中的描述,在此不再赘述。
2062,对过滤处理后的告警通知信息进行收敛处理。
其中,获取所有服务标识信息和服务类型所对应的所有客户服务器的监控数据的发送周期策略。在第二服务器中预先保存有客户服务器的监控数据的发送周期策略,这些发送周期策略用于告警通知信息的收敛处理。
其中,发送周期策略包括但不限于高等级策略、零策略、周期合并策略、周期首次策略等。高等级策略,意味着只要接收到告警通知信息就将告警通知信息发送至对应的客户终端;零策略,只将告警通知信息存储到数据库,其他不做任何处理;周期合并策略,意味着在一个周期时间中,高告警通知信息发送至对应的客户终端;周期收发策略,意味着在一个周期时间中,只发第一条告警通知信息至对应的客户终端。
获取了发送周期策略之后,根据发送周期策略,将过滤处理后的告警通知信息进行收敛处理。具体地,将对应的告警通知信息按照发送周期策略进行分类,然后将分类结果再按照不同客户进行分类,其中,一个客户可包括一个或者多个客户服务器,将不同客户的分类结果按照发送周期策略的周期时间进行处理,例如,查看分类结果中的告警通知信息是否达到一个周期时间,若达到一个周期时间,则可以发送,若未达到一个周期时间,则等待达到一个周期时间。可理解地,将同一发送周期策略中的属于同一客户的告警通知信息按照发送周期策略中的周期时间进行处理,若达到一个周期时间,则发送,否则,等待达到一个周期时间。
该实施例中通过发送周期策略进一步对告警通知信息进行控制处理,一方面,进一步根据发送周期策略的周期时间实现对告警通知信息的发送周期的控制,避免高级通知信息太频繁对用户造成不良影响,提升用户体验,同时也避免每个告警通知信息都实时发送造成第二服务器资源的大量占用,另一反面,进一步进行统一处理和过滤处理,提升效率。
2063,将收敛处理后的告警通知信息发送至客户服务器所对应的客户终端。
在第二服务器中保存有客户服务器所对应的客户终端的告警方式,获取客户服务器所对应的客户终端的告警方式,将收敛处理后的告警通知信息,通过对应的告警方式,发送至客户服务器所对应的客户终端。其中,告警方式包括但不限于邮件、电话、短信、微信、网页中的至少一个。
将收敛处理后的告警通知信息发送的同时,还需要将收敛处理后的告警通知信息保存至第二服务器中的数据库中。
需要注意的是,上文中的步骤201至步骤202运行于第一服务器中,具体地,由第一服务器中的采集器来执行,步骤203至步骤206运行于第二服务器中,具体地,由第二服务器中的第一发送器来执行。该实施例中未详细描述的步骤,请参看上文中的所示,在此不再赘述。
上述实施例中可实现不同客户的不同客户服务器对应的不同监控数据(不同数据变更信息)的处理,将不同客户的不同客户服务器所对应的不同数据变更信息先进行过滤,然后再按照发送周期策略进行收敛处理,最后将收敛处理后的告警通知信息发送至客户终端,以便让客户终端了解客户服务器中的监控数据的相关信息。本申请实施例的适用性较广,可适用于大型的监控数据处理***,还可以适应于小型的监控数据处理***。
图7是本申请实施例提供的监控数据处理方法的另一流程示意图,该监控数据处理方法包括如下步骤,请结合图3来理解。
301,通过采集器,采集数据库的目标数据表的数据变更信息,该目标数据表中保存的是针对客户服务器的监控数据。
该步骤中的详细内容请参看上文中对应步骤的描述,此处说明与上述实施例中的不同之处。
在采集器获取配置文件中的客户服务器的服务标识信息、服务类型之后,将服务标识信息和服务类型向第二服务器发送,第二服务器会将服务标识信息和服务类型向第三服务器发送,以向第三服务器注册客户服务器,以告知第三服务器,只有这些注册了的客户服务器的数据变更信息才需要进行通知。
302,根据数据变更信息所对应的主题,将数据变更信息发送至主题所对应的消息队列。
先确定数据变更信息所对应的主题,再将数据变更信息发送至主题所对应的消息队列。其中,可根据数据变更消息中的消息类型来确定数据变更消息所对应的主题。
确定数据变更信息的主题后,获取所配置的第一消息服务器的服务地址,根据数据变更信息所对应的主题,通过服务地址,将数据变更信息发送至第一消息服务器中,第一消息服务器根据该主题将数据变更信息保存至该主题对应的消息队列。其中,第一消息服务器和第一发送器部署在第二服务器中。
其中,步骤301至步骤302运行于第一服务器中,具体由第一服务器中的采集器来执行。
303,第一发送器根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取数据变更信息。
304,根据数据变更信息拼接出数据变更信息所对应的告警通知信息。
305,根据数据变更信息所对应的监控业务类型、监控异常程度和客户服务器所对应的客户优先级确定数据变更信息所对应的重要程度。
306,根据重要程度对数据变更信息所对应的告警通知信息进行过滤处理。
该实施例中未详细描述的步骤以及对应步骤所达到的有益效果请参看上文中对应步骤的描述,在此不再赘述。
307,将过滤处理后的告警通知信息发送至告警通知信息的主题所对应的消息队列。
告警通知信息的主题与告警通知信息所对应的数据变更信息的主题是相同的,可直接根据数据变更信息的主题来作为告警通知信息的主题。之后获取第二消息服务器的服务地址,根据主题将告警通知信息发送至第二消息服务器中,第二消息服务器根据该主题将告警通知信息保存至该主题对应的消息队列。其中,第二消息服务器的服务地址可以为第二消息服务器的IP等信息。
其中,在第二服务器中可以是一个主题对应一个消息队列,本申请实施例中以该种情况为例进行说明;需要注意的是,还可以是多个主题对应一个消息队列,或者一个主题对应多个消息队列等。
步骤303至步骤307运行于第二服务器中,具体由第二服务器中的第一发送器来执行。
308,第二发送器根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取告警通知信息。
每个第二发送器都有自己所能处理的主题,第二发送器所能处理的主题可提前进行设置,或者采用默认设置。第二发送器监听所处理的主题所对应的消息队列,当所处理的主题所对应的消息队列中有数据变更信息时,则从对应的消息队列中获取数据变更信息。
309,对告警通知信息进行收敛处理。
其中,在第三服务器中预先保存有客户服务器的监控数据的发送周期策略,这些发送周期策略用于告警通知信息的收敛处理。具体地,第二发送器获取发送周期策略,根据发送周期策略将对应的告警通知信息进行收敛处理。具体发送周期策略以及处理的收敛处理的方法可参看上文中的对应描述。
310,将收敛处理后的告警通知信息发送至客户服务器所对应的客户终端。
在第三服务器中保存有客户服务器所对应的客户终端的告警方式,获取客户服务器所对应的客户终端的告警方式,将收敛处理后的告警通知信息,通过对应的告警方式,发送至客户服务器所对应的客户终端。将收敛处理后的告警通知信息发送的同时,还需要将收敛处理后的告警通知信息保存至第三服务器中的数据库中。
其中,步骤308至步骤310运行于第三服务器中,具体地,由第三服务器中的第二发送器来执行。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
为便于更好的实施本申请实施例的监控数据处理方法,本申请实施例还提供一种监控数据处理装置,该监控数据处理装置应用于监控数据处理***中。请参阅8,图8为本申请实施例提供的监控数据处理装置的结构示意图。该监控数据处理装置可以包括数据采集模块401,第一发送模块402,消息获取模块403,拼接模块404,程度确定模块405,以及第二发送模块406。
数据采集模块401,用于通过采集器,采集数据库的目标数据表的数据变更信息,所述目标数据表中保存的是针对客户服务器的监控数据。
在一实施例中,数据采集模块401,具体用于确定与数据库类型匹配的数据库监听插件;利用数据库监听插件采集数据库的数据变更信息。
第一发送模块402,用于将所获取的数据变更信息发送至第一发送器。
在一实施例中,第一发送模块402,具体用于将数据变更信息发送至消息队列。
在一实施例中,第一发送模块402,具体用于确定所述数据变更信息所对应的主题;所述采集器获取所配置的所述第一消息服务器的服务地址;根据所述数据变更信息所对应的主题,通过所述服务地址,将所述数据变更信息发送至所述第一消息服务器中的所述主题所对应的消息队列。
消息获取模块403,用于获取所发送的数据变更信息。
在一实施例中,消息获取模块403,具体用于从消息队列中获取数据变更信息。
在一实施例中,消息获取模块403,具体用于根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取所述数据变更信息。
拼接模块404,用于根据所述数据变更信息拼接出所述数据变更信息所对应的告警通知信息,并保存所述告警通知信息。
程度确定模块405,用于根据所述数据变更信息所对应的监控异常程度、监控业务类型和所述客户服务器所对应的客户优先级确定所述数据变更信息所对应的重要程度。
在一实施例中,程度确定模块405,具体用于确定所述数据变更信息所对应的监控异常程度、监控业务类型和所述客户服务器所对应的客户优先级;根据所述客户优先级、所述监控业务类型和所述监控异常程度确定所述数据变更信息所对应的重要程度。
在一实施例中,程度确定模块405在执行确定所述数据变更信息所对应的监控异常程度、监控业务类型和所述客户服务器所对应的客户优先级的步骤时,具体执行:根据所述服务标识信息和所述服务类型确定所述客户优先级;根据所述消息类型来确定所述监控业务类型;根据所述消息内容来确定所述监控异常程度。
在一实施例中,程度确定模块405在执行根据所述客户优先级、所述监控业务类型和所述监控异常程度确定所述数据变更信息所对应的重要程度的步骤时,具体执行:根据所确定的客户优先级确定该客户优先级所对应的第一分数、根据所确定的监控业务类型确定该监控业务类型所对应的第二分数、根据所确定的监控异常程度来确定该监控异常程度所对应的第三分数,将第一分数、第二分数和第三分数进行加权求和,将加权求和的结果作为数据变更信息所对应的重要程度。
第二发送模块406,用于根据所述重要程度将所述数据变更信息所对应的告警通知信息发送至所述客户服务器所对应的客户终端。
监控数据处理***包括采集器和第一发送器,上述数据采集模块401、第一发送模块402集成于采集器中,消息获取模块403、拼接模块404、程度确定模块405、以及第二发送模块406集成于第一发送器中。
在一实施例中,采集器和第一发送器部署在监控数据处理***的第一服务器上,可理解地,第一服务器中包括上述数据采集模块401、第一发送模块402、消息获取模块403、拼接模块404、程度确定模块405、以及第二发送模块406。
在一实施例中,采集器部署在监控数据处理***的第一服务器上,第一发送器部署在监控数据处理***的第二服务器上,可理解地,第一服务器中包括上述数据采集模块401、第一发送模块402,第二服务器中包括消息获取模块403、拼接模块404、程度确定模块405、以及第二发送模块406。
在一实施例中,如图9所示,监控数据处理装置还包括预处理模块407,其中,预处理模块407,用于在启动所述采集器后,从所述采集器的配置文件中获取连接数据库的连接方式,通过所述连接方式连接对应的所述数据库;和/或为所述配置文件中所述数据库中需要监听的所述目标数据表创建数据库监听插件;和/或从所述采集器的配置文件中获取所述客户服务器的服务标识信息和所述客户服务器的服务类型,向所述第二服务器注册所述客户服务器。预处理模块407集成在第一服务器中。
在一实施例中,如图9所示,监控数据处理装置还包括过滤模块408,过滤模块408,用于根据所述重要程度对所述数据变更信息所对应的所述告警通知信息进行过滤处理,第二发送模块406,还用于将过滤处理后的告警通知信息发送至客户服务器所对应的客户终端。
在一实施例中,如图9所示,监控数据处理装置还包括收敛处理模块409,收敛处理模块409,用于将过滤处理后的所述告警通知信息进行收敛处理。第二发送模块406,用于将收敛处理后的所述告警通知信息发送至客户服务器所对应的客户终端。
在一实施例中,收敛处理模块409,具体用于获取所有所述服务标识信息和所述服务类型所对应的客户服务器的所述监控数据的发送周期策略;对于过滤处理后的所述告警通知信息,通过所述发送周期策略,将所述告警通知信息进行收敛处理。
在图9所示的实施例中,上述预处理模块407、数据采集模块401、第一发送模块402可集成于采集器中,消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406、过滤模块408、收敛处理模块409可集成于第一发送器中。
在一实施例中,采集器和第一发送器部署在监控数据处理***的第一服务器上,可理解地,第一服务器中包括上述数据采集模块401、第一发送模块402、消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406、预处理模块407、过滤模块408和收敛处理模块409。
在一实施例中,采集器部署在监控数据处理***的第一服务器上,第一发送器部署在监控数据处理***的第二服务器上,可理解地,第一服务器中包括上述预处理模块407、数据采集模块401、第一发送模块402,第二服务器中包括消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406、过滤模块408和收敛处理模块409。
在一实施例中,如图10所示,监控数据处理装置包括数据采集模块401、第一发送模块402、消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406、预处理模块407、过滤模块408、收敛处理模块409、告警获取模块410、第三发送模块411。
在图10所示的实施例中,上述预处理模块407、数据采集模块401和第一发送模块402可集成于采集器中,消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406和过滤模块408可集成于第一发送器中,收敛处理模块409、告警获取模块410和第三发送模块411可集成于第二发送器中。
在一实施例中,采集器部署在监控数据处理***的第一服务器上,第一发送器部署在监控数据处理***的第二服务器上,第二发送器部署在监控数据处理***的第三服务器上,可理解地,第一服务器中包括上述预处理模块407、数据采集模块401和第一发送模块402,第二服务器中包括消息获取模块403、拼接模块404、程度确定模块405、第二发送模块406和过滤模块408,第三服务器中包括收敛处理模块409、告警获取模块410和第三发送模块411。
上述所有的技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
相应的,本申请实施例还提供一种监控数据处理***,在一实施例中,该监控数据处理***包括第一服务器,在一实施例中,该监控数据处理***包括第一服务器和第二服务器,在另一实施例中,如图11所示,该监控数据处理***包括第一服务器、第二服务器和第三服务器。在每种实施例中,第一服务器、第二服务器和第三服务器中各自实现的内容以及达到的有益效果请参看上文中监控数据处理方法中的所述,在此不再赘述。
将第一服务器和/或第二服务器和/或第三服务器统称为服务器。如图12所示,图12为本申请实施例提供的服务器的结构示意图,可理解地,第一服务器、第二服务器和第三服务器的结构均请参看图12中的服务器的结构。该服务器500包括有一个或者一个以上处理核心的处理器501、有一个或一个以上计算机可读存储介质的存储器502及存储在存储器502上并可在处理器上运行的计算机程序。其中,处理器501与存储器502电性连接。本领域技术人员可以理解,图中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器501是服务器500的控制中心,利用各种接口和线路连接整个服务器500的各个部分,通过运行或加载存储在存储器502内的软件程序(计算机程序)和/或模块,以及调用存储在存储器502内的数据,执行服务器500的各种功能和处理数据,从而对服务器500进行整体监控。
在本申请实施例中,服务器500中的处理器501会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种上述任一实施例中的监控数据处理方法的步骤,所达到的有益效果请参看对应实施例中的有益效果,在此不再赘述。
可选的,如图12所示,服务器500还包括:触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507。其中,处理器501分别与触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507电性连接。
触控显示屏503可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏503可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器501以确定触摸事件的类型,随后处理器501根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏503而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏503也可以作为输入单元506的一部分实现输入功能。
在本申请实施例中,该触控显示屏503用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。
射频电路504可用于收发射频信号,以通过无线通信与网络设备或其他服务器建立无线通讯,与网络设备或其他服务器之间收发信号。
音频电路505可以用于通过扬声器、传声器提供用户与服务器之间的音频接口。音频电路505可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路505接收后转换为音频数据,再将音频数据输出处理器501处理后,经射频电路504以发送给比如另一服务器,或者将音频数据输出至存储器502以便进一步处理。音频电路505还可能包括耳塞插孔,以提供外设耳机与服务器的通信。
输入单元506可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源507用于给服务器500的各个部件供电。可选的,电源507可以通过电源管理***与处理器501逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图12中未示出,服务器500还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种监控数据处理方法中的步骤,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种监控数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种监控数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种监控数据处理方法、装置、存储介质及监控数据处理***进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种监控数据处理方法,其特征在于,应用于监控数据处理***中,所述监控数据处理***中包括采集器和第一发送器,所述监控数据处理方法,包括:
通过所述采集器,采集数据库的目标数据表的数据变更信息,并将所述数据变更信息发送至第一发送器,所述目标数据表中保存的是针对客户服务器的监控数据,所述客户服务器包括文件服务器、虚拟机服务器或数据库服务器,所述监控数据包括客户服务器中的CPU、内存使用情况、客户服务器上的服务是否稳定中的至少一个,所述数据变 更信息包括所述监控数据的增删改;
所述第一发送器获取所述数据变更信息,并按照所述数据变更信息的变更时间的内容、所述客户服务器的服务标识信息的内容、所述客户服务器的服务类型的内容、所述数据变更信息所对应的消息类型的内容、所述消息类型所对应消息内容拼接出所述数据变更信息所对应的告警通知信息;
根据所述数据变更信息所对应的监控业务类型、监控异常程度和所述客户服务器所对应的客户优先级确定所述数据变更信息所对应的重要程度;
所述第一发送器根据所述重要程度将所述数据变更信息所对应的告警通知信息进行过滤处理;
将过滤处理后的所述告警通知信息进行收敛处理;
将收敛处理后的所述告警通知信息发送至所述客户服务器所对应的客户终端;
其中,所述根据所述数据变更信息所对应的监控业务类型、监控异常程度和所述客户服务器所对应的客户优先级确定所述数据变更信息所对应的重要程度的步骤,包括:
根据所述服务标识信息和所述服务类型确定所述客户优先级;根据所述消息类型来确定所述监控业务类型;根据所述消息内容来确定所述监控异常程度;根据所述客户优先级、所述监控业务类型和所述监控异常程度确定所述数据变更信息所对应的重要程度;
其中,所述根据所述重要程度将所述数据变更信息所对应的告警通知信息发送至所述客户服务器所对应的客户终端的步骤,包括:根据所述重要程度对所述数据变更信息所对应的所述告警通知信息进行过滤处理;将过滤处理后的所述告警通知信息按照发送周期策略进行分类,然后将按照所述发送周期策略进行分类的分类结果按照不同客户进行分类,其中,一个客户包括一个或者多个客户服务器,将按照不同客户进行分类的分类结果按照发送周期策略的周期时间进行处理。
2.根据权利要求1所述的监控数据处理方法,其特征在于,所述监控数据处理***中还包括第一消息服务器和消息队列,所述监控数据处理方法,还包括:
确定所述数据变更信息所对应的主题;
所述采集器获取所配置的所述第一消息服务器的服务地址;
根据所述数据变更信息所对应的主题,通过所述服务地址,将所述数据变更信息发送至所述第一消息服务器中的所述主题所对应的消息队列。
3.根据权利要求1所述的监控数据处理方法,其特征在于,所述监控数据处理***中还包括第二发送器;所述根据所述重要程度将所述数据变更信息所对应的告警通知信息发送至所述客户服务器所对应的客户终端的步骤,包括:
所述第一发送器根据所述重要程度对所述数据变更信息所对应的所述告警通知信息进行过滤处理;
将过滤处理后的告警通知信息发送至所述告警通知信息的主题所对应的消息队列;
所述第二发送器根据所处理的主题,监听所处理的主题所对应的消息队列,并从对应的消息队列中获取所述告警通知信息;
对所述告警通知信息进行收敛处理,以将收敛处理后的告警通知信息发送至所述客户服务器所对应的客户终端。
4.根据权利要求1或者3所述的监控数据处理方法,其特征在于,在所述通过所述采集器,采集所述数据库的目标数据表的数据变更信息的步骤之前,还包括:
在启动所述采集器后,从所述采集器的配置文件中获取连接数据库的连接方式,所述采集器通过所述连接方式连接对应的所述数据库;
为所述配置文件中所述数据库中需要监听的所述目标数据表创建数据库监听插件;
从所述采集器的配置文件中获取所述客户服务器的服务标识信息和所述客户服务器的服务类型,向第二服务器注册所述客户服务器。
5.一种监控数据处理装置,其特征在于,应用于监控数据处理***中,所述监控数据处理装置包括数据采集模块、第一发送模块、消息获取模块、拼接模块、程度确定模块、过滤模块、收敛处理模块、第二发送模块;
所述数据采集模块,用于通过采集器,采集数据库的目标数据表的数据变更信息,所述目标数据表中保存的是针对客户服务器的监控数据,所述客户服务器包括文件服务器、虚拟机服务器或数据库服务器,所述监控数据包括客户服务器中的CPU、内存使用情况、客户服务器上的服务是否稳定中的至少一个,所述数据变 更信息包括所述监控数据的增删改;
所述第一发送模块,用于将所述数据变更信息发送至第一发送器;
所述消息获取模块,用于通过所述第一发送器获取所述数据变更信息;
所述拼接模块,用于按照所述数据变更信息的变更时间的内容、所述客户服务器的服务标识信息的内容、所述客户服务器的服务类型的内容、所述数据变更信息所对应的消息类型的内容、所述消息类型所对应消息内容拼接出所述数据变更信息所对应的告警通知信息;
所述程度确定模块,用于根据所述服务标识信息和所述服务类型确定客户优先级;根据所述消息类型来确定监控业务类型;根据所述消息内容来确定监控异常程度;根据所述客户优先级、所述监控业务类型和所述监控异常程度确定所述数据变更信息所对应的重要程度;
所述过滤模块,用于根据所述重要程度将所述数据变更信息所对应的告警通知信息进行过滤处理;
所述收敛处理模块,用于将过滤处理后的所述告警通知信息进行收敛处理,具体地,获取所有所述服务标识信息和所述服务类型所对应的客户服务器的所述监控数据的发送周期策略;对于过滤处理后的所述告警通知信息,将过滤处理后的所述告警通知信息按照所述发送周期策略进行分类,然后将按照是所述发送周期策略进行分类的分类结果再按照不同客户进行分类,其中,一个客户包括一个或者多个客户服务器,将按照不同客户进行分类的分类结果按照发送周期策略的周期时间进行处理;
所述第二发送模块,用于将收敛处理后的所述告警通知信息发送至所述客户服务器所对应的客户终端。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如权利要求1-4任一项所述的监控数据处理方法中的步骤。
CN202210666149.8A 2022-06-14 2022-06-14 监控数据处理方法、装置及计算机可读存储介质 Active CN114785722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210666149.8A CN114785722B (zh) 2022-06-14 2022-06-14 监控数据处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210666149.8A CN114785722B (zh) 2022-06-14 2022-06-14 监控数据处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114785722A CN114785722A (zh) 2022-07-22
CN114785722B true CN114785722B (zh) 2022-09-30

Family

ID=82421802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210666149.8A Active CN114785722B (zh) 2022-06-14 2022-06-14 监控数据处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114785722B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281366A (zh) * 2013-05-21 2013-09-04 山东地纬计算机软件有限公司 一种支持实时运行状态获取的嵌入式代理监控装置及方法
CN111447109A (zh) * 2020-03-23 2020-07-24 京东方科技集团股份有限公司 监控管理设备及方法、计算机可读存储介质
CN111970146A (zh) * 2020-07-25 2020-11-20 苏州浪潮智能科技有限公司 一种srdc整机柜节点的监控平台及监控方法
CN113836160A (zh) * 2021-09-28 2021-12-24 上海市大数据股份有限公司 一种基于主从同步的数据流状态监控告警***
WO2022048050A1 (zh) * 2020-09-06 2022-03-10 厦门理工学院 一种大数据信息采集***及使用方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195944A (zh) * 2010-03-10 2011-09-21 成都市华为赛门铁克科技有限公司 一种优先级访问控制方法、装置及***
CN109064345B (zh) * 2018-08-14 2023-09-05 中国平安人寿保险股份有限公司 消息处理方法、***以及计算机可读存储介质
CN112311617A (zh) * 2019-08-02 2021-02-02 ***通信有限公司政企客户分公司 一种配置化数据监控告警方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281366A (zh) * 2013-05-21 2013-09-04 山东地纬计算机软件有限公司 一种支持实时运行状态获取的嵌入式代理监控装置及方法
CN111447109A (zh) * 2020-03-23 2020-07-24 京东方科技集团股份有限公司 监控管理设备及方法、计算机可读存储介质
CN111970146A (zh) * 2020-07-25 2020-11-20 苏州浪潮智能科技有限公司 一种srdc整机柜节点的监控平台及监控方法
WO2022048050A1 (zh) * 2020-09-06 2022-03-10 厦门理工学院 一种大数据信息采集***及使用方法
CN113836160A (zh) * 2021-09-28 2021-12-24 上海市大数据股份有限公司 一种基于主从同步的数据流状态监控告警***

Also Published As

Publication number Publication date
CN114785722A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN111953541B (zh) 告警信息处理方法、装置、计算机设备及存储介质
US8577006B2 (en) User-defined system-enforced session termination in a unified telephony environment
CN113157810B (zh) 一种区块同步方法、计算机设备和存储介质
CN111930565B (zh) 分布式管理***中组件的进程故障自愈方法、装置及设备
CN112214390B (zh) 一种测试用例生成方法、装置、***、设备及介质
US20240022661A1 (en) Suppressing indications of events in user interfaces
CN113961619A (zh) 一种数据同步方法、装置、计算机设备及存储介质
CN114785722B (zh) 监控数据处理方法、装置及计算机可读存储介质
CN110380902B (zh) 拓扑关系生成方法、装置、电子设备及存储介质
CN111274104B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US9058586B2 (en) Identification of a person located proximite to a contact identified in an electronic communication client
CN111723163A (zh) 一种信息处理方法、装置及***
CN111316691B (zh) 基于可用资源向设备缓存和提供数据
CN114650211B (zh) 故障修复方法、装置、电子设备和计算机可读存储介质
CN114756301B (zh) 日志处理方法、装置和***
CN111290873B (zh) 故障处理方法和装置
CN114253797A (zh) 一种微服务***的故障处理方法及相关装置
CN109388546B (zh) 处理应用程序的故障的方法、装置和***
CN113282455A (zh) 一种监控处理方法和装置
US12038821B2 (en) Alert rule manipulation in sync of temporary configuration change
CN115858652A (zh) 一种数据转换方法、装置、计算机设备及存储介质
CN115098024A (zh) 磁盘文件清理方法、装置、电子设备及存储介质
CN105516010A (zh) 一种信息处理方法和电子设备
CN114490128A (zh) 一种异地多活架构下的数据存储方法和装置
CN114422535A (zh) 区块链中部署合约的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 430070 No. 1, 2 and 10, floors 1-3, building A7, Rongke Zhigu industrial project phase I, No. 555, Wenhua Avenue, Hongshan District, Wuhan City, Hubei Province

Patentee after: Wuhan Barda Technology Co.,Ltd.

Address before: 430070 No. 1, 2 and 10, floors 1-3, building A7, Rongke Zhigu industrial project phase I, No. 555, Wenhua Avenue, Hongshan District, Wuhan City, Hubei Province

Patentee before: Wuhan Sitong Information Service Co.,Ltd.

CP01 Change in the name or title of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Monitoring data processing method, device and computer-readable storage medium

Effective date of registration: 20230302

Granted publication date: 20220930

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Wuhan Barda Technology Co.,Ltd.

Registration number: Y2023420000085

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20220930

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Wuhan Barda Technology Co.,Ltd.

Registration number: Y2023420000085

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Monitoring data processing methods, devices, and computer-readable storage media

Granted publication date: 20220930

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Wuhan Barda Technology Co.,Ltd.

Registration number: Y2024980007424