CN114168405A - 一种数据监控方法、装置、终端设备及存储介质 - Google Patents
一种数据监控方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114168405A CN114168405A CN202111365102.XA CN202111365102A CN114168405A CN 114168405 A CN114168405 A CN 114168405A CN 202111365102 A CN202111365102 A CN 202111365102A CN 114168405 A CN114168405 A CN 114168405A
- Authority
- CN
- China
- Prior art keywords
- index
- message
- data
- analysis
- index group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004458 analytical method Methods 0.000 claims abstract description 125
- 238000012806 monitoring device Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 60
- 238000005192 partition Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 22
- 230000002776 aggregation Effects 0.000 claims description 19
- 238000004220 aggregation Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000011161 development Methods 0.000 abstract description 5
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请适用于数据监控技术领域,提供了一种数据监控方法、装置、终端设备及存储介质。本申请实施例中获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标;将上述各个报文指标进行分组处理,得到至少一个指标组;对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果;根据上述至少一个指标组的分析结果确定上述监控对象的当前状况,从而致使后期对短信监控工作进行开发和维护时的工作效率提高。
Description
技术领域
本申请属于数据监控技术领域,尤其涉及一种数据监控方法、装置、终端设备及存储介质。
背景技术
随着科技的快速发展,越来越多智能产品的出现让人们的通讯方式愈发简单化,促使人们足不出户就可以实现彼此之间的沟通和联络,例如,终端用户可以通过相互之间发短信来传达消息。目前的短信种类繁多,例如短信、富信、智能短信及5G消息等,在用户通过短信来传达消息的过程中,对于短信服务商而言,首要关心的问题就是短信的发送状况,因此需要对短信发送通道以及短信发送账号的短信发送状况进行监控。
而由于短信发送通道与短信发送账号所关注的指标不同,因此,现有技术中对短信发送状况进行监控时,需对不同的短信发送通道与短信发送账号采用不同的报文协议进行数据传输和处理,从而导致在后期开发和维护过程中也只能按照指定报文协议处理对应类型的报文,从而需要对应修改一整套的代码,致使后期对短信监控工作进行开发和维护时的工作效率较低。例如,如果想增加一个短信的监控指标,需要历经开发,测试,上线,改BUG等一系列操作。
发明内容
本申请实施例提供了一种数据监控方法、装置、终端设备及存储介质,可以解决后期对短信监控工作进行开发和维护时的工作效率较低的问题。
第一方面,本申请实施例提供了一种数据监控方法,包括:
获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标;
将上述各个报文指标进行分组处理,得到至少一个指标组;
对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果;
根据上述至少一个指标组的分析结果确定上述监控对象的当前状况。
第二方面,本申请实施例提供了一种数据监控装置,包括:
数据获取模块,用于获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标;
分组处理模块,用于将上述各个报文指标进行分组处理,得到至少一个指标组;
分析处理模块,用于对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果;
状况确定模块,用于根据上述至少一个指标组的分析结果确定上述监控对象的当前状况。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现上述任一种数据监控方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述的计算机程序被处理器执行时实现上述任一种数据监控方法的步骤。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一种数据监控方法。
本申请实施例中获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标,从而通过拆分报文指标避免了需根据不同类型的协议分别对不同类型的报文数据进行处理的过程,再将上述各个报文指标进行分组处理,得到至少一个指标组,并对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果,从而通过将报文指标分组进行分析处理,提高了报文指标的分析处理效率,最后再根据上述至少一个指标组的分析结果确定上述监控对象的当前状况,从而致使后期对短信监控工作进行开发和维护时的工作效率提高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据监控方法的流程示意图;
图2是本申请实施例提供的数据监控***的结构示意图;
图3是本申请实施例提供的报文指标的分组处理示意图;
图4是本申请实施例提供的冗余节点处理示意图;
图5是本申请实施例提供的数据监控装置的结构示意图;
图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1所示为本申请实施例中一种数据监控方法的流程示意图,该方法的执行主体可以是终端设备,如图1所示,上述数据监控方法可以包括如下步骤:
步骤S101、获取监控对象的报文数据,对报文数据进行拆分处理,得到监控对象的各个报文指标。
在本实施例中,可以预先在终端设备所监控的监控对象对应的至少一个客户端中设置写入程序,从而由该写入程序将客户端中已存在的报文数据写入至预先设置在客户端的文件夹中,待客户端中的监控程序读取文件夹中的报文数据后,将该报文数据发送给终端设备,终端设备可以获取监控对象对应的至少一个客户端的报文数据,并由预先设置的指标拆分程序根据预设规则对所获取的至少一个客户端的保温数据进行拆分处理,从而得到监控对象的各个报文指标,通过对报文数据中的指标进行拆分,可以采用统一的协议对拆分后的各个指标进行统一的监控,能够极大地提高后期对短信监控工作进行开发和维护时的工作效率。其中,上述监控对象可以对应着至少一个短信发送账号或至少一个短信发送通道,相应地上述监控对象的报文数据对应该至少一个短信发送账号或至少一个短信发送通道对应的各个客户端中的数据。
具体地,当上述报文指标来源于短信发送账号的报文数据时,报文指标包括但不限于是短信发送量、短信发送成功数、返回数等,上述返回数为短信运营商返回的短信状态报告的数量;当上述报文指标来源于短信发送通道的报文数据时,报文指标包括但不限于是下行转发量、下行滞留量、下行速度、上行滞留量、状态报告滞留量、短信下发成功率、状态报告返回率等,下行转发量为某一节点一次可以转发的短信数量,相应地下行滞留量为某一节点转发部分短信后剩余的短信数量。此外,上述报文指标还包括:监控的客户端或者监控的服务器的CPU使用率、物理内存状况、虚拟内存状况、磁盘使用状况等。
在一个实施例中,如图2所示,在终端设备对客户端数据进行监控的监控***中,上述终端设备可以利用至少一个服务器(如图2中的服务器1至服务器m)分别获取监控对象对应的客户端(如图2中的客户端1至客户端n)的报文数据,以加快数据获取速度,可以在终端设备中预设指标拆分程序,待服务器获取监控对象的报文数据后,获取服务器发送过来的报文数据,并通过预设指标拆分程序对该报文数据进行拆分处理,从而实现无需更改配置的情况下对旧版监控的指标拆分。此外,还可以将指标拆分程序预设在服务器中,从而利用服务器直接得到监控对象的各个报文指标,其中,当存在至少两个服务器时可采取负载均衡的方式将报文数据平均分给上述至少两个服务器进行处理。
在一个实施例中,上述指标可以通过图形化的形式进行显示,例如,通过饼状图、柱状图、线形图中的至少一种形式进行显示,并可以发送给前端WEB页面进行展示,从而在进行业务数据查询或趋势图数据查询时加快响应时间。
步骤S102、将各个报文指标进行分组处理,得到至少一个指标组。
在本实施例中,终端设备可以利用组件将拆分后的各个报文指标进行分组处理,从而得到至少一个指标组,其中,上述组件可以采用Kafka组件,即图2所示的中间件Kafka集群。可以理解的是,当由服务器进行报文数据的拆分处理时,终端设备可以控制服务器直接将其拆分后的各个报文指标发送给Kafka组件,以使给Kafka组件反馈给终端设备至少一个指标组。
具体地,上述kafka组件可以通过传输控制协议(TCP,Transmission ControlProtocol)与各个处理节点连接,从而通过该协议获取拆分后的各个报文指标,并将分组处理后的至少一个指标组通过该协议发送给终端设备中的指标分析模块或终端设备中的历史写库模块,以使历史写库模块直接将指标组存储至数据库。
具体地,如图3所示,可以根据各个报文指标的分区编号将各个报文指标进行分组处理,该各个报文指标的分区编号可以通过获取监控对象的标识信息,上述监控对象的标识信息可以是当前计算的报文指标对应的短信发送账号的身份ID,也可以是当前计算的报文指标对应的短信发送通道的身份ID;对报文指标的指标名称和标识信息进行哈希处理,即将指标名称(记为met)和标识信息(记为val)拼接为字符串,即图3中的met+val,对该字符串进行哈希处理,即图3中的Hash(met+val),对哈希处理结果进行取模运算,即图3中的Hash(met+val)mod 2n,即上述报文指标对应的分区编号,再根据所得到的分区编号即可确定报文指标所存储的分区,再根据预先设定的划分指标组的数量将该报文指标进行分组处理,即图3中确定出报文指标1至2n对应的分区0至2n-1,并将分区0至2n-1均等分给指标组1至n,即每个指标组包含两个报文指标。其中,上述计算分区编号时可以通过hash取模算法进行计算。
可以理解的是,分区是kafka组件的一个概念,每个分区相当于存储数据的一个容器,而分区编号相当于这个数据容器的编号,例如预先设置100个分区,那么可以用0-99数字对每个分区进行分区编号,当我们使用“hash取模算法”计算得到的各个报文指标对应的分区编号一定是在分区编号【0-99】范围内的,从而通过分区编号即可得到各个报文指标对应分配沟通数据容器。而上述指标组,即相当于将分区进行划分,几个分区为一组,例如,将100个分区划分为5组【0-19】、【20-39】、【40-59】、【60-79】、【80-99】,即可根据报文指标的分区编号,确定报文指标为哪一指标组。
步骤S103、对至少一个指标组进行分析处理,得到至少一个指标组的分析结果。
在本实施例中,终端设备中的指标分析模块通过对指按组进行分析处理,可以提高监控对象的指标处理效率,及时应对各组处理过程中遇到的问题,并最终通过指标分析程序得到至少一个指标组分别对应的分析结果。
具体地,图2中的终端设备所包含的指标分析模块、告警通知模块、历史写库模块等,每个模块均可以单独部署,并根据性能要求可以继续进行扩展。这几个模块之间可以非耦合的处理数据。例如,有时并不需要对指标组进行分析处理,则可直接通过图2中的历史写库模块,将对应的指标组的数据存储到数据库中,该数据库可以在有需求时查询相关数据,还可进一步生成对应报表。
可以理解的是,上述指标组中所包含的是以一定数据队列顺序排序的数据,即每个分区进入数据容器的先后顺序,而所排序的数据均对应相应的分区编号,待指标分析模块中的某一分析节点处理指标组中的某一指标时,会记录该指标对应的分区编号,当程序宕机重启的时候,会直接从该编号开始读数据,而记录的编号是记录在这个指标组下的。
在一个实施例中,步骤S103中对至少一个指标组进行分析处理可以包括:终端设备通过预设的分析节点分别对至少一个指标组进行分析处理,其中,终端设备的指标分析模块中可包含至少一个分析节点,并且至少一个分析节点中均设置指标分析程序,从而通过分析节点中的指标分析程序对一组指标进行分析处理。此外,可以根据分析节点的个数来智能分配分析节点对应分析的指标组的个数,例如,若当前分析节点的数量是指标组数量的1/2,则一个分析节点对应分析2个指标组;若当前分析节点的数量等于指标组数量,则一个分析节点对应分析1个指标组,如图4所示,当存在n个指标组,且分析节点大于n个时,每一个指标组对应一个分析节点。
进一步地,当分析节点的数量大于指标组数量时,还可以进一步在终端设备中部署冗余节点,并在终端设备中设置监控程序对分析节点进行分析处理时的处理状态进行监测,以便于实时发现异常状况,当监测到处理状态符合预设状态时,说明分析节点当前存在宕机或其他异常状况,需停止当前分析节点的工作,并控制预设的冗余节点替换分析节点继续对分析节点对应的指标组进行分析处理,如图4所示,在分析节点3出现宕机或其他异常状况后,控制部署的冗余节点n+1接替分析节点3的工作。其中,上述处理状态包括但不限于是指标分析速度、分析节点对应的指标组中未处理的指标数量,上述指标分析速度可以通过第一时刻下分析指标的数量、第二时刻下分析指标的数量以及第一时刻与第二时刻之间的差值得到。可以理解的是,如果指标分析速度小于速度阈值、未处理的指标数量大于数量阈值,说明分析节点当前出现宕机或其他异常状况,则自动切换至预设的冗余节点进行处理。
具体地,上述控制预设的冗余节点继续对分析节点对应的指标组进行分析处理可以包括:获取分析节点对应的指标组内未进行分析处理的报文指标的分区编号;控制冗余节点根据分区编号对未进行分析处理的报文指标进行分析处理。可以理解的是,通过记录处理指标组时的各个指标的分区编号,可以在需利用冗余节点对分析节点进行替换时,方便冗余节点继承分析节点的指标组,可以防止在出现因宕机切换分析节点致使指标组重新分配时导致符合预设状态的分析节点在之前分析采集的过程中产生的中间数据发生丢失或混乱的状况,保存在内存中的中间数据包括但不限于是计算的中间结果,触发告警的次数,下发通知次数和最新下发通知时间等。
可以理解的是,在获取分析节点对应的指标组内未进行分析处理的报文指标的分区编号之前,需预先确定未进行分析处理的报文指标的分区编号,具体确定方式可参考上述步骤。
在一个实施例中,因有时存在需利用两个指标综合处理得到分析结果,步骤S103中对至少一个指标组进行分析处理,得到至少一个指标组的分析结果可以包括:终端设备中的指标分析模块根据第一预设监控目标对指标组中的至少两个指标进行聚合计算,得到第一预设监控目标对应的指标组的分析结果。其中,上述第一监控目标为需对监控对象进行监控的目标,例如短信发送成功率、返回率等,而短信发送成功率需利用短信发送量和短信发送成功数得到,返回率需利用短信发送量和返回数得到,都需要两个指标综合处理才能得到需对监控对象进行监控的目标。
示例性地,以服务器的主机监控为例,主机对应的指标组中包括磁盘使用状况,该磁盘使用状况中包括C盘使用状况(记为CP)、D盘使用状况(记为DP)、E盘使用状况(记为EP)、F盘使用状况(记为FP),每个盘符为一个指标。当上述聚合计算为多指标聚合计算时,若计算主机磁盘使用状况(记为AllP),则将C盘,D盘,E盘,F盘四个指标最新值相加得到,即AllP=CP+DP+EP+FP;若计算C盘使用率,则使用C盘使用状况(记为cpRate)除以计算主机磁盘使用状况,即cpRate=CP÷AllP*100%。
步骤S104、根据至少一个指标组的分析结果确定监控对象的当前状况。
在本实施例中,终端设备可根据指标组的分析结果与图2告警通知模块中的告警规则对应的阈值进行判断,从而确定出监控对象的当前状况,而当前状况为异常状况时,说明分析结果符合对应阈值,则告警通知模块需进行告警提醒,其中,上述告警规则包括但不限于是大于阈值告警、小于阈值告警、异常范围值告警等,例如CPU使用率大于预设CPU阈值时说明监控对象的当前状况为异常状况,进行告警,短信发送成功率小于预设成功率阈值时说明监控对象的当前状况为异常状况,进行告警提醒。可以理解的是,若当前需对异常状况进行告警提醒,则如图2所示,指标分析模块需将分析结果发送给告警通知模块,再由告警通知模块判断是否需进行高警提醒后,将分析结果发送给历史写库模块;而倘若当前不需对异常状况进行告警提醒,则如图2所示,指标分析模块可直接将分析结果发送给历史写库模块。
在一个实施例中,步骤S104可以包括:当需要根据不同指标或者不同数据源来综合判断出监控对象的当前状况时,终端设备需根据第二预设监控目标对至少一个指标组的分析结果进行聚合计算,得到第二预设监控目标对应的分析结果;当第二预设监控目标对应的分析结果符合预设的异常阈值范围时,确定当前状况为异常状况。其中,上述第二监控目标为需对监控对象进行监控的目标,例如,监控对象对应的所有主机内CPU使用率的最大值,而所有主机内CPU使用率的最大值需利用不同数据源得到的报文指标共同分析得到,所以需根据至少一个指标组的分析结果进行聚合计算。相应地,在得到CPU使用率的最大值符合预设的异常阈值范围时,说明确定当前状况为异常状况,终端设备可以通过图2中的告警通知模块进行告警提醒。
示例性地,以服务器的主机监控为例,设定当前存在3个机房分别为机房1,机房2,机房3,每个机房有10台主机,每个主机对应的指标组中均包括CPU使用率、磁盘使用状况、短信下行MT提交量,其中磁盘使用状况中包括C盘使用状况(记为CP)、D盘使用状况(记为DP)、E盘使用状况(记为EP)、F盘使用状况(记为FP),每个盘符为一个指标。可以理解的是,每个服务器所采集并拆分的指标对应一个数据源,也就是说分组后的指标组也对应一个数据源,而服务器每次上传指标的时候,可以带上数据源信息。每个数据源都会按照一个固定频率上传数据,以保持指标数据的实时性,而进行聚合计算数据,都是以最新的数据进行聚合计算的。
当上述聚合计算为相同指标跨数据源聚合计算时,若计算3个机房内所有主机内CPU使用率最大值,则获取机房1,机房2,机房3中所有主机的CPU使用率,并从所获取的所有主机的CPU使用率中确定最大值,因每个主机的CPU使用率均来自不同的数据源,所以是跨数据源进行聚合计算;若计算机房1的物理内存状况,则查询机房1内所有主机的物理内存状况,并进行求和处理。
当上述聚合计算为多指标跨数据源聚合计算时,若计算机房1全部的磁盘使用状况,则首先计算机房1内各个主机的磁盘总量sum(CP+DP+EP+FP),然后将各个主机的磁盘总量进行求和处理。
当上述聚合计算为滑动窗口聚合计算时,例如,计算两个小时内短信下行MT提交量,则获取两个小时内的各个指标组分别对应的短信下行MT提交量,再进行求和处理。
在一个实施例中,可增加节点来扩展数据处理能力,此外,还可以增加新的指标,终端设备通过接收客户端的指标基础数据,该指标基础数据中包括指标、需处理的第一监控目标和第二监控目标中的至少一个、分析结果对应的告警规则,从而根据指标基础数据待获取报文数据后拆分出新的指标,以对新的指标进行监控。可以理解的是,在本实施例仅需要在客户端中配置新的指标对应的指标基础数据,即可在后期短信监控工作中增加新的指标,以对新的指标进行监控,操作便捷、不需要修改对应的监控代码,即可实现关于新的指标的监控。
本申请实施例中获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标,从而通过拆分报文指标避免了需根据不同类型的协议分别对不同类型的报文数据进行处理的过程,再将上述各个报文指标进行分组处理,得到至少一个指标组,并对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果,从而通过将报文指标分组进行分析处理,提高了报文指标的分析处理效率,最后再根据上述至少一个指标组的分析结果确定上述监控对象的当前状况,从而致使后期对短信监控工作进行开发和维护时的工作效率提高。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文所述的一种数据监控方法,图5所示为本申请实施例中一种数据监控装置的结构示意图,如图5所示,上述数据监控装置可以包括:
数据获取模块501,用于获取监控对象的报文数据,对报文数据进行拆分处理,得到监控对象的各个报文指标。
分组处理模块502,用于将各个报文指标进行分组处理,得到至少一个指标组。
分析处理模块503,用于对至少一个指标组进行分析处理,得到至少一个指标组的分析结果。
状况确定模块504,用于根据至少一个指标组的分析结果确定监控对象的当前状况。
在一个实施例中,上述分析处理模块503可以包括:
分析处理单元,用于通过预设的分析节点分别对至少一个指标组进行分析处理。
在一个实施例中,上述分析处理模块503还可以包括:
监测单元,用于对分析节点进行分析处理时的处理状态进行监测。
控制单元,用于当监测到处理状态符合预设状态时,控制预设的冗余节点继续对分析节点对应的指标组进行分析处理。
在一个实施例中,上述控制单元可以包括:
编号获取子单元,用于获取分析节点对应的指标组内未进行分析处理的报文指标的分区编号。
控制子单元,用于控制冗余节点根据分区编号对未进行分析处理的报文指标进行分析处理。
在一个实施例中,上述数据监控装置还可以包括:
信息获取模块,用于获取监控对象的标识信息。
编号确定模块,用于对报文指标的指标名称和标识信息进行哈希处理,确定报文指标的分区编号。
在一个实施例中,上述分析处理模块503还可以包括:
第一聚合计算单元,用于根据第一预设监控目标对指标组中的至少两个指标进行聚合计算,得到第一预设监控目标对应的指标组的分析结果。
在一个实施例中,上述状况确定模块504可以包括:
第二聚合计算单元,用于根据第二预设监控目标对至少一个指标组的分析结果进行聚合计算,得到第二预设监控目标对应的分析结果。
状况确定单元,用于当第二预设监控目标对应的分析结果符合预设的异常阈值范围时,确定当前状况为异常状况。
本申请实施例中获取监控对象的报文数据,对上述报文数据进行拆分处理,得到上述监控对象的各个报文指标,从而通过拆分报文指标避免了需根据不同类型的协议分别对不同类型的报文数据进行处理的过程,再将上述各个报文指标进行分组处理,得到至少一个指标组,并对上述至少一个指标组进行分析处理,得到上述至少一个指标组的分析结果,从而通过将报文指标分组进行分析处理,提高了报文指标的分析处理效率,最后再根据上述至少一个指标组的分析结果确定上述监控对象的当前状况,从而致使后期对短信监控工作进行开发和维护时的工作效率提高。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述***实施例以及方法实施例中的对应过程,在此不再赘述。
图6为本申请实施例提供的终端设备的结构示意图。为了便于说明,仅示出了与本申请实施例相关的部分。
如图6所示,该实施例的终端设备6包括:至少一个处理器600(图6中仅示出一个),与上述处理器600连接的存储器601,以及存储在上述存储器601中并可在上述至少一个处理器600上运行的计算机程序602,例如数据监控程序。上述处理器600执行上述计算机程序602时实现上述各个数据监控方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,上述处理器600执行上述计算机程序602时实现上述各装置实施例中各模块的功能,例如图5所示模块501至504的功能。
示例性的,上述计算机程序602可以被分割成一个或多个模块,上述一个或者多个模块被存储在上述存储器601中,并由上述处理器600执行,以完成本申请。上述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序602在上述终端设备6中的执行过程。例如,上述计算机程序602可以被分割成数据获取模块501、分组处理模块502、分析处理模块503、状况确定模块504,各模块具体功能如下:
数据获取模块501,用于获取监控对象的报文数据,对报文数据进行拆分处理,得到监控对象的各个报文指标;
分组处理模块502,用于将各个报文指标进行分组处理,得到至少一个指标组;
分析处理模块503,用于对至少一个指标组进行分析处理,得到至少一个指标组的分析结果;
状况确定模块504,用于根据至少一个指标组的分析结果确定监控对象的当前状况。
上述终端设备6可包括,但不仅限于,处理器600、存储器601。本领域技术人员可以理解,图6仅仅是终端设备6的举例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备、总线等。
所称处理器600可以是中央处理单元(Central Processing Unit,CPU),该处理器600还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器601在一些实施例中可以是上述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。上述存储器601在另一些实施例中也可以是上述终端设备6的外部存储设备,例如上述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,上述存储器601还可以既包括上述终端设备6的内部存储单元也包括外部存储设备。上述存储器601用于存储操作***、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等,例如上述计算机程序的程序代码等。上述存储器601还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,上述计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据监控方法,其特征在于,包括:
获取监控对象的报文数据,对所述报文数据进行拆分处理,得到所述监控对象的各个报文指标;
将所述各个报文指标进行分组处理,得到至少一个指标组;
对所述至少一个指标组进行分析处理,得到所述至少一个指标组的分析结果;
根据所述至少一个指标组的分析结果确定所述监控对象的当前状况。
2.如权利要求1所述的数据监控方法,其特征在于,所述对所述至少一个指标组进行分析处理,包括:
通过预设的分析节点分别对所述至少一个指标组进行分析处理。
3.如权利要求2所述的数据监控方法,其特征在于,还包括:
对所述分析节点进行分析处理时的处理状态进行监测;
当监测到所述处理状态符合预设状态时,控制预设的冗余节点继续对所述分析节点对应的指标组进行分析处理。
4.如权利要求3所述的数据监控方法,其特征在于,所述控制预设的冗余节点继续对所述分析节点对应的指标组进行分析处理,包括:
获取所述分析节点对应的指标组内未进行分析处理的报文指标的分区编号;
控制所述冗余节点根据所述分区编号对所述未进行分析处理的报文指标进行分析处理。
5.如权利要求4所述的数据监控方法,其特征在于,在获取所述分析节点对应的指标组内未进行分析处理的报文指标的分区编号之前,包括:
获取所述监控对象的标识信息;
对所述报文指标的指标名称和所述标识信息进行哈希处理,确定所述报文指标的分区编号。
6.如权利要求1所述的数据监控方法,其特征在于,所述对所述至少一个指标组进行分析处理,得到所述至少一个指标组的分析结果,包括:
根据第一预设监控目标对所述指标组中的至少两个指标进行聚合计算,得到所述第一预设监控目标对应的所述指标组的分析结果。
7.如权利要求1至6任一项所述的数据监控方法,其特征在于,所述根据所述至少一个指标组的分析结果确定所述监控对象的当前状况,包括:
根据第二预设监控目标对所述至少一个指标组的分析结果进行聚合计算,得到所述第二预设监控目标对应的分析结果;
当所述第二预设监控目标对应的分析结果符合预设的异常阈值范围时,确定所述当前状况为异常状况。
8.一种数据监控装置,其特征在于,包括:
数据获取模块,用于获取监控对象的报文数据,对所述报文数据进行拆分处理,得到所述监控对象的各个报文指标;
分组处理模块,用于将所述各个报文指标进行分组处理,得到至少一个指标组;
分析处理模块,用于对所述至少一个指标组进行分析处理,得到所述至少一个指标组的分析结果;
状况确定模块,用于根据所述至少一个指标组的分析结果确定所述监控对象的当前状况。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种数据监控方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种数据监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365102.XA CN114168405A (zh) | 2021-11-17 | 2021-11-17 | 一种数据监控方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111365102.XA CN114168405A (zh) | 2021-11-17 | 2021-11-17 | 一种数据监控方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168405A true CN114168405A (zh) | 2022-03-11 |
Family
ID=80479506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111365102.XA Pending CN114168405A (zh) | 2021-11-17 | 2021-11-17 | 一种数据监控方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168405A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101640688A (zh) * | 2009-08-20 | 2010-02-03 | 中兴通讯股份有限公司 | 基于cdn的节点主备用控制器切换方法及cdn网络 |
CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
CN108462586A (zh) * | 2017-02-17 | 2018-08-28 | 中兴通讯股份有限公司 | 一种协同节点的选择方法和装置 |
CN108540439A (zh) * | 2018-02-01 | 2018-09-14 | 顺丰科技有限公司 | 数据解析方法及***、设备和存储介质 |
CN110806960A (zh) * | 2019-11-01 | 2020-02-18 | 中国联合网络通信集团有限公司 | 信息处理方法、装置及终端设备 |
CN111966289A (zh) * | 2020-08-13 | 2020-11-20 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区优化方法和*** |
CN113447886A (zh) * | 2021-06-28 | 2021-09-28 | 重庆江北国际机场有限公司 | 场面多点定位***数据质量监控方法、装置及电子设备 |
CN113468019A (zh) * | 2021-06-28 | 2021-10-01 | 康键信息技术(深圳)有限公司 | 基于Hbase的指标监控方法、装置、设备及存储介质 |
-
2021
- 2021-11-17 CN CN202111365102.XA patent/CN114168405A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101640688A (zh) * | 2009-08-20 | 2010-02-03 | 中兴通讯股份有限公司 | 基于cdn的节点主备用控制器切换方法及cdn网络 |
CN107015872A (zh) * | 2016-12-09 | 2017-08-04 | 上海壹账通金融科技有限公司 | 监控数据的处理方法及装置 |
CN108462586A (zh) * | 2017-02-17 | 2018-08-28 | 中兴通讯股份有限公司 | 一种协同节点的选择方法和装置 |
CN108540439A (zh) * | 2018-02-01 | 2018-09-14 | 顺丰科技有限公司 | 数据解析方法及***、设备和存储介质 |
CN110806960A (zh) * | 2019-11-01 | 2020-02-18 | 中国联合网络通信集团有限公司 | 信息处理方法、装置及终端设备 |
CN111966289A (zh) * | 2020-08-13 | 2020-11-20 | 上海哔哩哔哩科技有限公司 | 基于Kafka集群的分区优化方法和*** |
CN113447886A (zh) * | 2021-06-28 | 2021-09-28 | 重庆江北国际机场有限公司 | 场面多点定位***数据质量监控方法、装置及电子设备 |
CN113468019A (zh) * | 2021-06-28 | 2021-10-01 | 康键信息技术(深圳)有限公司 | 基于Hbase的指标监控方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110661659B (zh) | 一种告警方法、装置、***及电子设备 | |
CN113238913A (zh) | 服务器故障智能推送方法、装置、设备及存储介质 | |
CN108234189B (zh) | 一种告警数据处理方法和装置 | |
CN110750426A (zh) | 服务状态监测方法、装置、电子设备及可读存储介质 | |
CN110096419A (zh) | 接口日志的获取方法、接口日志管理服务器及业务服务器 | |
CN111934920A (zh) | 监控告警方法、装置、设备和存储介质 | |
CN108306749B (zh) | 一种监控***报警方法、监控***和监控装置 | |
CN112737800A (zh) | 服务节点故障定位方法、调用链生成方法及服务器 | |
CN113806191A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
US10282245B1 (en) | Root cause detection and monitoring for storage systems | |
CN111339466A (zh) | 接口管理方法、装置、电子设备及可读存储介质 | |
CN113419935B (zh) | 移动端性能监控方法、装置、设备及存储介质 | |
CN113055493B (zh) | 数据包处理方法、装置、***、调度设备和存储介质 | |
US11936540B2 (en) | System determination apparatus, system determination method and system determination program | |
CN110609761B (zh) | 确定故障源的方法、装置、存储介质和电子设备 | |
CN110011845B (zh) | 日志采集方法及*** | |
US10223189B1 (en) | Root cause detection and monitoring for storage systems | |
CN111694721A (zh) | 一种微服务的故障监测方法和装置 | |
CN114637656B (zh) | 基于Redis的监控方法、装置、存储介质和设备 | |
CN114168405A (zh) | 一种数据监控方法、装置、终端设备及存储介质 | |
CN111651316B (zh) | 一种资源监控方法、***、电子设备及存储介质 | |
CN115883376A (zh) | 一种基于平台实时访问量的节点动态扩容方法及*** | |
CN111885159B (zh) | 数据采集方法、装置、电子设备及存储介质 | |
US9898357B1 (en) | Root cause detection and monitoring for storage systems | |
CN113472881A (zh) | 在线终端设备的统计方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |