CN110071854A - 节点间报文传输流量监控方法及装置 - Google Patents

Abstract

本发明提供了一种节点间报文传输流量监控方法及装置，所述方法包含：获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；根据预设周期采集各传输机器对应的流量报文；根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

Description

节点间报文传输流量监控方法及装置

技术领域

本发明涉及数据监控领域，尤指一种节点间报文传输流量监控方法及装置。

背景技术

在数据监控领域中，节点间传输流量是业内人员常用的监控手段之一，通过监控节点间传输流量可有效获知***运营状态等相关信息，便于有效维护运营***的稳定性；同时节点间数据流量也与运营***的实时状态息息相关，基于此，业内相关技术人员在执行数据监控作业时，大多会对节点间的报文传输情况做数据收集并分析。

目前节点间报文传输流量监控存在流量处理效率过慢，误报，流量基线计算方式误差大，负载均衡算法不准确等问题；由于现有的报文传输流量监控功能存在一些问题，影响用户的监控体验，为此，业内亟需一种完整的节点间报文传输流量监控解决方法及装置。

发明内容

本发明目的在于提供一套完整的节点间报文传输流量监控方法及装置，以全新的采集数据组织格式，流量监控流程，流量监控算法提供更高效更可靠的报文传输流量监控策略。

为达上述目的，本发明所提供的节点间报文传输流量监控方法，具体包含：获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；根据预设周期采集各传输机器对应的流量报文；根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

在上述节点间报文传输流量监控方法中，优选的，所述节点信息包含节点代码、节点***号、传输机器信息和历史交易流量。

在上述节点间报文传输流量监控方法中，优选的，所述根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号包含：根据所述监控列表获得节点的历史流量数据；根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。

在上述节点间报文传输流量监控方法中，优选的，将所述监控数据与预设阈值比较，根据比较结果输出告警信号还包含：根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。

在上述节点间报文传输流量监控方法中，优选的，根据所述监控列表获得节点的历史流量数据包含：根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。

在上述节点间报文传输流量监控方法中，优选的，所述方法还包含：通过预设基线平滑率判断所述流量报文中流量值是否异常；当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。

本发明还提供一种节点间报文传输流量监控装置，所述装置包含报文生成模块、流量初始化模块、报文处理模块和预警模块；所述报文生成模块用于获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；所述流量初始化模块用于获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；所述报文处理模块用于根据预设周期采集各传输机器对应的流量报文；以及根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；所述预警模块用于根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

在上述节点间报文传输流量监控装置中，优选的，所述预警模块还包含节点预警单元，所述节点预警单元用于：根据所述监控列表获得节点的历史流量数据；根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。

在上述节点间报文传输流量监控装置中，优选的，所述预警模块还包含机器预警单元，所述机器预警单元用于：根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。

在上述节点间报文传输流量监控装置中，优选的，所述装置还包含预警模块，根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。

在上述节点间报文传输流量监控装置中，优选的，所述装置还包含历史流量基线计算模块，所述历史流量基线计算模块用于通过预设基线平滑率判断所述流量报文中流量值是否异常；当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。

本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明的有益技术效果在于：显著提升了PMTS流量监控的效率，将展示数据时效性由之前的1分30秒提升到了20秒内，效率提升至少6倍；负载均衡功能和历史流量功能更精确，大大降低监控误报率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明一实施例所提供的节点间报文传输流量监控方法的流程示意图；

图2A至图2B为本发明一实施例所提供的告警流程示意图；

图3为本发明一实施例所提供的历史流量基线计算流程示意图；

图4为本发明一实施例所提供的节点间报文传输流量监控装置的结构示意图；

图5为本发明一实施例所提供的节点间报文传输流量监控装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

请参考图1所示，本发明所提供的节点间报文传输流量监控方法，具体包含：S101获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；S102获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；S103根据预设周期采集各传输机器对应的流量报文；S104根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；S105根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。其中，所述节点信息包含节点代码、节点***号、传输机器信息和历史交易流量。具体的，在实际工作中，主要将所述流量数据以报文形式组织，一个流量报文中可以包含经过该机器的多个方向的流量信息；例如：若节点A到节点B的5笔交易和节点C到节点D的10笔交易均经过机器1，则流量报文内容包含{机器：1；{发起节点：A，目标节点：B，流量数目：5}；{发起节点：C，目标节点：D，流量数目：10}…..}，采用该方法减少了报文传输数目，极大提高了报文传输效率。

由于流量监控是以分钟作为单位，因此为最大化提高监控统计效率，可将所需统计的各机器、各节点信息全部提前初始化到数据库中，生成监控列表；实际工作中，上述步骤S102可如下执行若需要统计从节点A到节点B的及机器1的流量信息，则将节点A和节点B的***号，节点代码，该流量方向在该时刻的历史流量及机器1所属城市处理中心，***号，机器号等信息***数据库，并将该分钟的实时流量设置为null。通过这种预初始化方法使得流量统计时只需累加流量笔数而无需其他多余操作，极大提高了统计监控效率。当采集数据到来时，将数据按照报文格式解析入流量明细库，触发批处理任务以节点和机器两个维度统计流量数据；节点流量统计是以发起节点和目标节点两者组合为维度统计流量，而机器流量统计则统计经过该机器的所有流量。若采集的报文包含有{机器：1；{发起节点：A，目标节点：B，流量数目：5}；{发起节点：C，目标节点：D，流量数目：10}…..}的信息，则预警模块将数据库中发起节点为A目标节点为B的记录的实时流量值加5，将发起节点为C目标节点为D的记录的实时流量值加10，机器流量统计模块则是将机器1的实时流量值加15，以此达到多维度更全面的流量监控。

实际工作中，考虑到不同流量方向的流量笔数自身的差异，为精确计算不同流量方向的不同机器的负载均衡以减少监控误报，请参考图2A和图2B所示，在本发明一实施例中，上述步骤S105还包含：S201根据所述监控列表获得节点的历史流量数据；S202根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；S203将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。以及S211根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；S212根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；S213将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。具体的，若节点M下有M1,M2两台机器，则对M1,M2两台机器做负载均衡，以提供更加精确的监控数据；该算法引入标准差的概念，首先计算该节点下的不同机器上的流量标准差σ以表示机器流量的浮动率，接着计算不同机器上的流量平均数以表示流量均值，将前后两者相除即能准确得出机器负载均衡因子Ratio，即：

若节点M下有M1,M2两台机器，流量分别为100,20，那么标准差为56.57，平均数为60，负载均衡则为0.94；当监控数据汇总结束后，用可配置的方式对数据进行监控，即***根据数据库中配置的范围检查机器负载均衡及节点流量是否合理。若计算得出负载均衡为0.94，配置范围为0-1，则合理，若配置范围为0-0.7，则不符合要求，立即触发***报警；若发起节点A目标节点B的历史流量数据为100，配置系数为0.5，则可接受的流量范围为[100/(1-0.5),100×(1+0.5)]，若当前流量为105则符合要求，若当前流量为10则不符合要求，立刻触发监控报警，通过上述方法权衡了智能化和时效性，提供更准确的监控信息。

在上述实施例中，根据所述监控列表获得节点的历史流量数据包含：根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。为降低异常节点的影响，请参考图3所示，在本发明一实施例中，根据所述流量报文获得对应的节点信息和交易数目还包含：通过预设基线平滑率判断所述流量报文中流量值是否异常；当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。具体的，为提高监控准确度，使节点历史流量数据更贴近真实现状，减少异常节点对历史流量数据的影响，本发明可采用“剔除流量异常点”的概念，即在将流量纳入历史流量计算前首先判断该流量的合法性，正常采样点流量StreamNum应满足：StreamNum！＝0&&StreamNum！＝NULL&&后一个采集时间点的流量/(1+基线平滑率)<＝StreamNum<＝后一个采集时间点的流量×(1+基线平滑率)；

其中基线平滑率为数据库可配置参数；若基线平滑率为0.5，后一个采集时间点流量为100，则正常采样点应满足当前流量值不为空，不为零，并且要在[100/(1+0.5),100×(1×0.5)]范围内；剔除异常点后，则可计算历史流量数据，为降低单次流量值对整体历史值的影响，还可加引入环比统计周期的概念，具体算法可如下：

当已统计天数小于环比统计周期时：流量基线＝(历史基线值×已统计天数+本次统计流量)/(已统计天数+1)；

当已统计天数大于等于环比统计周期时：流量基线＝(历史基线值×(环比统计周期-1)+本次统计流量)/环比统计周期；

其中环比统计周期为数据库可配置参数。

亦即，假设环比统计周期为7,，历史基线值为100，本次流量为50；若已统计天数为2，则流量基线＝(100×2+50)/(2+1)＝83.33；若已统计天数为7，则流量基线＝(100×(7-1)+50)/7＝92.86。

请参考图4所示，本发明还提供一种节点间报文传输流量监控装置，所述装置包含报文生成模块、流量初始化模块、报文处理模块和预警模块；所述报文生成模块用于获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；所述流量初始化模块用于获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；所述报文处理模块用于根据预设周期采集各传输机器对应的流量报文；以及根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；所述预警模块用于根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

请参考图5所示，在上述实施例中，所述预警模块还包含节点预警单元，所述节点预警单元用于：根据所述监控列表获得节点的历史流量数据；根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。

在上述实施例中，所述预警模块还包含机器预警单元，所述机器预警单元用于：根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。

在本发明一实施例中，所述装置还包含预警模块，根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。

在本发明一实施例中，所述装置还包含历史流量基线计算模块，所述历史流量基线计算模块用于通过预设基线平滑率判断所述流量报文中流量值是否异常；当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种节点间报文传输流量监控方法，其特征在于，所述方法包含：

获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；

获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；

根据预设周期采集各传输机器对应的流量报文；

根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；

根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

2.根据权利要求1所述的节点间报文传输流量监控方法，其特征在于，所述节点信息包含节点代码、节点***号、传输机器信息和历史交易流量。

3.根据权利要求1所述的节点间报文传输流量监控方法，其特征在于，根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号包含：

根据所述监控列表获得节点的历史流量数据；

根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；

将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。

4.根据权利要求3所述的节点间报文传输流量监控方法，其特征在于，将所述监控数据与预设阈值比较，根据比较结果输出告警信号还包含：根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；

根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；

将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。

5.根据权利要求3所述的节点间报文传输流量监控方法，其特征在于，根据所述监控列表获得节点的历史流量数据包含：根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。

6.根据权利要求5所述的节点间报文传输流量监控方法，其特征在于，所述方法还包含：

通过预设基线平滑率判断所述流量报文中流量值是否异常；

当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。

7.一种节点间报文传输流量监控装置，其特征在于，所述装置包含报文生成模块、流量初始化模块、报文处理模块和预警模块；

所述报文生成模块用于获取各传输机器的流量数据，根据所述流量数据中节点信息及交易数目生成流量报文；

所述流量初始化模块用于获取待监控项目涉及的节点信息和传输机器信息，将所述节点信息和所述传输机器信息存入预设数据库中，建立监控列表；

所述报文处理模块用于根据预设周期采集各传输机器对应的流量报文；以及根据所述流量报文获得对应的节点信息和交易数目，将所述节点信息、交易数目及所述流量报文对应的传输机器的标识信息写入所述监控列表中；

所述预警模块用于根据所述监控列表获得监控数据，将所述监控数据与预设阈值比较，根据比较结果输出告警信号。

8.根据权利要求7所述的节点间报文传输流量监控装置，其特征在于，所述预警模块还包含节点预警单元，所述节点预警单元用于：

根据所述监控列表获得节点的历史流量数据；

根据所述历史流量数据与预设配置参数获得所述节点的流量阈值；

将节点的当前流量与所述流量阈值比较，当比较结果超出所述流量阈值时，生成报警信号并输出。

9.根据权利要求8所述的节点间报文传输流量监控装置，其特征在于，所述预警模块还包含机器预警单元，所述机器预警单元用于：根据所述监控数据计算各节点所包含传输机器的流量标准差和流量平均数；根据所述流量标准差及所述流量平均数的比值获得传输机器的负载阈值；将所述传输机器的负载均衡与所述负载阈值比较，当比较结果超出所述负载阈值时，生成报警信号并输出。

10.根据权利要求8所述的节点间报文传输流量监控装置，其特征在于，所述装置还包含预警模块，根据所述监控列表通过环比统计周期法计算所述节点的流量值；根据所述流量值累加获得历史流量数据。

11.根据权利要求10所述的节点间报文传输流量监控装置，其特征在于，所述装置还包含历史流量基线计算模块，所述历史流量基线计算模块用于通过预设基线平滑率判断所述流量报文中流量值是否异常；当所述流量值异常时剔除所述流量报文，根据剔除异常所述流量报文后的所述流量值计算节点历史流量基线。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一项所述方法的计算机程序。