CN117858135A - 网络异常检测方法、装置、电子设备及存储介质 - Google Patents
网络异常检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117858135A CN117858135A CN202211215007.6A CN202211215007A CN117858135A CN 117858135 A CN117858135 A CN 117858135A CN 202211215007 A CN202211215007 A CN 202211215007A CN 117858135 A CN117858135 A CN 117858135A
- Authority
- CN
- China
- Prior art keywords
- subnet
- network
- target
- index
- target network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 134
- 230000002159 abnormal effect Effects 0.000 claims abstract description 53
- 230000005856 abnormality Effects 0.000 claims abstract description 50
- 230000000737 periodic effect Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims description 54
- 230000036541 health Effects 0.000 claims description 41
- 238000005070 sampling Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 26
- 238000012216 screening Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 238000012097 association analysis method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种网络异常检测方法、装置、电子设备及存储介质,该网络异常检测方法包括:判断用于确定当前网络是否异常的关键网络指标中的目标网络指标,是否为周期性指标得到判断结果;基于根据判断结果选择的目标阈值算法,和当前网络中任一子网的目标网络指标在第一预设时间段内的时间序列数据,确定相应的目标阈值区间;若该任一子网的目标网络指标的实时取值超过目标阈值区间,则确定当前网络异常并定位任一子网下的严重故障小区。这样,在基于子网的关键网络指标的实时取值和其对应的目标阈值区间确定网络是否异常,实现网络异常的实时、自动检测的基础上,可进一步进行严重故障小区定位,从而高效完成网络检测和分析工作。
Description
技术领域
本申请涉及无线通信技术领域,尤其涉及一种网络异常检测方法、装置、电子设备及存储介质。
背景技术
在无线通信技术领域,随着网络性能监测的需求日益增长,网络异常实时检测技术和故障关联分析技术成为研究的热点之一。
现有技术中,已经存在一些利用机器学习等技术实现网络异常实时检测的方法。例如,将目标网络分层成子网络,通过机器学习算法确定子网络的相似矩阵,然后基于相似矩阵和历史性能数据训练得到异常检测模型。但是,这一方法专注于通过优化机器学习算法提升检测的准确度,以及能够在电信网络、有线电视网络等多种网络场景中进行应用。类似该方法的技术,其输出的检测结果没有体现网络产生异动的可能原因,并且没有后续的故障关联分析方法。
在实际的网络性能监测和运维工作中,网络优化工程师经常关注网络的关键指标,比如无线接通率、RRC连接建立成功率等。这些指标数据由网元上报到网管的计数器数据通过指标的公式汇总后得到,能够更加详细地、多维度地表征网络的状态。网络优化工程师通过监测网络关键指标的状态来进行网络异常检测,能够更加详细、明确地体现出网络产生异常的原因,便于迅速定位网络问题。但是,网络优化工程师依赖专家经验监测网络关键指标、识别网络异常的难度较大,且具有滞后性。
随着技术的发展,逐渐出现了利用网络指标预测技术监测网络关键指标的方法。例如,获取一组网络指标,计算这些网络指标间的相关性得到关联指标数据集,将关联指标数据集输入预先训练的传输质量预测模型得到传输质量预测值,然后将预测值输入预先训练的异常标注模型,得到异常数据。但是,该方法中,需要计算网络指标间的相关性,局限性较大,暂时仅在传输质量预测的场景中应用,且该方法中的异常检测仅基于预测结果进行,对网络突发的重大故障响应不够及时,也无法提供相关的故障关联分析方法。
发明内容
本申请提供了一种网络异常检测方法、装置、电子设备及存储介质,以解决无法自动、实时地进行网络异常检测并进行故障关联分析的问题。
第一方面,本申请提供了一种网络异常检测方法,该方法包括:
判断目标网络指标是否为周期性指标,得到判断结果;所述目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个;
基于所述判断结果,选择目标阈值算法,并基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间;所述目标网络指标数据包括所述目标网络指标在第一预设时间段内的时间序列数据;
若所述当前网络中任一子网的目标网络指标的实时取值超过所述目标阈值区间,则确定当前网络异常并定位所述任一子网下的严重故障小区。
可选地,所述判断目标网络指标是否为周期性指标,得到判断结果,包括:
以预设采样点数为周期,基于所述任一子网的目标网络指标数据和FFT频谱进行判断,确定所述目标网络指标是否为周期性指标。
可选地,所述基于所述判断结果,选择目标阈值算法,包括:
若所述判断结果表示所述目标网络指标为周期性指标,则选择第一预测算法和第一阈值算法为目标阈值算法;
若所述判断结果表示所述目标网络指标为非周期性指标,则选择第二阈值算法为目标阈值算法。
可选地,所述判断结果表示所述目标网络指标为周期性指标时,所述基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间,包括:
基于所述任一子网的目标网络指标数据和第一预测算法,对目标网络指标的周期中各个采样点的取值进行拟合预测,得到预测周期序列,并确定目标网络指标的周期中的各个采样点的拟合误差均方根;
基于所述预测周期序列、所述任一子网的目标网络指标数据、各个采样点的拟合误差均方根和所述第一阈值算法,对目标网络指标的周期中各个采样点对应的阈值区间进行训练,得到所述各个采样点对应的目标阈值区间。
可选地,所述判断结果表示所述目标网络指标为非周期性指标时,所述基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间,包括:
基于所述第二阈值算法,采用高斯核对所述任一子网的目标网络指标数据进行核密度估计,并确定累积分布函数;
基于所述第二阈值算法,根据所述累积分布函数进行计算,确定目标网络指标在第一分位数对应的第一取值,和目标网络指标在第二分位数对应的第二取值;所述第一分位数大于所述第二分位数;
将第一取值和第二取值,分别确定为所述目标网络指标对应的目标阈值区间的上阈值和下阈值。
若判断结果表示目标网络指标为非周期性指标,该方法还包括:
选择第二预测算法为目标阈值算法;
基于任一子网的目标网络指标数据与第二预测算法,或者,基于目标网络指标对应的目标阈值区间的上阈值和下阈值与第二预测算法,对目标网络指标的实时取值进行预测,得到任一子网的目标网络指标的实时取值对应的预测值。
可选地,所述确定当前网络异常,包括:
对所述当前网络中任一子网的目标网络指标的实时取值相对于所述目标阈值区间的偏离程度进行评分,得到单点偏离程度评分;
基于当前时刻之前的第二预设时间段内网络异常的概率,对网络异常程度进行评分,得到异常持续程度评分;
对所述单点偏离程度评分和所述异常持续程度评分进行加权处理,得到所述任一子网的目标网络指标的健康度;
若所述健康度超过预设健康度阈值,则确定当前网络异常。
可选地,所述定位所述任一子网下的严重故障小区,包括:
基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区。
可选地,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区之前,所述方法还包括:
基于目标网络指标的计算公式的结构,确定所述目标网络指标的类型;
若所述目标网络指标的类型为比率型,则按照第一规则来确定所述任一子网中各个小区的贡献度;
若所述目标网络指标的类型为计数型,则按照第二规则来确定所述任一子网中各个小区的贡献度。
可选地,所述按照第一规则来确定所述任一子网中各个小区的贡献度,包括:
基于所述第一规则,对所述任一子网中任一小区执行以下操作:
基于所述任一子网的目标网络指标的实时取值、所述任一子网中任一小区的目标网络指标的实时取值,以及所述任一子网的目标网络指标偏离对应的目标阈值区间的方向,来确定所述任一小区的贡献度。
可选地,所述确定所述任一小区的贡献度,包括:
基于C=[A-(a1-b1)/(a2-b2)]*d,来确定所述任一小区的贡献度;
其中,C表示所述任一小区的贡献度,A表示所述任一子网的目标网络指标的实时取值,a1表示所述任一子网的目标网络指标的实时取值的分子,a2表示所述任一子网的目标网络指标的实时取值的分母,b1表示所述任一小区的目标网络指标的实时取值的分子,b2表示所述任一小区的目标网络指标的实时取值的分母,d表示所述任一子网的目标网络指标的实时取值偏离所述目标阈值区间的方向。
可选地,所述按照第二规则来确定所述任一子网中各个小区的贡献度,包括:
基于所述第二规则,对所述任一子网中任一小区执行以下操作:
确定所述任一小区的目标网络指标的实时取值对应的预测值,并基于所述任一子网的目标网络指标的实时取值和对应的预测值、所述任一小区的目标网络指标的实时取值和对应的预测值,来确定所述任一小区的贡献度。
可选地,所述确定所述任一小区的贡献度,包括:
基于C=(B-b)/(A-a),来确定所述任一小区的贡献度;
其中,C表示所述任一小区的贡献度,A表示所述任一子网的目标网络指标的实时取值,B表示所述任一小区的目标网络指标的实时取值,a表示所述任一子网的目标网络指标的实时取值对应的预测值,b表示所述任一小区的目标网络指标实时取值对应的预测值。
可选地,所述目标网络指标的类型为比率型时,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区,包括:
基于贡献度高低对所述各个小区进行排序,得到小区贡献度排序;
按照所述小区贡献度排序,逐个累计剔除小区并重新计算得到所述任一子网的目标网络指标,直至重新计算得到的所述任一子网的目标网络指标不超出其对应的目标阈值区间;
将剔除的小区确定为所述任一子网中的严重故障小区。
可选地,所述目标网络指标的类型为计数型时,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区,包括:
基于预设贡献度筛选标准对所述各个小区进行筛选,将所述各个小区中通过筛选的至少一个小区,确定为所述任一子网中的严重故障小区。
可选地,所述基于预设贡献度筛选标准对所述各个小区进行筛选,将所述各个小区中通过筛选的至少一个小区,确定为所述任一子网中的严重故障小区,包括:
基于各个小区的贡献度均值与方差,确定标准贡献度;
将所述各个小区中贡献度超过所述标准贡献度的小区,确定为所述任一子网中的严重故障小区。
可选地,在所述确定当前网络异常并定位所述任一子网下的严重故障小区之后,所述方法还包括:
生成网络异常检测信息,所述网络异常检测信息包括网络异常检测结果、所述任一子网的信息与所述任一子网中严重故障小区的信息;
将所述网络异常检测信息发送给用户,以使得所述用户及时发现网络异常以及网络异常原因。
第二方面,本申请提供了一种网络异常检测装置,所述装置包括:
判断单元,用于判断目标网络指标是否为周期性指标,得到判断结果;所述目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个;
确定单元,用于基于所述判断结果,选择目标阈值算法,并基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间;所述目标网络指标数据包括所述目标网络指标在第一预设时间段内的时间序列数据;
异常检测单元,用于若所述当前网络中任一子网的目标网络指标的实时取值超过所述目标阈值区间,则确定当前网络异常并定位所述任一子网下的严重故障小区。
第三方面,本申请提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一项实施例所述的网络异常检测方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的网络异常检测方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该网络异常检测方法,基于用于确定当前网络是否异常的关键网络指标中的任意一个即目标网络指标,是否为周期性指标,选择目标阈值算法,并基于该目标阈值算法和任一子网的目标网络指标在第一预设时间段内的时间序列数据,来确定该任一子网下的目标网络指标对应的目标阈值区间,进而基于该任一子网的目标网络指标的实时取值和对应的目标阈值区间,确定当前网络是否异常,实现网络异常的实时、自动检测,在此基础上,定位该任一子网下的严重故障小区,可以较为高效的完成网络异常检测和网络异常的分析工作。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络异常检测方法的流程示意图;
图2为本申请实施例提供的一种网络异常检测流程的示意图;
图3为本申请实施例提供的一种网络异常检测***的示意图;
图4为本申请实施例提供的一种网络异常检测装置的示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决无法自动、实时地进行网络异常检测并进行故障关联分析的问题,本申请实施例提供了一种网络异常检测方法,应用于任一设备中,该任一设备可与当前网络直接或间接通信。如图1所示,该网络异常检测方法包括步骤101-步骤104:
步骤101:判断目标网络指标是否为周期性指标。
其中,目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个。
在一种可能的实现方式中,用于确定当前网络是否异常的关键网络指标的数量为至少一个。
可选地,以预设采样点数为周期,基于任一子网的目标网络指标数据和FFT频谱进行判断,确定目标网络指标是否为周期性指标。
一般地,网络中子网的数量为多个。其中,上述任一子网为当前网络的子网中的任意一个。
另外,上述目标网络指标数据包括目标网络指标在第一预设时间段内的时间序列数据。其中,第一预设时间段是当前时刻之前的一段时间,第一预设时间段的具体时间长度可以是根据经验值确定的,也可以是随机确定的。且第一预设时间段的具体时间长度可以是固定的,也可以是针对不同的目标网络指标确定的。
在一种可能的实现方式中,在判断目标网络指标是否为周期性指标之前,即执行步骤101之前,先采集网元上报至网管的性能数据,从采集到的性能数据中获取第一预设时间段内的各个小区计数器数据。随后,对获取到的第一预设时间段内的各个小区的计数器数据进行汇总,得到各个子网的计数器数据。最后,基于网络指标的计算公式将各个子网的计数器数据转化为各个子网的网络指标数据。
具体地,在基于网络指标的计算公式将各个子网的计数器数据转化为各个子网的网络指标数据之后,对各个子网的网络指标数据进行数据预处理,包括填补缺失值和去极值等操作。这样的话,通过对各个子网的网络指标数据进行数据预处理可以保证数据的完整性,并去除极端值的干扰,从而保证基于该网络指标数据所确定的目标阈值区间的准确性和可靠性,更进一步的,可以有效保证基于该目标阈值区间进行网络异常检测的准确性。
具体地,在汇总得到各个子网的计数器数据先确定子网对象例如任一子网,以及目标网络指标,并在汇总得到各个子网的计数器数据后,基于目标网络指标的计算公式,将任一子网的计数器数据转化为该任一子网的目标网络指标数据。这样,在得到各个子网的计数器数据后,仅对选定的任一子网的目标网络指标对应的计数器数据进行转化,得到所需的任一子网的目标网络指标数据,可以较好的减少数据处理量,减少数据处理时延,从而提高确定当前网络中任一子网的目标网络指标对应的目标阈值区间的效率。
或者,具体地,在采集网元上报至网管的性能数据之前,确定子网对象例如任一子网以及目标网络指标。这样的话,可以在采集性能数据、获取小区计数器数据、汇总子网的计数器数据或者转化得到子网的网络指标数据的过程中,仅针对任一子网和目标网络指标对应的数据进行处理,从而更好的减少数据处理量,减少数据处理时延,提高确定当前网络中任一子网的目标网络指标对应的目标阈值区间的效率。
示例性的,第一预设时间段可以为例如15天。
具体地,上述对计数器数据进行汇总的方式可以为求和或取平均值等。
在一种可能的实现方式中,上述子网对象和目标网络指标可以是由用户确定的。确定子网对象和目标网络指标后,执行本申请中的步骤101-104。
示例性的,以一天的采样点数period为周期,基于FFT频谱,对目标网络指标是否为周期性指标进行判断,具体过程如下:
首先,对任一子网的目标网络指标数据去趋势,保证数据长度>=2*period,即目标网络指标数据至少包括目标网络指标两个周期的取值。随后,对目标网络指标数据进行FFT变换,FFT变换的长度为fft_size,经过FFT变换后,频谱[1,fft_size/4]中最大峰值频点f对应的周期为T,且period%T=0。其中,频谱的右边界fft_size/4可以保证f对应的周期T>4。最后,记录f对应的频谱增值为fft_amp,并经过计算变换后得到频谱均值fft_mean和方差fft_std。若f对应的频谱均值fft_amp大于预设值和方差fft_std之积与频谱均值fft_mean的和,即fft_amp>fft_mean+period_check_ratio*fft_std,则该目标网络指标数据成周期性特征,即该目标网络指标数据对应的目标网络指标为周期性指标。一般情况下,预设值period_check_ratio默认配置为3,可用于确定目标网络指标是否为周期性指标。
这样的话,可基于历史采集到的网络指标的时间序列数据,在未知该网络指标是否为周期性指标的情况下,通过对采集到的该网络指标的时间序列数据进行分析,确定该网络指标是否为周期性指标,便于针对性的选择目标阈值算法,确定该网络指标所对应的目标网络阈值,从而通过监测该网络指标的变化实现对当前网络的监测。
或者,可选地,网络指标的相关信息中包括例如可指示网络指标是否为周期性指标的标签。这样的话,可基于目标网络指标的相关信息中的标签,来确定该目标网络指标是否为周期性指标。
步骤102:基于判断结果,选择目标阈值算法。
可选地,基于判断结果的不同,所选择的目标阈值算法不同。
在一种可能的实现方式中,判断结果表示目标网络指标为周期性指标,或者,判断结果表示目标网络指标为非周期性指标。
此时,若判断结果表示目标网络指标为周期性指标,则选择第一预测算法和第一阈值算法为目标阈值算法;若判断结果表示目标网络指标为非周期性指标,则选择第二阈值算法为目标阈值算法。
也就是说,根据网络指标的时间序列数据是否具有周期性特征,即网络指标的时间序列数据的数据类型为周期数据还是非周期数据,来为该网络指标选择合适的训练对应的阈值区间的算法,至少包括阈值算法(或者说上下阈值算法),还可以包括预测算法(或者说预测值算法)。
在另一种可能的实现方式中,判断结果表示目标网络指标为非周期性指标时,基于判断结果,选择目标阈值算法,还包括选择第二预测算法为目标预测算法。
也就是说,在判断结果表示目标网络指标为非周期性指标时,将第二预测算法与第二阈值算法一并作为目标阈值算法。
此时,可基于任一子网的目标网络指标数据与第二预测算法,对目标网络指标的实时取值进行预测,得到该任一子网的目标网络指标的实时取值对应的预测值。
或者,此时,可基于任一子网的目标网络指标对应的目标阈值区间的上阈值和下阈值,以及第二预测算法,对目标网络指标的实时取值进行预测,得到该任一子网的目标网络指标的实时取值对应的预测值。
具体地,基于任一子网的目标网络指标数据与第二预测算法,对目标网络指标的实时取值进行预测时,可先基于类似于Olympic算法的第二预测算法,确定任一子网的目标网络指标数据中当前时刻之前一定时间长度(例如n天)内相同时刻(即当前时刻)的所有取值的均值,随后,将该均值确定为该任一子网的目标网络指标的实时取值对应的预测值。
或者,具体地,基于任一子网的目标网络指标数据与第二预测算法,对目标网络指标的实时取值进行预测时,可先基于第二预测算法,确定任一子网的目标网络指标数据中当前时刻之前一定时间长度(例如n天)内所有取值的均值,随后,将该均值确定为该任一子网的目标网络指标的实时取值对应的预测值。
具体地,可基于任一子网的目标网络指标对应的目标阈值区间的上阈值和下阈值,以及第二预测算法,对目标网络指标的实时取值进行预测时,可先基于第二预测算法,确定该目标网络指标对应的目标阈值区间的上阈值和下阈值的均值,随后,将该均值确定为该任一子网的目标网络指标的实时取值对应的预测值。
也就是说,第二预测算法可以是取均值的算法,基于选择的不同,可以对不同的数据取均值,从而得到任一子网的目标网络指标的实时取值对应的预测值。其中,不同的数据并不局限于上述提到的数据。
表1
数据类型 | 预测算法 | 阈值算法 |
周期数据 | Olympic算法 | 自适应Ksigma算法 |
非周期数据 | 阈值均值算法 | KDE算法 |
示例性的,网络指标的时间序列数据的数据类型与阈值算法、预测算法之间的对应关系,可如上表1所示。其中,与数据类型中周期数据对应的预测算法和阈值算法,即第一预测算法和第一阈值算法,分别为Olympic算法和自适应Ksigma算法,与数据类型中非周期数据对应的预测算法和阈值算法,即第二预测算法和第二阈值算法,分别为阈值均值算法和核密度估计(kernel density estimation,KDE)算法。
需要说明的是,Olympic算法用于周期序列的预测,是一个简单的窗口模型,以之前N个周期对应点的平均值来当作下一个点的预测值。另,相比于固定的Ksigma算法,本申请中所采用的自适应Ksigma算法,更能适应不同分布的数据,降低误报率。
步骤103:基于目标阈值算法和当前网络中任一子网的目标网络指标数据,确定该任一子网的目标网络指标对应的目标阈值区间。
可选地,判断结果表示目标网络指标为周期性指标时,则基于任一子网的目标网络指标数据和第一预测算法,对目标网络指标的周期中各个采样点的取值进行拟合预测,得到预测周期序列,并确定目标网络指标的周期中的各个采样点的拟合误差均方根。随后,基于预测周期序列、任一子网的目标网络指标数据、各个采样点的拟合误差均方根和第一阈值算法,对目标网络指标的周期中各个采样点对应的阈值区间进行训练,得到各个采样点对应的目标阈值区间。
示例性的,以表1中周期数据对应的第一预测算法和第一阈值算法,即Olympic算法和自适应Ksigma算法为例。
基于Olympic算法对任一子网的目标网络指标数据进行处理的具体步骤包括:已知目标网络指标的原始序列(即上述任一子网的目标网络指标数据)raw_list,周期为period,训练周期数为number_period。从训练数据,即原始序列中第二个周期开始的数据中,对于第i个(采样)点的拟合值,取当前值之前number_period(以下简称为n)个周期中的对应点的平均值作为拟合值(即预测值),得到预测序列(即预测周期序列)pred_list,并(针对预测序列中的各个采样点)计算拟合误差均方根rmse。
基于自适应Ksigma算法对目标网络指标对应的目标阈值区间进行调整的具体步骤包括以下3点:
1、配置参数如下表2所示。
其中,sensitivity即敏感度,默认为0;incr即K值步长,默认为0.1;max_sigma即K值上限,默认为6.0。
表2
sensitivity | 敏感度,默认为0 |
incr | K值步长,默认为0.1 |
max_sigma | K值上限,默认为6.0 |
2、针对预测序列中的每一采样点,初始化K=3,输入原始序列raw_list和预测序列pred_list,对于上边框upper_threshold=K*rmse,计算raw_list的训练数据,即number_period对应的周期数据,和pred_list中对应值相差的绝对值大于upper_threshold的(采样)点数m;如果m/n>=sensitivity且K<max_sigma,则K=K+incr,返回重新确定上边框并计算m,否则输出当前的加框阈值即上边框upper_threshold;
对于下边框lower_threshold=K*rmse,计算raw_list的训练数据和pred_list中对应值相差的绝对值小于lower_threshold的(采样)点数q;如果q/n>=sensitivity且K<max_sigma,则K=K+incr,返回重新计算下边框q,否则输出当前的加框阈值即下边框lower_threshold。
3、针对预测序列中的每一采样点,确定对应的上边框和下边框后,对Olympic算法得到的预测值即预测序列中对应采样点的值,进行加框,得到目标网络指标对应的训练结果,即该目标网络指标对应的目标阈值区间。
也就是说,对于周期性的任一子网的目标网络指标数据,先基于第一预测算法得到预测值,然后基于第一阈值算法,调整阈值框的大小,使得历史数据异常点的比例达到期望敏感度,从而得到相应的阈值。
需要说明的是,基于上述过程,可基于任一子网的周期性的目标网络指标数据,确定该任一子网的周期性的目标网络指标的周期中任一采样点对应的目标阈值区间,使得在当前网络下可基于该任一子网的目标网络指标的实时取值,以及该实时取值所对应的目标网络指标的目标阈值区间,来对该任一子网的目标网络指标是否异常进行监测,进而确定当前网络是否异常。
可选地,判断结果表示目标网络指标为非周期性指标时,则基于第二阈值算法,采用高斯核对任一子网的目标网络指标数据进行核密度估计,并确定累积分布函数。随后,基于第二阈值算法,根据累积分布函数进行计算,确定目标网络指标在第一分位数对应的第一取值,和目标网络指标在第二分位数对应的第二取值,其中,第一分位数大于第二分位数。最后,将第一取值和第二取值,分别确定为目标网络指标对应的目标阈值区间的上阈值和下阈值。
在一种可能的实现方式中,判断结果表示目标网络指标为非周期性指标时,还基于上述提到的第二预测算法,来确定该目标网络指标的预测值,或者说该目标网络指标的实时取值对应的预测值。
示例性的,以表1中非周期数据对应的第二预测算法和第二阈值算法,即阈值均值算法和KDE算法为例。
基于KDE算法,先采用高斯核对训练数据即任一子网的目标网络指标数据进行核密度估计,从而计算累积分布函数。随后,确定累积分布函数,即确定累积分布函数的查找范围range和查找步长step,其中,range=[min_data-3*bw,max_data+3*bw],step=range/num_data,min_data是训练数据中的最小值,max_data是训练数据的最大值,bw是高斯核的带宽,num_data是训练数据的个数(或者说采样点数)。最后,根据累积分布函数求99.7%和0.3%分位数的值作为上下阈值。
基于阈值均值算法,对基于KDE算法确定的上下阈值取均值,作为相应目标网络指标的预测值。
也就是说,对于非周期性的任一子网的目标网络指标数据,先基于第二阈值算法生成阈值区间,再基于第二预测算法,确定均值为预测值。其中,关于基于第二预测算法确定均值为预测值的过程可参见上述内容,在此不进行赘述。
需要说明的是,通过上述过程,本申请可基于第二阈值算法,来对任一子网中非周期性的目标网络指标进行目标阈值区间的确定,实现针对性确定目标网络指标对应的目标阈值区间的效果,更好的保证网络异常监测的准确性。
步骤104:若当前网络中任一子网的目标网络指标的实时取值超过目标阈值区间,则确定当前网络异常并定位该任一子网下的严重故障小区。
相应的,若当前网络中任一子网的目标网络指标的实时取值未超过目标阈值区间,则确定当前网络并无异常,无需进一步定位该任一子网下的严重故障小区。
需要说明的是,通过这一过程,根据实时采集到的数据,结合上述训练得到目标阈值区间对网络异常进行实时检测,这样在当前网络中任一子网的目标网络指标的实时取值超过目标阈值区间时,直接确定当前网络异常,无需进行其他操作,可在有效确定当前网络异常的情况下,减少确定当前网络异常的时延。
可选地,在当前网络中任一子网的目标网络指标的实时取值超过目标阈值区间后,确定当前网络异常时,首先确定该任一网络的目标网络指标的健康度,然后基于该目标网络指标的健康度,确定当前网络是否异常。
在一种可能的实现方式中,对当前网络中任一子网的目标网络指标的实时取值相对于目标阈值区间的偏离程度进行评分,得到单点偏离程度评分;基于当前时刻之前的第二预设时间段内网络异常的概率,对网络异常程度进行评分,得到异常持续程度评分。随后,对单点偏离程度评分和异常持续程度评分进行加权处理,得到任一子网的目标网络指标的健康度。
其中,第二预设时间段可以与第一预设时间段相同,也可以不同,且第二预设时间段的具体时间长度可以是预先确定的,也可以是基于实际工况确定的。且第二预设时间段的具体时间长度可以是固定的时间长度,也可以是针对不同的目标网络指标确定的相同或不同的时间长度。
也就是说,健康度计算是为了评估网络指标异常的严重程度,并过滤轻微异常的场景。健康度对两个方面进行考量,一方面是根据任一子网的网络指标数据偏离对应目标阈值区间的程度作单点偏离程度评分,另一方面是根据历史近期内异常出现的概率进行异常持续程度的评分。两者加权后即为该网络指标的健康度。
其中,当前网络中任一子网的目标网络指标的实时取值相对于其对应的目标阈值区间的偏离程度越大,则对应的单点偏离程度评分越低。
相应的,当前时刻之间的第二预设时间段内网络异常的概率越大,则异常持续程度评分越低。
示例性的,基于j=Q1*dan+Q2*yi,来确定任一子网的目标网络指标的健康度。其中,j表示任一子网的目标网络指标的健康度,Q1为单点偏离程度评分的权重,Q2为异常持续程度评分的权重,dan表示单点偏离程度评分的取值,yi表示异常持续程度评分的取值。
也就是说,任一子网的目标网络指标的健康度越低,则网络异常的可能性越大。
在一种可能的实现方式中,若(任一子网的目标网络指标的)健康度超过预设健康度阈值,则确定当前网络异常。
相应的,若健康度未超过预设健康度阈值,则确定当前网络无异常/正常。
其中,预设健康度阈值可以是自行确定的,根据实际工况确定的。
示例性的,若健康度j<J,则确定当前网络异常;若健康度j>=J,则确定当前网络无异常。其中,J为预设健康度阈值。
通过上述过程,在目标网络指标的健康度不超过(即不低于)预设健康度阈值时,确定当前网络无异常。这样的话,可以忽略掉一些网络轻微异常的场景,避免在网络轻微异常但不影响使用或影响较小的场景下,进行严重故障小区定位或故障处理等,造成资源浪费等问题。
在一种可能的实现方式中,若目标网络指标的健康度低于对应的预设健康度阈值,则视为该目标网络指标异常,上报给用户,并进一步定位出造成该任一子网的目标网络指标异常的严重故障小区。
可以理解的是,关于网络指标是否产生异常以及健康度计算部分,可以简化为仅判断指标的实时数据是否超过训练得到的阈值,如果超出则判定为指标异常,即忽略健康度计算部分。这是因为健康度计算部分是为了评估指标异常的严重程度,并过滤轻微异常的场景,如果去掉健康度计算部分,也能够正常进行网络指标异常的实时检测。
可选地,基于任一子网中各个小区的贡献度对各个小区进行筛选,确定任一子网中的严重故障小区。
其中,贡献度用于针对网络指标衡量各个小区对网络指标的取值确定所做出的贡献。
也就是说,定位严重故障小区通过计算每个小区的贡献度进行。
另,一般情况下,对于常见的网络关键指标,根据计数器数据汇总得到该网络关键指标的公式结构的不同,可以分为比率型指标和计数型指标。
在一种可能的实现方式中,基于目标网络指标的计算公式的结构,确定目标网络指标的类型。若该目标网络指标的类型为比率型,则按照第一规则来确定任一子网中各个小区的贡献度;若该目标网络指标的类型为计数型,则按照第二规则来确定任一子网中各个小区的贡献度。
其中,按照第一规则来确定任一子网中各个小区的贡献度的过程中,基于第一规则,对任一子网中任一小区执行以下操作:基于任一子网的目标网络指标的实时取值、任一子网中任一小区的目标网络指标的实时取值,以及任一子网的目标网络指标偏离对应的目标阈值区间的方向,来确定任一小区的贡献度。
具体的,基于C=[A-(a1-b1)/(a2-b2)]*d,来确定任一小区的贡献度。
其中,C表示任一小区的贡献度,A表示任一子网的目标网络指标的实时取值,a1表示任一子网的目标网络指标的实时取值的分子,a2表示任一子网的目标网络指标的实时取值的分母,b1表示任一小区的目标网络指标的实时取值的分子,b2表示任一小区的目标网络指标的实时取值的分母,d表示任一子网的目标网络指标的实时取值偏离目标阈值区间的方向。
可以理解的是,目标网络指标的实时取值偏离目标阈值区间的方向可以使用±1表示,即上述d的取值为±1。
示例性的,对于比率型指标,其计数器汇总到指标的公式可以视为分子/分母结构,即任一子网下每个小区的该比率型指标,有如下公式:KPI小区=KPI分子小区/KPI分母小区,该任一子网的该比率型指标可以视为是该子网下所有小区的加成分数即KPI子网=(KPI分子小区1+…+KPI分子小区s)/(KPI分母小区1+…+KPI分母小区s),即该子网下共s个小区。此时,每个小区的贡献度等于从加成分数中剔除该小区数据后产生的波动,即contribution=[KPI子网-(KPI分子子网-KPI分子小区)/(KPI分母子网-KPI分母小区)]*direction。
其中,direction(即上述d)由该比率型指标超出对应目标阈值区间的方向决定,且KPI子网即任一子网的该比率型指标的取值,KPI分子子网即任一子网的该比率型指标的分子,KPI分母子网即任一子网的该比率型指标的分母,KPI分子小区即任一子网中任一小区的该比率型指标的分子,KPI分母子网即任一子网中该任一小区的该比率型指标的分母。
需要说明的是,加成分数(addition score)是指分子、分母分别相加得到的分数。
另外,按照第二规则来确定任一子网中各个小区的贡献度的过程中,基于第二规则,对任一子网中任一小区执行以下操作:确定任一小区的目标网络指标的实时取值对应的预测值,并基于任一子网的目标网络指标的实时取值和对应的预测值、任一小区的目标网络指标的实时取值和对应的预测值,来确定任一小区的贡献度。
其中,确定任一小区的目标网络指标的实时取值对应的预测值的方式,可参照上述确定任一子网的目标网络指标的实时取值对应的预测值的过程,在此不进行赘述。
具体的,基于C=(B-b)/(A-a),来确定任一小区的贡献度。
其中,C表示任一小区的贡献度,A表示任一子网的目标网络指标的实时取值,B表示任一小区的目标网络指标的实时取值,a表示任一子网的目标网络指标的实时取值对应的预测值,b表示任一小区的目标网络指标实时取值对应的预测值。
示例性的,对于计数型指标,计算小区贡献度时,取该小区该指标历史数据计算预测值,并与子网指标数据进行残差分析。此时,每个小区的贡献度为contribution=(KPI小区-KPI预测值小区)/(KPI子网-KPI预测值子网)。其中,KPI预测值小区为小区的目标网络指标实时取值对应的预测值,KPI预测值子网为小区所在子网的目标网络指标实时取值对应的预测值,KPI小区为小区的目标网络指标实时取值,KPI子网为小区所在子网的目标网络指标实时取值。
可以理解的是,残差(residual)是因变量的观测值与根据估计的回归方程求出的预测之差。残差分析(residual analysis)是指通过残差所提供的信息,分析出数据的可靠性、周期性或其它干扰。
在一种可能的实现方式中,在确定任一小区的贡献度后,基于目标网络指标的类型的不同,采用不同的方式来基于各个小区的贡献度,确定严重故障小区。
具体地,目标网络指标的类型为比率型时,先基于贡献度高低对各个小区进行排序,得到小区贡献度排序。然后按照小区贡献度排序,逐个累计剔除小区并重新计算得到任一子网的目标网络指标,直至重新计算得到的任一子网的目标网络指标不超出其对应的目标阈值区间。最后,将剔除的小区确定为所述任一子网中的严重故障小区。
也就是说,按小区贡献度降序,并逐项累计剔除小区后重新计算子网的指标值,直到子网指标恢复到阈值区间内。被剔除的即为造成子网指标异常的严重故障小区。
示例性的,当前网络的子网A下存在多个小区,以这多个小区中的小区1和小区2为例。子网A的目标网络指标a的取值为a1/a2,小区1的目标网络指标a的取值为a11/a21,小区2的目标网络指标a的取值为a12/a22。小区1的贡献度为a111,小区2的贡献度为a112,a111>a112。对于小区1和小区2,小区1的贡献度排序在小区2的贡献度排序之前,先将小区1的数据从子网A的目标网络指标a的计算过程中去除,得到新的子网的目标网络指标的取值,即(a1-a11)/(a2-a21),若(a1-a11)/(a2-a21)不位于该目标网络指标的取值对应的目标阈值区间内,继续将小区2的数据从子网A的目标网络指标a的计算过程中去除,得到新的子网的目标网络指标的取值,即(a1-a11-a12)/(a2-a21-a22),若(a1-a11-a12)/(a2-a21-a22)位于该目标网络指标的取值对应的目标阈值区间内,则确定剔除的小区1和小区2为子网A中的严重故障小区,且子网A下的其他小区不是严重故障小区。
具体地,目标网络指标的类型为计数型时,基于预设贡献度筛选标准对各个小区筛选,将各个小区中通过筛选的至少一个小区,确定为任一子网中的严重故障小区。
其中,基于预设贡献度筛选标准对所述各个小区进行筛选,并将通过筛选的至少一个小区确定为任一子网的严重故障小区时,先基于各个小区的贡献度来确定标准贡献度,随后,将各个小区中贡献度超过标准贡献度的小区,确定为任一子网中的严重故障小区。
基于各个小区的贡献度来确定标准贡献度时,可以基于各个小区的贡献度的均值和方差,来确定标准贡献度。
在一种可能的实现方式中,对于任一子网,可先确定其下各个小区的贡献度方差与预设值的乘积,并将该乘积与各个小区的贡献度的均值之和,确定为标准贡献度。
在另一种可能的实现方式中,对于任一子网,可先确定其下贡献度为正的小区,并对这些贡献度为正的小区的贡献度求均值与方差,随后,确定该方差和预设值的乘积,并将该乘积和该均值的和,确定为标准贡献度。
示例性的,预设值为3。
示例性的,确定各个小区的贡献度后,取所有贡献度为正的小区,以均值+3*std为小区的预设贡献度筛选标准即预设贡献度,即可输出严重故障小区的结果。具体可以是,将贡献度为正的各个小区中,贡献度超出预设贡献度的小区,确定为该小区所在子网中的严重故障小区。其中,均值+3*std中的均值和std分别是贡献度为正的小区的贡献度的均值和std。
这样的话,基于指标的不同类型,即比率型和计数型,可采用不同的方式进行指标的计算,得到相应的指标的贡献度,从而针对性的确定由于不同网络指标异常导致的网络异常情况下的严重故障小区,提高定位网络异常原因的准确度。
当然,上述标准贡献度也可以是不急于小区贡献度而随机确定的。
可选的,在定位严重故障小区后,可生成网络异常检测信息。随后,将网络异常检测信息发送给用户,以使得用户及时发现网络异常以及网络异常原因。
在一种可能的实现方式中,基于网络异常检测结果、任一子网的信息,生成网络异常检测信息。
在一种可能的实现方式中,基于网络异常检测结果、任一子网的信息与任一子网中严重故障小区的信息,生成网络异常检测信息。即,该网络异常检测信息包括网络异常检测结果、任一子网的信息与任一子网中严重故障小区的信息。
其中,严重故障小区的信息包括严重故障小区的标识、位置、所属子网等信息。任一子网的信息包括该任一子网的标识、位置、所属网络等信息。
在另一种可能的方式中,网络异常检测结果还可以包括目标网络指标的健康度等信息。
当然,网络异常检测信息中还包括所检测的目标网络指标的信息等。其中,目标网络指标的信息包括目标网络指标的名称、标识、计算公式、实时取值等信息。
通过上述过程,将实时的检测结果即当前网络是否异常,以及关联分析结果即当前网络异常时的严重故障小区等信息,反馈给用户,从而可以很好的帮助用户实时监测网络状况,及时发现网络异常情况。
最后,还需要说明的是,通过上述过程,本申请可实现网络关键指标的自动监测,且支持对每个网络关键指标单独进行训练和检测。(基于任一网络关键指标对网络是否异常进行监测的过程中)在网络关键指标的选择上的自由度更高,可以更加全面的监测网络状态。其次,本申请能够迅速响应网络突发故障,提供各指标的异动情况,用户可以参考各指标的变化情况分析网络异常原因。再次,本申请可在在计算资源受限无法监控全网小区时,通过对子网进行异常检测后再定位造成子网异常的严重故障小区,大幅提高网络(异常)检测的能力。最后,本申请通过算法定位造成子网异常的严重故障小区,可以帮助用户快速定位网络异常原因,使网络的运维工作智能化、高效化。
示例性的,如图2所示,用户选择需要检测的子网对象(即上述任一子网)和网络指标(即网络关键指标,简称KPI,也即上述目标网络指标)后,基于选定的子网对象和网络指标进行网络异常检测。首先,进行历史数据采集(采集子网对象的历史数据),并对采集到的历史数据进行数据预处理。随后,基于进行数据预处理后的数据对目标网络指标进行周期性判断。如果是周期性的,则基于Olympic算法生成预测值,并基于Ksigma算法生成阈值框宽,进而计算上下阈值,得到训练结果,即该目标网络指标所对应的目标阈值区间;如果是非周期性的,则基于KDE算法生成阈值,并基于(阈值)均值生成预测值,得到训练结果,即目标网络指标所对应的目标阈值区间。再之后,进行实时数据采集,基于采集到的目标网络指标的实时取值,进行阈值判断。若不超过目标阈值区间,则结束本次检测;若超过目标阈值区间,则进行目标网络指标的健康度计算,得到该目标网络指标的健康度,并进行健康度判断。若健康度未超过预设健康度,则结束本次检测;若健康度超过预设健康度,则定位严重故障小区,即进行Topn小区计算,并上报用户,即将本次网络异常情况上报给用户,以便于用户进行网络异常原因分析,对异常网络进行维护等。
可以理解的是,每次在进行网络异常检测时,均顺序执行上述步骤,可实现对目标阈值区间的实时更新,保证目标阈值区间的实时性,提高基于该目标阈值区间进行网络异常检测的准确性。
但是,上述步骤101-103也可以不是每次进行网络异常检测都执行的,而是每间隔一定时间,基于当前时刻之前的历史数据执行步骤101-103,实现目标阈值区间的周期性更新,减少新产生历史数据较少的情况下,多次重复更新目标阈值区间所造成的资源浪费。
示例性的,基于历史数据中第一时间段的数据执行步骤101-103,确定目标阈值区间,得到阈值区间1,在第二时间段内基于该阈值区间1,进行网络异常检测。经过第二时间段后,基于历史数据中即第三时间段的数据执行步骤101-103,重新确定目标阈值区间,得到阈值区间2,在第四时间段内基于该阈值区间2,进行网络异常检测。
需要说明的是,基于选择的不同,可同时对多个目标网络指标和/或多个子网的目标网络指标进行自动检测,从而尽可能准确的识别网络异常。可以在确定超过第一预设数量个的子网的目标网络指标异常的情况下,确定网络异常,或者在确定任一子网的超过第二预设数量个的目标网络指标异常的情况下,确定网络异常,以进一步保证网络异常检测的准确性和可靠性。
示例性的,本申请可应用于如图3所示的网络异常检测***中。如图3所示,该网络异常检测***包括数据采集模块、训练模块以及检测模块。
其中,数据采集模块由网元、网管、网络管理***构成,用于采集和处理网元上报到网管的性能数据。从性能数据中得到小区的计数器数据,用求和或取平均的方式汇总成子网的计数器数据,然后根据网络指标的公式将计数器数据转化成子网的网络指标数据。分成历史数据采集和实时数据采集两个部分,其中历史数据采集的结果用作时间序列的训练集,实时数据采集的结果用作异常检测(测试集)。
在实际通信业务中,有些网络指标带有一定的周期涨落现象,比如白天与晚上业务场景不同。训练模块,用于判断网络指标历史数据是否呈周期性特征,并给出两套不同的训练算法,得到网络指标未来一段时间的预测值和正常工作的阈值区间(即上述目标阈值区间)。
检测模块,该模块基于训练得到的阈值区间和实时数据采集的性能数据进行检测。如果实时数据超出了阈值区间,则分别计算子网指标数据偏离阈值区间的程度作为单点偏离程度评分、子网历史近期内异常出现的概率作为异常持续程度评分,然后加权平均得到该子网指标的健康度。根据健康度情况决定子网指标是否异常,并上报给用户。如果子网指标产生异常,该模块根据故障小区关联算法(即上述第一规则或第二规则)进一步定位出造成子网指标异常的严重故障小区。
如图3所示,检测模块可进一步划分为异动检测子模块和故障小区关联子模块。其中,异动检测子模块用于检测指标是否异常,进而确定网络是否异常,故障小区关联子模块,用于根据故障小区关联算法定位出造成子网指标异常的严重故障小区。
如图4所示,本申请实施例提供了一种网络异常检测装置,该装置包括判断单元401、确定单元402和异常检测单元403。
其中,判断单元401,用于判断目标网络指标是否为周期性指标,得到判断结果;所述目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个;
确定单元402,用于基于所述判断结果,选择目标阈值算法,并基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间;所述目标网络指标数据包括所述目标网络指标在第一预设时间段内的时间序列数据;
异常检测单元403,用于若所述当前网络中任一子网的目标网络指标的实时取值超过所述目标阈值区间,则确定当前网络异常并定位所述任一子网下的严重故障小区。
如图5所示,本申请实施例提供了一种电子设备,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
在本申请一个实施例中,处理器501,用于执行存储器503上所存放的程序时,实现前述任意一个方法实施例提供的网络异常检测方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的网络异常检测方法的步骤。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (20)
1.一种网络异常检测方法,其特征在于,所述方法包括:
判断目标网络指标是否为周期性指标,得到判断结果;所述目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个;
基于所述判断结果,选择目标阈值算法,并基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间;所述目标网络指标数据包括所述目标网络指标在第一预设时间段内的时间序列数据;
若所述当前网络中任一子网的目标网络指标的实时取值超过所述目标阈值区间,则确定当前网络异常并定位所述任一子网下的严重故障小区。
2.根据权利要求1所述的网络异常检测方法,其特征在于,所述判断目标网络指标是否为周期性指标,得到判断结果,包括:
以预设采样点数为周期,基于所述任一子网的目标网络指标数据和FFT频谱进行判断,确定所述目标网络指标是否为周期性指标。
3.根据权利要求1所述的网络异常检测方法,其特征在于,所述基于所述判断结果,选择目标阈值算法,包括:
若所述判断结果表示所述目标网络指标为周期性指标,则选择第一预测算法和第一阈值算法为目标阈值算法;
若所述判断结果表示所述目标网络指标为非周期性指标,则选择第二阈值算法为目标阈值算法。
4.根据权利要求3所述的网络异常检测方法,其特征在于,
所述判断结果表示所述目标网络指标为周期性指标时,所述基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间,包括:
基于所述任一子网的目标网络指标数据和第一预测算法,对目标网络指标的周期中各个采样点的取值进行拟合预测,得到预测周期序列,并确定目标网络指标的周期中的各个采样点的拟合误差均方根;
基于所述预测周期序列、所述任一子网的目标网络指标数据、各个采样点的拟合误差均方根和所述第一阈值算法,对目标网络指标的周期中各个采样点对应的阈值区间进行训练,得到所述各个采样点对应的目标阈值区间。
5.根据权利要求3所述的网络异常检测方法,其特征在于,
所述判断结果表示所述目标网络指标为非周期性指标时,所述基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间,包括:
基于所述第二阈值算法,采用高斯核对所述任一子网的目标网络指标数据进行核密度估计,并确定累积分布函数;
基于所述第二阈值算法,根据所述累积分布函数进行计算,确定目标网络指标在第一分位数对应的第一取值,和目标网络指标在第二分位数对应的第二取值;所述第一分位数大于所述第二分位数;
将第一取值和第二取值,分别确定为所述目标网络指标对应的目标阈值区间的上阈值和下阈值。
6.根据权利要求5所述的网络异常检测方法,其特征在于,若所述判断结果表示所述目标网络指标为非周期性指标,
所述基于所述判断结果,选择目标阈值算法,还包括:选择第二预测算法为目标阈值算法;
所述方法还包括:基于所述任一子网的目标网络指标数据与所述第二预测算法,或者,基于所述目标网络指标对应的目标阈值区间的上阈值和下阈值与所述第二预测算法,对目标网络指标的实时取值进行预测,得到所述任一子网的目标网络指标的实时取值对应的预测值。
7.根据权利要求1所述的网络异常检测方法,其特征在于,所述确定当前网络异常,包括:
对所述当前网络中任一子网的目标网络指标的实时取值相对于所述目标阈值区间的偏离程度进行评分,得到单点偏离程度评分;
基于当前时刻之前的第二预设时间段内网络异常的概率,对网络异常程度进行评分,得到异常持续程度评分;
对所述单点偏离程度评分和所述异常持续程度评分进行加权处理,得到所述任一子网的目标网络指标的健康度;
若所述健康度超过预设健康度阈值,则确定当前网络异常。
8.根据权利要求3所述的网络异常检测方法,其特征在于,所述定位所述任一子网下的严重故障小区,包括:
基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区。
9.根据权利要求8所述的网络异常检测方法,其特征在于,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区之前,所述方法还包括:
基于目标网络指标的计算公式的结构,确定所述目标网络指标的类型;
若所述目标网络指标的类型为比率型,则按照第一规则来确定所述任一子网中各个小区的贡献度;
若所述目标网络指标的类型为计数型,则按照第二规则来确定所述任一子网中各个小区的贡献度。
10.根据权利要求9所述的网络异常检测方法,其特征在于,所述按照第一规则来确定所述任一子网中各个小区的贡献度,包括:
基于所述第一规则,对所述任一子网中任一小区执行以下操作:
基于所述任一子网的目标网络指标的实时取值、所述任一子网中任一小区的目标网络指标的实时取值,以及所述任一子网的目标网络指标偏离对应的目标阈值区间的方向,来确定所述任一小区的贡献度。
11.根据权利要求10所述的网络异常检测方法,其特征在于,所述确定所述任一小区的贡献度,包括:
基于C=[A-(a1-b1)/(a2-b2)]*d,来确定所述任一小区的贡献度;
其中,C表示所述任一小区的贡献度,A表示所述任一子网的目标网络指标的实时取值,a1表示所述任一子网的目标网络指标的实时取值的分子,a2表示所述任一子网的目标网络指标的实时取值的分母,b1表示所述任一小区的目标网络指标的实时取值的分子,b2表示所述任一小区的目标网络指标的实时取值的分母,d表示所述任一子网的目标网络指标的实时取值偏离所述目标阈值区间的方向。
12.根据权利要求9所述的网络异常检测方法,其特征在于,所述按照第二规则来确定所述任一子网中各个小区的贡献度,包括:
基于所述第二规则,对所述任一子网中任一小区执行以下操作:
确定所述任一小区的目标网络指标的实时取值对应的预测值,并基于所述任一子网的目标网络指标的实时取值和对应的预测值、所述任一小区的目标网络指标的实时取值和对应的预测值,来确定所述任一小区的贡献度。
13.根据权利要求12所述的网络异常检测方法,其特征在于,所述确定所述任一小区的贡献度,包括:
基于C=(B-b)/(A-a),来确定所述任一小区的贡献度;
其中,C表示所述任一小区的贡献度,A表示所述任一子网的目标网络指标的实时取值,B表示所述任一小区的目标网络指标的实时取值,a表示所述任一子网的目标网络指标的实时取值对应的预测值,b表示所述任一小区的目标网络指标实时取值对应的预测值。
14.根据权利要求9所述的网络异常检测方法,其特征在于,所述目标网络指标的类型为比率型时,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区,包括:
基于贡献度高低对所述各个小区进行排序,得到小区贡献度排序;
按照所述小区贡献度排序,逐个累计剔除小区并重新计算得到所述任一子网的目标网络指标,直至重新计算得到的所述任一子网的目标网络指标不超出其对应的目标阈值区间;
将剔除的小区确定为所述任一子网中的严重故障小区。
15.根据权利要求9所述的网络异常检测方法,其特征在于,所述目标网络指标的类型为计数型时,所述基于所述任一子网中各个小区的贡献度对所述各个小区进行筛选,确定所述任一子网中的严重故障小区,包括:
基于预设贡献度筛选标准对所述各个小区进行筛选,将所述各个小区中通过筛选的至少一个小区,确定为所述任一子网中的严重故障小区。
16.根据权利要求15所述的网络异常检测方法,其特征在于,所述基于预设贡献度筛选标准对所述各个小区进行筛选,将所述各个小区中通过筛选的至少一个小区,确定为所述任一子网中的严重故障小区,包括:
基于各个小区的贡献度均值与方差,确定标准贡献度;
将所述各个小区中贡献度超过所述标准贡献度的小区,确定为所述任一子网中的严重故障小区。
17.根据权利要求1-16中任一项所述的网络异常检测方法,其特征在于,在所述确定当前网络异常并定位所述任一子网下的严重故障小区之后,所述方法还包括:
生成网络异常检测信息,所述网络异常检测信息包括网络异常检测结果、所述任一子网的信息与所述任一子网中严重故障小区的信息;
将所述网络异常检测信息发送给用户,以使得所述用户及时发现网络异常以及网络异常原因。
18.一种网络异常检测装置,其特征在于,所述网络异常检测装置包括:
判断单元,用于判断目标网络指标是否为周期性指标,得到判断结果;所述目标网络指标为用于确定当前网络是否异常的关键网络指标中的任意一个;
确定单元,用于基于所述判断结果,选择目标阈值算法,并基于所述目标阈值算法和当前网络中任一子网的目标网络指标数据,确定所述任一子网的目标网络指标对应的目标阈值区间;所述目标网络指标数据包括所述目标网络指标在第一预设时间段内的时间序列数据;
异常检测单元,用于若所述当前网络中任一子网的目标网络指标的实时取值超过所述目标阈值区间,则确定当前网络异常并定位所述任一子网下的严重故障小区。
19.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-17中任一项所述的网络异常检测方法的步骤。
20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-17中任一项所述的网络异常检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215007.6A CN117858135A (zh) | 2022-09-30 | 2022-09-30 | 网络异常检测方法、装置、电子设备及存储介质 |
PCT/CN2023/090852 WO2024066331A1 (zh) | 2022-09-30 | 2023-04-26 | 网络异常检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215007.6A CN117858135A (zh) | 2022-09-30 | 2022-09-30 | 网络异常检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117858135A true CN117858135A (zh) | 2024-04-09 |
Family
ID=90475843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211215007.6A Pending CN117858135A (zh) | 2022-09-30 | 2022-09-30 | 网络异常检测方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117858135A (zh) |
WO (1) | WO2024066331A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10482158B2 (en) * | 2017-03-31 | 2019-11-19 | Futurewei Technologies, Inc. | User-level KQI anomaly detection using markov chain model |
CN111459778B (zh) * | 2020-03-12 | 2024-05-07 | 平安科技(深圳)有限公司 | 运维***异常指标检测模型优化方法、装置及存储介质 |
CN113064796B (zh) * | 2021-04-13 | 2022-08-12 | 上海浦东发展银行股份有限公司 | 一种无监督指标异常检测方法 |
CN114301803B (zh) * | 2021-12-24 | 2024-03-08 | 北京百度网讯科技有限公司 | 网络质量检测方法、装置、电子设备及存储介质 |
CN114528190B (zh) * | 2022-04-21 | 2022-07-01 | 云账户技术(天津)有限公司 | 单指标异常的检测方法、装置、电子设备及可读存储介质 |
-
2022
- 2022-09-30 CN CN202211215007.6A patent/CN117858135A/zh active Pending
-
2023
- 2023-04-26 WO PCT/CN2023/090852 patent/WO2024066331A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024066331A1 (zh) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3557819B1 (en) | Server failure detection method and system | |
CN111126824B (zh) | 多指标关联模型训练方法及多指标异常分析方法 | |
EP2997756B1 (en) | Method and network device for cell anomaly detection | |
EP3286878B1 (en) | Fault diagnosis in networks | |
CN107707431A (zh) | 一种面向云平台的数据安全监测方法及*** | |
CN111865407B (zh) | 光通道性能劣化智能预警方法、装置、设备及存储介质 | |
CN109992440A (zh) | 一种基于知识图谱和机器学习的it根故障分析识别方法 | |
US20120203788A1 (en) | Network management system and method for identifying and accessing quality of service issues within a communications network | |
CN111262750B (zh) | 一种用于评估基线模型的方法及*** | |
CN111722952A (zh) | 业务***的故障分析方法、***、设备和存储介质 | |
CN117060409B (zh) | 电力线路运行状态自动化检测分析方法及*** | |
CN114095965A (zh) | 指标检测模型获取及故障定位方法、装置、设备及存储介质 | |
CN105634796A (zh) | 一种网络设备故障预测及诊断方法 | |
CN114338351B (zh) | 网络异常根因确定方法、装置、计算机设备及存储介质 | |
CN110865924A (zh) | 电力信息***内部服务器健康度诊断方法与健康诊断框架 | |
CN117076258A (zh) | 一种基于互联网云端的远程监控方法及*** | |
CN116915582A (zh) | 一种通信终端故障根因诊断分析方法及装置 | |
CN117093461A (zh) | 一种时延检测分析的方法、***、设备和存储介质 | |
CN117743120A (zh) | 基于大数据技术的网卡异常检测方法 | |
CN116030955B (zh) | 基于物联网的医疗设备状态监测方法及相关装置 | |
CN117277435A (zh) | 一种光伏逆变器的健康评估方法、***及装置 | |
CN117858135A (zh) | 网络异常检测方法、装置、电子设备及存储介质 | |
CN115019219A (zh) | 一种智慧工地的施工进度智能管理方法及*** | |
KR101027242B1 (ko) | 공정 제어 네트워크에서의 장애 예측 방법 및 장치 | |
CN115190038B (zh) | 一种状态确定方法以及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |