CN113918433A - 一种自适应的智慧网络设备性能指标异常检测装置及方法 - Google Patents

一种自适应的智慧网络设备性能指标异常检测装置及方法 Download PDF

Info

Publication number
CN113918433A
CN113918433A CN202111135607.7A CN202111135607A CN113918433A CN 113918433 A CN113918433 A CN 113918433A CN 202111135607 A CN202111135607 A CN 202111135607A CN 113918433 A CN113918433 A CN 113918433A
Authority
CN
China
Prior art keywords
data
fluctuation type
performance
quartile
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111135607.7A
Other languages
English (en)
Inventor
赵培树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Zhongying Youchuang Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN202111135607.7A priority Critical patent/CN113918433A/zh
Publication of CN113918433A publication Critical patent/CN113918433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种自适应的智慧网络设备性能指标异常检测装置及方法，其中，该装置包括：数据接入模块，用于接入网络设备采集的性能数据；数据预处理模块，对数据进行异常值处理，对异常值处理后的数据进行标准化；波型分类模块，判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；异常检测模块，依据波形分类进行异常检测；结果反馈模块，获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。该装置及方法可以自动化判别性能指标的波动类型，针对不同的波动类型的性能数据，实施相对应的无监督异常检测方案。

Description

一种自适应的智慧网络设备性能指标异常检测装置及方法
技术领域
本发明涉及网络设备指标异常检测领域，尤其是一种自适应的智慧网络设备性能指标异常检测装置及方法。
背景技术
对于网络设备采集的性能指标，不同的网络设备采集的性能指标有所不同，同一设备不同指标的波动情况也不尽相同。例如：流入流出流量指标以24小时为一个周期有规律的进行波动，CPU利用率的时序数据波动剧烈且无规律可循，而温度的时序数据则是较为平缓。
现有技术中，实现对网络设备指标异常检测需要单独分析不同指标的波动类型，进而针对该类型的指标构建相应的异常检测方案。这种方式需要大量的人为参与，迁移性比较差。同时，异常检测方案主要分为无监督和有监督两种，有监督方案依赖于大量的标注数据，一是需要大量的指标数据积累，二是需要花费大量的人力进行异常数据的搜寻和标注。在实际业务场景中，有监督方案的应用限制条件比较多，适用性比较差。
发明内容
为解决现有技术存在的上述问题，本发明提供一种自适应的智慧网络设备性能指标异常检测装置及方法，可以自动化判别性能指标的波动类型，针对不同的波动类型的性能数据，实施相对应的无监督异常检测方案。
为实现上述目的，本发明采用下述技术方案：
在本发明一实施例中，提出了一种自适应的智慧网络设备性能指标异常检测装置，包括：
数据接入模块，用于接入网络设备采集的性能数据；
数据预处理模块，对数据进行异常值处理，对异常值处理后的数据进行标准化；
波型分类模块，判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；
异常检测模块，依据波形分类进行异常检测；
结果反馈模块，获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。
进一步地，所述数据接入模块中的数据包括但不限于设备cpu利用率，内存利用率、流入流出流量。
进一步地，所述数据接入模块中的数据采集时间保持一致。
进一步地，所述数据预处理模块中异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
进一步地，所述数据预处理模块中标准化采用均值方差标准化，对每列性能指标值分别计算均值和方差，每列的指标值分别减去其列的均值再除以其列的方差。
进一步地，所述波型分类模块采用历史数据训练resnet深度网络分类模型，步骤如下：
步骤一、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
步骤二、构建输入数据为一维的resnet深度网络分类模型；
步骤三、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
进一步地，所述异常检测模块包括：
周期波动型异常检测模块，使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常；
平稳波动型异常检测模块，使用历史数据计算参考值作为评价依据，对实时数据进行评价；
无规律波动型异常检测模块，通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
在本发明一实施例中，还提出了一种自适应的智慧网络设备性能指标异常检测方法，包括：
S01、接入网络设备采集的性能数据；
S02、对数据进行异常值处理，对异常值处理后的数据进行标准化；
S03、判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；
S04、依据波形分类进行异常检测；
S05、获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。
进一步地，所述S01中的数据包括但不限于设备cpu利用率，内存利用率、流入流出流量。
进一步地，所述S01中的数据采集时间保持一致。
进一步地，所述S02中异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
进一步地，所述S02中标准化采用均值方差标准化，对每列性能指标值分别计算均值和方差，每列的指标值分别减去其列的均值再除以其列的方差。
进一步地，所述S03采用历史数据训练resnet深度网络分类模型，步骤如下：
S031、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
S032、构建输入数据为一维的resnet深度网络分类模型；
S033、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
进一步地，所述S04包括：
S041、周期波动型异常检测，使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常；
S042、平稳波动型异常检测，使用历史数据计算参考值作为评价依据，对实时数据进行评价；
S043、无规律波动型异常检测，通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述自适应的智慧网络设备性能指标异常检测方法。
在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行自适应的智慧网络设备性能指标异常检测方法的计算机程序。
有益效果：
1、本发明可以自动化判别性能指标的波动类型，不需要大量的人为参与，迁移性比较强。
2、本发明异常检测方法均为无监督方法，一是不需要大量的指标数据积累，二是不需要花费大量的人力进行异常数据的搜寻和标注。因此，在实际业务场景中，有着更宽泛的应用条件，适用性比较强。
附图说明
图1是本发明一实施例的自适应的智慧网络设备性能指标异常检测装置结构示意图；
图2是本发明一实施例的自适应的智慧网络设备性能指标异常检测方法流程示意图；
图3是resnet深度网络分类模型示意图；
图4是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种自适应的智慧网络设备性能指标异常检测装置及方法，可以自动化判别性能指标的波动类型，针对不同的波动类型的性能数据，实施相对应的无监督异常检测方案。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的自适应的智慧网络设备性能指标异常检测装置结构示意图。如图1所示，包括：
数据接入模块110，用于接入网络设备采集的性能数据；
数据包括设备cpu利用率，内存利用率、流入流出流量等性能指标。
数据说明：
接入上述指标的特征维度，不同的设备型号、设备软硬件版本、设备业务类型等设备属性会导致采集的性能指标不同，性能指标个数可以是任意值；
接入上述指标的时间粒度，各性能指标的采集时间应保持一致，例如每间隔5分钟采集一次性能数据；
接入上述指标的历史数据，历史数据时间为2个周的数据，这部分数据用于异常检测判断指标的计算；
接入上述指标的实时数据，实时数据用于异常检测
将性能指标的历史数据和实时数据进行纵向拼接，拼接为一条连续的时序数据，每个性能指标序列的最后一个指标值为实时数据；将各个性能指标数据以采集时间作为索引进行横向拼接，每一列即为一个性能指标的数据。
数据预处理模块120，对数据进行异常值处理，对异常值处理后的数据进行标准化；
数据预处理包括异常值处理和标准化，先对数据进行异常值处理，然后对异常值处理后的数据进行标准化。
异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
上述提及的分位差均为上四分位数与下四分位数的差。
标准化采用均值方差标准化。对每列性能指标值分别计算均值和方差，然后每列的指标值分别减去其列的均值然后除以其列的方差。
波型分类模块130，判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；波形分类模块130用于判断未知的性能指标数据属于以上三种类型中的哪一种。
首先，收集历史性能数据并进行分类标注，使用历史数据训练resnet深度网络分类模型。
然后，将性能指标时序数据输入训练好的resnet深度网络分类模型，获得该性能指标各个波动类型的概率值，取最大概率值的波动类型为该性能指标的波动类型。
resnet深度网络分类模型的训练步骤如下：
步骤一、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
步骤二、构建输入数据为一维的resnet深度网络分类模型：
模型主体由三个卷积block构成：一个identity block和两个conv block，这两种block都是由三个不同卷积核大小的卷积块构成，并由残差边连接。这两种block唯一的区别是conv block的残差边需要进行一次单独的卷积。
卷积块为conv+bn+relu。
向量输入模型后经过一个卷积块，然后通过三个卷积block提取特征，最后通过平均池化层和全连接层得到输出。
向量是指性能指标时间序列数据的一维度向量。
算法模型示意图如图3所示：
损失函数采用分类任务常用的交叉熵损失函数CrossEntropyLoss，优化器采用随机梯度下降SGD来更新模型参数，SGD即随机梯度下降法。
步骤三、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
异常检测模块140，依据波形分类进行异常检测；异常检测模块140包括：
周期波动型异常检测模块141、使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常。
首先，使用性能指标数据用部分历史数据训练fbprophet模型。输入的数据是历史13天的性能指标数据、性能指标对应的时间点和节假日特征。使用mse做为损失函数，对损失函数一次次进行梯度下降之后得到最优模型参数，将最优模型参数进行保存，用于性能数据的预测。
然后，使用训练好的fbprophet模型进行预测。输入当前时间一天前的同时刻作为预测的起始时间点，预测长度设置为一天，使用训练好的fbprophet模型进行预测，获得性能指标数据的预测值和预测上下限。
最后，根据实时性能数据与预测数据的差异，判断该时刻数据是否为异常。如果实时数据在预测上下限区间内，则认为数据没有异常，否则为异常。
平稳波动型异常检测模块142通过使用历史数据计算参考值作为评价依据，对实时数据进行评价。
首先，使用性能指标的历史数据计算均值和方差，根据3sigma原则，使用均值与3倍方差的和作为上限，使用均值与3倍方差的差作为下限，即可获得历史数据的上下限区间。
然后，根据实时性能数据与历史数据上下限区间的差异，判断该时刻数据是否为异常。如果实时数据在历史数据的上下限区间内，则认为数据没有异常，否则为异常。
无规律波动型异常检测模块143通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
首先，对性能指标的历史数据和实时数据进行特征构建，构建的特征包括：前一小时环比数据，前一天同比数据，前一周同比数据，移动平均值，加权移动平均值，低频小波特征值，高频小波特征值等特征。
然后，使用建完特征的性能指标数据，采用局部异常因子算法LOF，计算所有性能指标的局部密度和异常分数。对于样本点p，若该点的异常分数小于1，表明p处于一个相对密集的区域，不像一个异常点。若异常分数远大于1，表明p跟其他点比较疏远，很可能是一个异常点。
最后，对实时数据的异常分数进行判断，如果实时数据的异常分数小于1，则认为数据没有异常，否则为异常。
结果反馈模块150，获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。如果该时刻各个性指标的异常检测判断结果均没有异常，则返回检测正常的信息。否则返回存在异常，并将异常的性能指标信息进行返回，以便运维人员进行查验。
应当注意，尽管在上文详细描述中提及了自适应的智慧网络设备性能指标异常检测装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
为了对上述自适应的智慧网络设备性能指标异常检测装置进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
设备标号信息：
abnormalDetection-INFO-deviceID:911020000000000030590993数据采集完成：
abnormalDetection-INFO-Data loading is completed数据预处理完成：
abnormalDetection-INFO-Preprocessing is completed特征名称：SmfAvgIpv4AddrNum
所述类别：周期波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfAvgIpv4AddrNum
abnormalDetection-INFO-Type:cyclicity
abnormalDetection-INFO-Result:normal
特征名称：SmfMaxPduSessNum
所述类别：周期波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfMaxPduSessNum
abnormalDetection-INFO-Type:cyclicity
abnormalDetection-INFO-Result:normal
特征名称：SmfSessBuiFailNumNetworkErr
所述类别：平稳波动型
检验结果：正常
abnormalDetection-INFO-Feature：
SmfSessBuiFailNumNetworkErr
abnormalDetection-INFO-Type:stationary
abnormalDetection-INFO-Result:normal
特征名称：SmfSessBuiFailNumRej
所述类别：无规律波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfSessBuiFailNumRej
abnormalDetection-INFO-Type:random
abnormalDetection-INFO-Result:normal
特征名称：SmfSessBuiFailNumRetErrcode
所述类别：平稳波动型
检验结果：正常
abnormalDetection-INFO-Feature：
SmfSessBuiFailNumRetErrcode
abnormalDetection-INFO-Type:stationary
abnormalDetection-INFO-Result:normal
特征名称：SmfSessBuiReqNum
所述类别：周期波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfSessBuiReqNum
abnormalDetection-INFO-Type:cyclicity
abnormalDetection-INFO-Result:normal
特征名称：SmfSessBuiSuccNum
所述类别：周期波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfSessBuiSuccNum
abnormalDetection-INFO-Type:cyclicity
abnormalDetection-INFO-Result:normal
特征名称：SmfSessModiFailNum
所述类别：无规律波动型
检验结果：正常
abnormalDetection-INFO-Feature：SmfSessModiFailNum
abnormalDetection-INFO-Type:random
abnormalDetection-INFO-Result:normal
设备所有特征结果汇总完成：
abnormalDetection-INFO-The results are summarized结果信息返回：
{'deviceID':'911020000000000030590993','result':'normal'}
基于同一发明构思，本发明还提出一种自适应的智慧网络设备性能指标异常检测方法。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是本发明一实施例的自适应的智慧网络设备性能指标异常检测方法流程示意图。如图2所示，该方法包括：
S01、接入网络设备采集的性能数据；
S02、对数据进行异常值处理，对异常值处理后的数据进行标准化；
S03、判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；
S04、依据波形分类进行异常检测；
S05、获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。
所述S01中的数据包括但不限于设备cpu利用率，内存利用率、流入流出流量。
所述S01中的数据采集时间保持一致。
所述S02中异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
所述S02中标准化采用均值方差标准化，对每列性能指标值分别计算均值和方差，每列的指标值分别减去其列的均值再除以其列的方差。
所述S03采用历史数据训练resnet深度网络分类模型，步骤如下：
S031、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
S032、构建输入数据为一维的resnet深度网络分类模型；
S033、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
所述S04包括：
S041、周期波动型异常检测，使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常；
S042、平稳波动型异常检测，使用历史数据计算参考值作为评价依据，对实时数据进行评价；
S043、无规律波动型异常检测，通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
基于前述发明构思，如图4所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述自适应的智慧网络设备性能指标异常检测方法。
基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述自适应的智慧网络设备性能指标异常检测方法的计算机程序。
本发明提出的自适应的智慧网络设备性能指标异常检测装置及方法，可以自动化判别性能指标的波动类型，不需要大量的人为参与，迁移性比较强；一是不需要大量的指标数据积累，二是不需要花费大量的人力进行异常数据的搜寻和标注。因此，在实际业务场景中，有着更宽泛的应用条件，适用性比较强。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (16)

1.一种自适应的智慧网络设备性能指标异常检测装置，其特征在于，该装置包括：
数据接入模块，用于接入网络设备采集的性能数据；
数据预处理模块，对数据进行异常值处理，对异常值处理后的数据进行标准化；
波型分类模块，判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；
异常检测模块，依据波形分类进行异常检测；
结果反馈模块，获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。
2.根据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述数据接入模块中的数据包括但不限于设备cpu利用率，内存利用率、流入流出流量。
3.根据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述数据接入模块中的数据采集时间保持一致。
4.根据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述数据预处理模块中异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
5.根据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述数据预处理模块中标准化采用均值方差标准化，对每列性能指标值分别计算均值和方差，每列的指标值分别减去其列的均值再除以其列的方差。
6.据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述波型分类模块采用历史数据训练resnet深度网络分类模型，步骤如下：
步骤一、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
步骤二、构建输入数据为一维的resnet深度网络分类模型；
步骤三、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
7.据权利要求1所述的自适应的智慧网络设备性能指标异常检测装置，其特征在于，所述异常检测模块包括：
周期波动型异常检测模块，使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常；
平稳波动型异常检测模块，使用历史数据计算参考值作为评价依据，对实时数据进行评价；
无规律波动型异常检测模块，通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
8.一种自适应的智慧网络设备性能指标异常检测方法，其特征在于，该方法包括：
S01、接入网络设备采集的性能数据；
S02、对数据进行异常值处理，对异常值处理后的数据进行标准化；
S03、判断的性能指标数据属于周期波动型或平缓波动型或无规律波动型；
S04、依据波形分类进行异常检测；
S05、获取各个性能指标的判断结果，将判断结果进行汇总，反馈给运维人员。
9.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S01中的数据包括但不限于设备cpu利用率，内存利用率、流入流出流量。
10.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S01中的数据采集时间保持一致。
11.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S02中异常值处理采用箱线图法，计算性能指标的上四分位数与下四分位数以及上下分位差，使用上四分位数与1.5倍的分位差的和作为上限，使用下四分位数与1.5倍的分位差的差作为下限，将大于上限的指标值调整为上限值，将小于下限的指标值调整为下限值。
12.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S02中标准化采用均值方差标准化，对每列性能指标值分别计算均值和方差，每列的指标值分别减去其列的均值再除以其列的方差。
13.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S03采用历史数据训练resnet深度网络分类模型，步骤如下：
S031、收集网络设备历史性能数据，并按照周期波动型、平缓波动型和无规律波动型进行类别标注；
S032、构建输入数据为一维的resnet深度网络分类模型；
S033、使用标注好的网络设备历史性能数据训练resnet深度网络分类模型，优化器对损失函数一次次进行随机梯度下降之后得到最优模型参数，将最优模型参数进行保存，便可得到训练后的resnet深度网络分类模型。
14.根据权利要求8所述的自适应的智慧网络设备性能指标异常检测方法，其特征在于，所述S04包括：
S041、周期波动型异常检测，使用fbprophet模型，学习历史数据特征并对未来数据进行预测，根据预测数据与实时数据的差异程度判断该周期时序数据是否为异常；
S042、平稳波动型异常检测，使用历史数据计算参考值作为评价依据，对实时数据进行评价；
S043、无规律波动型异常检测，通过对性能数据进行特征构建，使用LOF算法计算异常程度，进而对实时数据进行异常界定。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4中任一项所述方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-4中任一项所述方法的计算机程序。
CN202111135607.7A 2021-09-27 2021-09-27 一种自适应的智慧网络设备性能指标异常检测装置及方法 Pending CN113918433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111135607.7A CN113918433A (zh) 2021-09-27 2021-09-27 一种自适应的智慧网络设备性能指标异常检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111135607.7A CN113918433A (zh) 2021-09-27 2021-09-27 一种自适应的智慧网络设备性能指标异常检测装置及方法

Publications (1)

Publication Number Publication Date
CN113918433A true CN113918433A (zh) 2022-01-11

Family

ID=79236329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111135607.7A Pending CN113918433A (zh) 2021-09-27 2021-09-27 一种自适应的智慧网络设备性能指标异常检测装置及方法

Country Status (1)

Country Link
CN (1) CN113918433A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978956A (zh) * 2022-04-11 2022-08-30 北京邮电大学 智慧城市网络设备性能异常突变点检测方法及装置
CN115061605A (zh) * 2022-08-18 2022-09-16 深圳东昇射频技术有限公司 一种测试曲线的标记方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114978956A (zh) * 2022-04-11 2022-08-30 北京邮电大学 智慧城市网络设备性能异常突变点检测方法及装置
CN114978956B (zh) * 2022-04-11 2024-04-09 北京邮电大学 智慧城市网络设备性能异常突变点检测方法及装置
CN115061605A (zh) * 2022-08-18 2022-09-16 深圳东昇射频技术有限公司 一种测试曲线的标记方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10877863B2 (en) Automatic prediction system for server failure and method of automatically predicting server failure
CN111222290B (zh) 一种基于多参数特征融合的大型设备剩余使用寿命预测方法
CN113918433A (zh) 一种自适应的智慧网络设备性能指标异常检测装置及方法
CN110119787B (zh) 一种旋转型机械设备工况检测方法及设备
CN115412455A (zh) 一种基于时间序列的服务器多性能指标异常检测方法及装置
CN113760670A (zh) 电缆接头异常预警方法、装置、电子设备和存储介质
CN111262750A (zh) 一种用于评估基线模型的方法及***
CN111538311A (zh) 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置
CN110995461B (zh) 网络故障诊断方法
CN111901134B (zh) 一种基于循环神经网络模型rnn的预测网络质量的方法和装置
CN114962390A (zh) 液压***故障诊断方法、***及作业机械
CN114138601A (zh) 一种业务告警方法、装置、设备及存储介质
CN115705282A (zh) 小区网络异常检测方法、装置及计算机可读存储介质
CN116030955B (zh) 基于物联网的医疗设备状态监测方法及相关装置
CN117010442A (zh) 设备剩余寿命预测模型训练方法、剩余寿命预测方法及***
US20230161653A1 (en) Method of managing system health
CN117048524A (zh) 一种车辆故障的检测方法、装置、车辆及存储介质
CN116415989A (zh) 千兆潜在客户预测方法、装置、计算机设备及存储介质
CN112925806B (zh) 基于关联规则的性能退化特征参数提取方法、***、介质及设备
CN113098640B (zh) 一种基于频道占用度预测的频谱异常检测方法
CN109978038B (zh) 一种集群异常判定方法及装置
CN114202110A (zh) 一种基于rf-xgboost的业务故障预测方法及装置
CN113283157A (zh) 智能冲压压力机部件生命周期预测***、方法、终端、介质
CN112596486A (zh) 基于大数据和边缘计算的远程信息处理方法及云服务器
CN112988529A (zh) 一种基于机器学习进行数据库***性能预测的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination