CN114978956A - 智慧城市网络设备性能异常突变点检测方法及装置 - Google Patents
智慧城市网络设备性能异常突变点检测方法及装置 Download PDFInfo
- Publication number
- CN114978956A CN114978956A CN202210386525.8A CN202210386525A CN114978956A CN 114978956 A CN114978956 A CN 114978956A CN 202210386525 A CN202210386525 A CN 202210386525A CN 114978956 A CN114978956 A CN 114978956A
- Authority
- CN
- China
- Prior art keywords
- threshold
- historical time
- threshold value
- mutation
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035772 mutation Effects 0.000 title claims abstract description 128
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000004590 computer program Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 abstract description 9
- 238000004422 calculation algorithm Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 12
- 238000009826 distribution Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种智慧城市网络设备性能异常突变点检测方法及装置，该方法包括：基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。本发明使得Prophet的趋势项可以更好地拟合，提高性能指标异常检测的准确率。
Description
技术领域
本发明涉及异常检测技术领域，尤其涉及一种智慧城市网络设备性能异常突变点检测方法及装置。
背景技术
大型在线服务***通常是一个复杂的分布式***，由成百上千的模块，例如前端服务、缓存、业务、数据库等组成。由于软件服务的失败直接影响用户体验，运维人员需要监控大量的智慧城市网络设备层面的关键性能指标，如响应时间和CPU(Central ProcessingUnit，中央处理器)使用率，通过确保性能指标值处于正常范围的方式来确保在线服务正常运行。
针对性能指标异常检测算法常常出现性能指标出现异常频率不确定的问题，其时序指标的形态种类混合，例如突变型序列、渐变型序列和不稳定型序列等混合，不易采用统一的算法进行异常检测。Prophet是一种开源算法，该算法可以自动拟合性能指标的形态，它可以达到一个算法拟合多个形态的效果，是时序异常检测的一种新方式，可用于解决上述问题。其中，在进行趋势项拟合时，Prophet算法突变点的选择有两种方式：其一是算法自动选择，其二是通过人工指定突变点位置。然而第二种人工指定突变点的方式，却没有较好的算法来自动选定，因此不利于提高其趋势项的拟合准确性。并且Prophet在默认情况下会在时间序列的前80％数据中等分设置25个潜在的突变点，但这种等分设置突变点的方式可能会忽略一些突变较快的点。综上需要设计一种自动求解Prophet突变点的算法。
现有技术有基于图神经网络的混合模型多元时序异常检测方法，包括：将多元时序分为基于滑动窗口的特征矩阵、邻接矩阵和基于固定窗口的邻接矩阵，并分别预处理，得到第一特征矩阵、第一邻接矩阵、第二邻接矩阵；构建图卷积神经网络预测模型，输入第一特征矩阵和第一邻接矩阵得到预测值；将真实值与之对比判断异常时间戳；构建卷积神经网络及注意力长短期记忆网络混合重构模型，输入第二邻接矩阵得重构邻接矩阵；对比得出重构误差矩阵，以重构误差矩阵中元素大小及超出阈值的元素数量判断异常时序；以异常时间戳和异常时序，确定异常点。能够检测出多元时序中的异常时间戳和异常时序，提高多元时序的异常检测粒度、效率和检测准确度。
基于服务依赖图的异常检测方法大多先利用某种关键性能指标构建服务依赖图，但此类方法未能利用多种性能监控指标进行综合的、跨层的异常检测。另外，针对具有趋势性和周期性等混合形态的性能指标时序特征，基于服务图的异常检测方法并没有很好的应用效果。
现有技术还有一种关键性能指标数据的时序异常检测方法，用以解决时序数据异常检测效率低、准确率低的问题。先对采集的时序数据中缺失值及异常值进行修正，再提取特征对数据进行拼接，将拼接数据划分为训练集和测试集，在优化目标函数的基础上训练得到异常检测模型，再进行测试及评估得到评估标准，以评估标准和异常检测模型，对待检测数据进行时间序列异常检测。该方法对具有周期性的不同时间序列数据的异常检测，从时间序列数据中提取不同维度的特征以保证考虑到数据在不同维度上的相关性都能被模型学习到，减少了异常标注带来的成本，同时适用于正负样本极不均匀的场景，提高了检测效率。
基于性能指标时序特征的异常检测方法，如Prophet等方法，基于时序分解的思想检测异常值。此类方法无法较好拟合异常极值的突变点，会导致时序异常检测不准确的问题；同时，智慧城市网络设备层面的性能指标存在趋势性和周期性等形态混合导致现有基于时序性能指标异常检测算法方法适用性较差。
发明内容
本发明提供一种智慧城市网络设备性能异常突变点检测方法及装置，用以解决现有技术中的异常检测方法不适用于混合形态的性能指标时序特征，检测不准确的缺陷，实现采用Prophet算法拟合混合形态的时序指标的变化，提高异常检测的准确性。
本发明提供一种智慧城市网络设备性能异常突变点检测方法，包括：
基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
根据本发明提供的一种智慧城市网络设备性能异常突变点检测方法，所述极值理论为GPD模型。
根据本发明提供的一种智慧城市网络设备性能异常突变点检测方法，所述基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值，包括：
基于极大似然估计根据所述历史时间序列数据获取所述GPD模型的参数，根据所述参数构建所述GPD模型；
基于所述GPD模型根据所述第一阈值对应的第一初始阈值和第一预设概率计算所述第一阈值，根据所述第二阈值对应的第二初始阈值和第二预设概率计算所述第二阈值。
根据本发明提供的一种智慧城市网络设备性能异常突变点检测方法，所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点，包括：
从所述历史时间序列数据中选择小于或等于所述第一阈值，且大于或等于所述第一初始阈值，或者大于或等于所述第二阈值，且小于于或等于所述第二初始阈值的元素，对所述GPD模型的参数进行更新；
基于参数更新后GPD模型对所述第一阈值和所述第二阈值进行更新；
根据所述历史时间序列数据中大于更新后的第一阈值或小于更新后的第二阈值的元素，确定Prophet模型的突变点。
根据本发明提供的一种智慧城市网络设备性能异常突变点检测方法，所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点：
若所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素存在多个元素连续，则将连续多个元素中的一个元素作为突变点。
根据本发明提供的一种智慧城市网络设备性能异常突变点检测方法，所述基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线，包括：
基于Prophet模型计算每个突变点的增长率；
根据每个突变点的增长率，计算所有突变点的增长率的绝对值平均数；
根据每个突变点的增长率和所述绝对值平均数，计算每个突变点的增长率的标准偏差；
将所述绝对值平均数和每个突变点的增长率的标准偏差相加，将相加结果与每个突变点的增长率进行比较；
根据比较结果，更新每个突变点的增长率。
本发明还提供一种智慧城市网络设备性能异常突变点检测装置，包括：
计算模块，用于基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
确定模块，用于根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
拟合模块，用于基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
检测模块，用于根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述智慧城市网络设备性能异常突变点检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述智慧城市网络设备性能异常突变点检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述智慧城市网络设备性能异常突变点检测方法。
本发明提供的智慧城市网络设备性能异常突变点检测方法及装置，通过采用Prophet算法拟合混合形态的智慧城市网络设备性能时序指标的变化，并利用极值理论求解异常边界得到的异常点作为Prophet算法的突变点，使得Prophet的趋势项可以更好地利用突变点进行模型拟合，从而提高性能指标异常检测的准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的智慧城市网络设备性能异常突变点检测方法的流程示意图；
图2是本发明提供的智慧城市网络设备性能异常突变点检测方法中区间划分示意图；
图3是本发明提供的智慧城市网络设备性能异常突变点检测装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的一种智慧城市网络设备性能异常突变点检测方法，包括：步骤101，基于极值理论(Extreme Value Theory，EVT)根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
极值理论认为虽然不同的事物本身符合不同的数据分布，但是不同事物的极端事件满足相同的分布，这个分布称为极值分布。
智慧城市网络设备的性能指标包括磁盘繁忙度、吞吐量、包延迟和丢包率。对于一个有限的历史时间序列数据，给定一个时间点a，性能指标的历史时间序列数据为a之前m时刻的数据，表示为X＝{xa-m+1，…，xa-1，xa}，取i∈[a-m+1,a]，xi＝(i,vi)表示第i时刻的性能指标值是vi。基于极值分布(Extreme Value Distribution,EVD)，计算一个异常阈值zt，使得性能指标值xi>zt出现的概率小于第一预设概率q，则称zt为异常极大阈值，即第一阈值；计算一个异常阈值zb，使得性能指标值xi<zb出现的概率小于第二预设概率p，则称zb为异常极小阈值，即第二阈值。
对于流式的性能指标数据，即x1,…,xn,xn+1,…，利用新增的xn+1迭代更新第一阈值和第二阈值，使得阈值更精确。
步骤102，根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
如果xi<zb或xi>zt，则表明xi是属于异常范围。其中，当xi<zb时，xi属于低于异常极小阈值的异常值；当xi>zt时，xi是超过异常极大阈值的异常值。将历史时间序列数据中的异常值存储在异常点集合A中，作为Prophet模型的突变点。
步骤103，基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
Prophet模型是一种高效的时间序列预测模型，利用Prophet模型自身拟合趋势性、周期性和节假日特性时序数据的特点对历史时间序列进行曲线拟合。Prophet模型的拟合公式如下：
y(t)＝g(t)+s(t)+h(t)+ε；
其中，g(t)是趋势项，表示时间序列上的非周期性变化，s(t)表示年、月或、周为单位的周期项，h(t)是节假日项，表示当前是否存在节假日。ε表示误差项或者剩余项。
但在异常性能指标检测领域，针对趋势型、周期型和节假日型等序列提出了很多相关算法。然而Prophet中的趋势项g(t)是基于等分策略设置的突变点，此策略不适用于性能指标极端突变的情况。因此，本实施例将基于极值理论检测出的异常值作为Prophet模型中的突变点，提高Prophet算法在异常时序上拟合的准确性。
步骤104，根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
拟合曲线为性能指标值随时间的变化曲线。对于当前数据，将当前时刻对应的拟合曲线上的性能指标值与当前性能指标值进行比较，如果两者之间的差值小于预设阈值，则获知当前数据正常，否则当前数据异常。在检测到当前数据异常后，由运维人员进行故障止损操作。
本实施例通过采用Prophet算法拟合混合形态的智慧城市网络设备性能时序指标的变化，并利用极值理论求解异常边界得到的异常点作为Prophet算法的突变点，使得Prophet的趋势项可以更好地利用突变点进行模型拟合，从而提高性能指标异常检测的准确率。
在上述实施例的基础上，本实施例中所述极值理论为GPD(Generalized ParetoDistribution，广义帕累托分布)模型。
极值理论认为极值相对于一个阈值超出的部分满足的分布叫GPD。
在上述实施例的基础上，本实施例中所述基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值，包括：基于极大似然估计根据所述历史时间序列数据获取所述GPD模型的参数，根据所述参数构建所述GPD模型；
GPD模型的分布参数有两个，即γ和σ。这两个参数可以通过极大似然估计来获得，将计算的这两个参数的值带入GPD模型。
基于所述GPD模型根据所述第一阈值对应的第一初始阈值和第一预设概率q计算所述第一阈值，根据所述第二阈值对应的第二初始阈值和第二预设概率p计算所述第二阈值。
第一初始阈值为第一阈值的初始值，第二初始阈值为第二阈值的初始值。将第一初始阈值和第一预设概率q带入GPD模型中得到第一阈值；将第二初始阈值和第二预设概率p带入GPD模型中得到第二阈值。
在上述实施例的基础上，本实施例中所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点，包括：从所述历史时间序列数据中选择小于或等于所述第一阈值，且大于或等于所述第一初始阈值，或者大于或等于所述第二阈值，且小于于或等于所述第二初始阈值的元素，对所述GPD模型的参数进行更新；基于参数更新后GPD模型对所述第一阈值和所述第二阈值进行更新；
根据第一阈值zt、第一初始阈值t、第二阈值zb和第二初始阈值b，将历史时间序列数据的取值范围划分为异常范围、极值范围和正常范围。其中，极值范围进一步分为较大值范围和较小值范围，如图2所示。针对xi所属范围的不同，更新GPD模型的方式不同，进而更新第一阈值和第二阈值的方式也不同。
将异常范围的元素作为Prophet模型的突变点。如果zb≤xi≤b或者t≤xi≤zt，则表明xi属于极值范围。其中，zb≤xi≤b是较小值范围，而t≤xi≤zt是较大值范围。将xi用于更新极大值点集合Yt或极小值点集合Yb。将Yt或Yb用于再次确定GPD模型中的参数。基于更新后的GPD模型更新zt和zb。
如果b<xi<t，则表明xi属于正常范围，将不用于更新Yt或Yb，页不用于更新GPD模型，从而不影响阈值zt和zb的更新。
根据所述历史时间序列数据中大于更新后的第一阈值或小于更新后的第二阈值的元素，确定Prophet模型的突变点。
以微服务应用***故障发现数据集中的os_linux数据为例。通过分析性能指标的时序数据，提取现有操作***级别的数据。从原始数据中分类得到智慧城市网络设备上的磁盘繁忙度。
通过现有Prophet模型计算得的突变点如表1所示，识别出突变点11个。采用本实施例提供的极值理论得到的突变点如表2所示，识别出突变点15个。将极值理论得到的突变点进行Prophet模型的拟合，改进Prophet在趋势项上的拟合效果。
表1现有Prophet模型计算得的突变点
表2采用极值理论计算得的突变点
本实施例通过在基于极值理论求解得到异常边界后，将异常边界划定的异常范围内的数据点作为突变点，根据异常边界和初始阈值划定的极值范围内的数据点对GPD模型进行更新，从而自动更新异常边界和突变点，将最后返回的突变点基于Prophet模型进行趋势项拟合，提高拟合的准确度，进一步提高异常检测的精度。
在上述各实施例的基础上，本实施例中所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点：若所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素存在多个元素连续，则将连续多个元素中的一个元素作为突变点。
根据异常点集合构建突变点列表cgpList。设Prophet突变点列表为cgpList＝{zq1,...,,zqn}，对于其中连续的o个突变点{zqa,zqb,...,zqo}，本实施例仅保留一个突变点，例如保留连续突变点中的第一个元素zqa。对于不连续的突变点均保留。
利用筛选后的突变点列表cgpList更新Prophet的突变点changepoints，函数为Prophet(changepoints＝cgpList)。从而利用Prophet模型自身拟合趋势性、周期性和节假日特性时序数据的特点拟合曲线，检测性能指标中的异常数据。
在上述各实施例的基础上，本实施例中所述基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线，包括：基于Prophet模型计算每个突变点的增长率；根据每个突变点的增长率，计算所有突变点的增长率的绝对值平均数；根据每个突变点的增长率和所述绝对值平均数，计算每个突变点的增长率的标准偏差；将所述绝对值平均数和每个突变点的增长率的标准偏差相加，将相加结果与每个突变点的增长率进行比较；根据比较结果，更新每个突变点的增长率。
本实施例对Prophet模型的突变点在时间维度上进行过滤，公式如下：
其中，cR表示任一突变点的增长率，m(|cR|)表示所有突变点的增长率的绝对值|cR|的平均值，std(|cR|)表示任一突变点的增长率的标准偏差。
下面对本发明提供的智慧城市网络设备性能异常突变点检测装置进行描述，下文描述的智慧城市网络设备性能异常突变点检测装置与上文描述的智慧城市网络设备性能异常突变点检测方法可相互对应参照。
如图3所示，该装置包括计算模块301、确定模块302、拟合模块303和检测模块304，其中：
计算模块301用于基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
确定模块302用于根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
拟合模块303用于基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
检测模块304用于根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
本实施例通过采用Prophet算法拟合混合形态的智慧城市网络设备性能时序指标的变化，并利用极值理论求解异常边界得到的异常点作为Prophet算法的突变点，使得Prophet的趋势项可以更好地利用突变点进行模型拟合，从而提高性能指标异常检测的准确率。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行智慧城市网络设备性能异常突变点检测方法，该方法包括：基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者智慧城市网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的智慧城市网络设备性能异常突变点检测方法，该方法包括：基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的智慧城市网络设备性能异常突变点检测方法，该方法包括：基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者智慧城市网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种智慧城市网络设备性能异常突变点检测方法，其特征在于，包括：
基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
2.根据权利要求1所述的智慧城市网络设备性能异常突变点检测方法，其特征在于，所述极值理论为GPD模型。
3.根据权利要求2所述的智慧城市网络设备性能异常突变点检测方法，其特征在于，所述基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值，包括：
基于极大似然估计根据所述历史时间序列数据获取所述GPD模型的参数，根据所述参数构建所述GPD模型；
基于所述GPD模型根据所述第一阈值对应的第一初始阈值和第一预设概率计算所述第一阈值，根据所述第二阈值对应的第二初始阈值和第二预设概率计算所述第二阈值。
4.根据权利要求3所述的智慧城市网络设备性能异常突变点检测方法，其特征在于，所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点，包括：
从所述历史时间序列数据中选择小于或等于所述第一阈值，且大于或等于所述第一初始阈值，或者大于或等于所述第二阈值，且小于于或等于所述第二初始阈值的元素，对所述GPD模型的参数进行更新；
基于参数更新后GPD模型对所述第一阈值和所述第二阈值进行更新；
根据所述历史时间序列数据中大于更新后的第一阈值或小于更新后的第二阈值的元素，确定Prophet模型的突变点。
5.根据权利要求1-4任一所述的智慧城市网络设备性能异常突变点检测方法，其特征在于，所述根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点：
若所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素存在多个元素连续，则将连续多个元素中的一个元素作为突变点。
6.根据权利要求1-4任一所述的智慧城市网络设备性能异常突变点检测方法，其特征在于，所述基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线，包括：
基于Prophet模型计算每个突变点的增长率；
根据每个突变点的增长率，计算所有突变点的增长率的绝对值平均数；
根据每个突变点的增长率和所述绝对值平均数，计算每个突变点的增长率的标准偏差；
将所述绝对值平均数和每个突变点的增长率的标准偏差相加，将相加结果与每个突变点的增长率进行比较；
根据比较结果，更新每个突变点的增长率。
7.一种智慧城市网络设备性能异常突变点检测装置，其特征在于，包括：
计算模块，用于基于极值理论根据智慧城市网络设备的性能指标的历史时间序列数据获取第一阈值和第二阈值；其中，所述第一阈值大于所述第二阈值；
确定模块，用于根据所述历史时间序列数据中大于所述第一阈值或小于所述第二阈值的元素，确定Prophet模型的突变点；
拟合模块，用于基于所述Prophet模型根据所述突变点对所述历史时间序列数据进行拟合，获取所述历史时间序列的拟合曲线；
检测模块，用于根据所述拟合曲线，判断所述智慧城市网络设备的性能指标的当前数据是否异常。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述智慧城市网络设备性能异常突变点检测方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述智慧城市网络设备性能异常突变点检测方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述智慧城市网络设备性能异常突变点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210386525.8A CN114978956B (zh) | 2022-04-11 | 2022-04-11 | 智慧城市网络设备性能异常突变点检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210386525.8A CN114978956B (zh) | 2022-04-11 | 2022-04-11 | 智慧城市网络设备性能异常突变点检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114978956A true CN114978956A (zh) | 2022-08-30 |
| CN114978956B CN114978956B (zh) | 2024-04-09 |
Family
ID=82977402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210386525.8A Active CN114978956B (zh) | 2022-04-11 | 2022-04-11 | 智慧城市网络设备性能异常突变点检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114978956B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115828055A (zh) * | 2023-02-22 | 2023-03-21 | 民航成都物流技术有限公司 | 一种采样数据的监测方法、装置、计算机设备和存储介质 |
| CN115877268A (zh) * | 2023-02-13 | 2023-03-31 | 中节能晶和照明(江西)有限公司 | 一种智慧照明***中l-n间漏电点定位监测和告警方法 |
| CN116956198A (zh) * | 2023-09-18 | 2023-10-27 | 湖南迈格瑞特物联科技有限公司 | 基于物联网的智慧用电数据分析方法及*** |
| CN117829097A (zh) * | 2024-02-29 | 2024-04-05 | 双一力(宁波)电池有限公司 | 电池数据处理方法、装置、电子设备及可读存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001069412A2 (en) * | 2000-03-14 | 2001-09-20 | Speed-Trap.Com Ltd. | Monitoring and modifying services provided over a network |
| WO2018103453A1 (zh) * | 2016-12-07 | 2018-06-14 | 华为技术有限公司 | 检测网络的方法和装置 |
| WO2018121157A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京神州绿盟信息安全科技股份有限公司 | 一种网络流量异常检测方法及装置 |
| CN109002904A (zh) * | 2018-06-21 | 2018-12-14 | 中南大学 | 一种基于Prophet-ARMA的医院门诊就诊量预测方法 |
| CN109587001A (zh) * | 2018-11-15 | 2019-04-05 | 新华三信息安全技术有限公司 | 一种性能指标异常检测方法及装置 |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN111679949A (zh) * | 2020-04-23 | 2020-09-18 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法及相关设备 |
| CN112508316A (zh) * | 2019-09-16 | 2021-03-16 | 中国科学院信息工程研究所 | 实时异常检测***中的自适应异常判定方法和装置 |
| CN112685273A (zh) * | 2020-12-29 | 2021-04-20 | 京东数字科技控股股份有限公司 | 异常检测方法、装置、计算机设备和存储介质 |
| WO2021129086A1 (zh) * | 2019-12-25 | 2021-07-01 | 中兴通讯股份有限公司 | 流量预测方法、装置以及存储介质 |
| CN113381902A (zh) * | 2020-03-10 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 跨地区的网络链路的检测方法、装置和计算机存储介质 |
| CN113570396A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 时间序列数据异常检测方法、装置、设备及存储介质 |
| EP3933701A1 (en) * | 2020-07-02 | 2022-01-05 | Juniper Networks, Inc. | Machine learning pipeline for predictions regarding a network |
| CN113918433A (zh) * | 2021-09-27 | 2022-01-11 | 中盈优创资讯科技有限公司 | 一种自适应的智慧网络设备性能指标异常检测装置及方法 |
| CN113949644A (zh) * | 2021-10-22 | 2022-01-18 | 山东省计算中心（国家超级计算济南中心） | 基于LSTM-prophet的网站访问量预测方法及*** |
| CN113962745A (zh) * | 2021-10-30 | 2022-01-21 | 重庆长安汽车股份有限公司 | 基于prophet模型及大数据的销量预测方法和*** |
| CN114169604A (zh) * | 2021-12-06 | 2022-03-11 | 北京达佳互联信息技术有限公司 | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 |
-
2022
- 2022-04-11 CN CN202210386525.8A patent/CN114978956B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001069412A2 (en) * | 2000-03-14 | 2001-09-20 | Speed-Trap.Com Ltd. | Monitoring and modifying services provided over a network |
| WO2018103453A1 (zh) * | 2016-12-07 | 2018-06-14 | 华为技术有限公司 | 检测网络的方法和装置 |
| WO2018121157A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京神州绿盟信息安全科技股份有限公司 | 一种网络流量异常检测方法及装置 |
| CN109002904A (zh) * | 2018-06-21 | 2018-12-14 | 中南大学 | 一种基于Prophet-ARMA的医院门诊就诊量预测方法 |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN109587001A (zh) * | 2018-11-15 | 2019-04-05 | 新华三信息安全技术有限公司 | 一种性能指标异常检测方法及装置 |
| CN112508316A (zh) * | 2019-09-16 | 2021-03-16 | 中国科学院信息工程研究所 | 实时异常检测***中的自适应异常判定方法和装置 |
| WO2021129086A1 (zh) * | 2019-12-25 | 2021-07-01 | 中兴通讯股份有限公司 | 流量预测方法、装置以及存储介质 |
| CN113381902A (zh) * | 2020-03-10 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 跨地区的网络链路的检测方法、装置和计算机存储介质 |
| CN111679949A (zh) * | 2020-04-23 | 2020-09-18 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法及相关设备 |
| WO2021212752A1 (zh) * | 2020-04-23 | 2021-10-28 | 平安科技（深圳）有限公司 | 基于设备指标数据的异常检测方法、装置、设备及存储介质 |
| EP3933701A1 (en) * | 2020-07-02 | 2022-01-05 | Juniper Networks, Inc. | Machine learning pipeline for predictions regarding a network |
| CN112685273A (zh) * | 2020-12-29 | 2021-04-20 | 京东数字科技控股股份有限公司 | 异常检测方法、装置、计算机设备和存储介质 |
| CN113570396A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 时间序列数据异常检测方法、装置、设备及存储介质 |
| CN113918433A (zh) * | 2021-09-27 | 2022-01-11 | 中盈优创资讯科技有限公司 | 一种自适应的智慧网络设备性能指标异常检测装置及方法 |
| CN113949644A (zh) * | 2021-10-22 | 2022-01-18 | 山东省计算中心（国家超级计算济南中心） | 基于LSTM-prophet的网站访问量预测方法及*** |
| CN113962745A (zh) * | 2021-10-30 | 2022-01-21 | 重庆长安汽车股份有限公司 | 基于prophet模型及大数据的销量预测方法和*** |
| CN114169604A (zh) * | 2021-12-06 | 2022-03-11 | 北京达佳互联信息技术有限公司 | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 杨霞: "《基于人员红外数据的时间序列组合预测模型研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115877268A (zh) * | 2023-02-13 | 2023-03-31 | 中节能晶和照明(江西)有限公司 | 一种智慧照明***中l-n间漏电点定位监测和告警方法 |
| CN115877268B (zh) * | 2023-02-13 | 2023-06-23 | 中节能晶和照明(江西)有限公司 | 一种智慧照明***中l-n间漏电点定位监测和告警方法 |
| CN115828055A (zh) * | 2023-02-22 | 2023-03-21 | 民航成都物流技术有限公司 | 一种采样数据的监测方法、装置、计算机设备和存储介质 |
| CN115828055B (zh) * | 2023-02-22 | 2023-04-18 | 民航成都物流技术有限公司 | 一种采样数据的监测方法、装置、计算机设备和存储介质 |
| CN116956198A (zh) * | 2023-09-18 | 2023-10-27 | 湖南迈格瑞特物联科技有限公司 | 基于物联网的智慧用电数据分析方法及*** |
| CN116956198B (zh) * | 2023-09-18 | 2023-12-26 | 湖南迈格瑞特物联科技有限公司 | 基于物联网的智慧用电数据分析方法及*** |
| CN117829097A (zh) * | 2024-02-29 | 2024-04-05 | 双一力(宁波)电池有限公司 | 电池数据处理方法、装置、电子设备及可读存储介质 |
| CN117829097B (zh) * | 2024-02-29 | 2024-05-28 | 双一力(宁波)电池有限公司 | 电池数据处理方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114978956B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111459778B (zh) | 运维***异常指标检测模型优化方法、装置及存储介质 | |
| CN114978956A (zh) | 智慧城市网络设备性能异常突变点检测方法及装置 | |
| CN110865929A (zh) | 异常检测预警方法及*** | |
| CN112862127B (zh) | 一种传感器数据的异常处理方法、装置、电子设备及介质 | |
| CN110532119B (zh) | 动力***运行异常点检测方法 | |
| CN111179591B (zh) | 一种路网交通时序特征数据质量诊断与修复方法 | |
| CN113868953B (zh) | 工业***中多机组运行优化方法、装置、***及存储介质 | |
| CN115454778A (zh) | 大规模云网络环境下的时序指标异常智能监控*** | |
| CN112379325A (zh) | 一种用于智能电表的故障诊断方法及*** | |
| CN110766236A (zh) | 基于统计分析和深度学习的电力设备状态趋势预测方法 | |
| CN114168444A (zh) | 一种基于监控大数据的动态运维报修模型 | |
| CN113723861A (zh) | 异常用电行为检测方法、装置、计算机设备和存储介质 | |
| CN116186630A (zh) | 一种异常漏电电流数据识别方法及相关装置 | |
| CN112508316B (zh) | 实时异常检测***中的自适应异常判定方法和装置 | |
| CN115392056A (zh) | 一种高压架空输电线路运行状态监测及预警方法及装置 | |
| KR101960755B1 (ko) | 미취득 전력 데이터 생성 방법 및 장치 | |
| CN115167320A (zh) | 工业控制***的模型识别方法、装置、设备及存储介质 | |
| CN113987027A (zh) | 一种基于故障预测的设备状态确定方法、装置及介质 | |
| CN112182056A (zh) | 一种数据检测方法、装置、设备及存储介质 | |
| CN117111568B (zh) | 基于物联网的设备监测方法、装置、设备及存储介质 | |
| CN114301803A (zh) | 网络质量检测方法、装置、电子设备及存储介质 | |
| Fu et al. | SPC methods for nonstationary correlated count data with application to network surveillance | |
| CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
| CN116910559A (zh) | 一种面向电网超算中心智能运维应用的指标异常检测方法 | |
| CN110245844B (zh) | 异常指标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |