CN116662828A - 云网络多阶段异常检测方法及*** - Google Patents
云网络多阶段异常检测方法及*** Download PDFInfo
- Publication number
- CN116662828A CN116662828A CN202310704295.XA CN202310704295A CN116662828A CN 116662828 A CN116662828 A CN 116662828A CN 202310704295 A CN202310704295 A CN 202310704295A CN 116662828 A CN116662828 A CN 116662828A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud network
- time sequence
- anomalies
- anomaly detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012423 maintenance Methods 0.000 claims abstract description 12
- 230000005856 abnormality Effects 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 230000008859 change Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000005211 surface analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种云网络多阶段异常检测方法及***，其特征是结合轻量、高召回率的基于动态窗口的时序预测方法和复杂、高准确率的基于云网络拓扑的异常检测方法，分阶段检测云网络设备和实例的异常；首先根据子时序相似度设置提取上、下包络的窗口长度，再使用自适应的时序预测算法对上、下包络进行预测，并基于预测结果对云网络千万量级设备和实例进行轻量、高召回率的异常检测，接着使用基于拓扑的异常检测方法对上一步生成的数据异常进行复杂、高准确率的异常检测，最后可以实现高准确率、高召回率的异常检测，精准发现云网络设备和实例的故障，减少误报对运维人员的干扰，提升运维效率。
Description
技术领域
本发明涉及云网络运维领域，尤其涉及一种针对于云网络具有复杂拓扑关系的千万级海量设备和实例数据的异常检测方法及***。
背景技术
故障发现对于云网络运维领域是必不可少的，例如日常监控告警、故障影响面分析、故障根因定位等。这些技术需要从千万级设备和实例数据中发现故障，在云网络场景下故障发现技术更值得被高度关注，云网络服务于千千万万的用户，给用户带来的便捷的体验，用户可以自由变配、搭建复杂的拓扑网络。在享受便利的同时，云网络设备和实例存在超大规模、频繁变更、拓扑结构复杂等特点，也给运维人员发现带来了巨大的挑战，人工运维显然是不可行的，自动化、智能化运维势在必行，实现高准确率、高召回率的异常检测非常必要。
云网络为数百万用户提供服务，覆盖多个领域包括游戏、直播、电商，为了保障SLA，云网络需要对千万量级的设备和实例进行监控，发现潜在的故障，云网络场景下的高准确率、高召回率的故障发现首先要面对的挑战就是超大规模的数据，不同于适用于单应用***的异常检测算法，云网络场景下需要准实时监控千万量级的时序，算法的性能需要足够高，才能满足实时性要求，接着用户在云网络中部署了不同类型的业务，例如游戏应用和金融应用存在显著的差异，这种差异导致流量等指标存在不同的特征，因此异常检测算法需要适配不同类型用户，其次云网络场景下得益于弹性计算的发展，云网络的设备和实例配置时刻处于变化中，因此算法需要有足够的自适应能力，才能应对时序的动态变化，然后算法的成本也是实际应用中的重要因素，这也限制了算法部署方案的选型，需要做到经济适用，接着运维人员资源宝贵，海量告警没有实际意义，需要将有效的异常筛选出来，因为异常检测的准确率需要足够的高，这样才能避免运维人员被告警淹没，无法及时响应处理问题，最后云网络故障一旦对用户造成影响，很有可能带来资损，因此异常检测的召回率需要足够的高，尽量做到不漏故障。
综上所述，在云网络场景下设计一个高准确率、高召回率并可直接部署于生产***中的异常检测算法存在较大的难度。
发明内容
本发明的目的是针对现有技术的不足，设计一套适用于云网络大规模、复杂拓扑场景的高准确率、高召回率的异常检测方法及***，供各种网络组件进行运维，包括故障发现、根因定位、影响面分析等。
本发明的目的是通过以下技术方案实现的：
本发明一方面提供一种云网络多阶段异常检测方法，结合轻量、高召回率的基于动态窗口的时序预测方法和复杂、高准确率的基于拓扑的异常检测方法分阶段检测云网络设备和实例的故障，包括以下步骤：
S1：使用基于动态窗口的时序预测方法覆盖云网络千万量级设备和实例进行轻量、高召回率的异常检测，先将设备和实例的时序数据进行归档，主要进行排序、去重、缺失值填充，每一条时序数据是<t,v>键值对组成的数组，其中t为时间戳，v为采集的设备和实例的流量或丢包数据，接着基于云网络数据周期性特征，计算不同周期子时序间相似度，子时序相似度越高，窗口长度越短，子时序相似度越低，窗口长度越长，再根据窗口长度使用极值算法提取时序的上、下包络；
S2：对提取到的上、下包络使用自适应的STL(Seasonal-Trend decompositionprocedure based on Loess)算法对历史数据和未来数据进行时序预测，预测结果为<up_t,up_v>和<low_t,low_v>，其中up_t和low_t为预测时间戳，up_v为预测上包络，low_v为预测下包络，并基于历史实际数据和历史预测数据的误差，计算缩放系数，用缩放系数对上、下包络未来预测数据进行自适应调节，接着每分钟定时对比云网络千万量级设备和实例指标的实际值和缩放后的上、下包络预测数据生成数据异常；
S3：使用基于拓扑的异常检测方法对上一步生成的数据异常进行复杂、高有效率的异常检测，具体是根据数据异常所属的设备和实例构成的拓扑关系生成拓扑图，将具有拓扑关系的数据异常聚合，并使用图卷积神经网络进行嵌入学习获取数据异常对应的嵌入向量，再将嵌入向量输入到深度学习模型进行二分类，分类结果包括真异常和假异常，最后对真异常进行告警通知。
进一步地，基于云网络数据周期性特征，计算不同周期子时序间相似度，云网络场景下时序根据承载业务特性一般呈现周、天、小时粒度周期性，根据时序周期性特征将长时序划分为子时序，并使用DTW(Dynamic Time Warping，动态时间归整)算法计算子时序间的相似度，相似度为0-1的连续值，子时序相似度越高，窗口长度越短，子时序相似度越低，窗口长度越长，根据相似度设置计算包络的窗口长度，接着根据窗口长度使用极值算法提取时序的上、下包络，其中上包络使用窗口内的极大值，下包络使用窗口内的极小值。
进一步地，对提取到的上、下包络使用自适应的STL算法对历史数据和未来数据进行时序预测，并计算历史实际数据和历史预测数据的平均绝对百分比误差，并根据误差的大小计算缩放系数，误差越大表示时序规律性发生了较大变化，未来预测结果置信度较低，缩放系数也就越大，误差越小表示时序规律性变化较小，未来预测结果置信度较高，缩放系数也就越小，接着对未来预测结果进行对应的缩放，实现预测自适应调节。
进一步地，获取云网络设备和实例间的拓扑关系，云网络设备和实例间存在拓扑关系，根据数据采集、数据加工的数据流图可以构建云网络设备和实例的拓扑图，并用三元组<h,r,t>进行表示，其中h为头节点，t为尾节点，r为节点间关系，节点间主要包括父子关系和兄弟关系，比如带宽包和弹性公网IP间存在父子关系，SLB和Proxy间存在兄弟关系，这样定义云网络设备和实例的拓扑关系。
进一步地，使用图卷积神经网络对上一步生成的拓扑图进行嵌入表示，具体是使用Node2Vec将拓扑图中的节点和边表示为相同维度的嵌入向量，再将嵌入向量输入到LSTM模型，具体模型结构为(Input,LSTM,LSTM,LSTM,Dense,Output)，其中Input层为全连接层，接收输入的嵌入向量，LSTM用于提取时序的长短期特征，Dense层进行维度转换，Output层为激活函数，用于实现二分类，将数据分类为真异常、假异常，最后对真异常进行告警通知。
本发明另一方面提供一种云网络多阶段异常检测***，包括以下模块：
时序数据存储模块：将云网络设备和实例上传的流量和丢包指标存入离线表中；具体地，所述离线表中数据是按照小时为分区，每个分区的数据独立存储、读取，存储前进行数据预处理，包括排序、去重、填充缺失值等；
监控引擎模块：输入设备和实例所属多条时序数据，结合对应的监控规则，实时计算时序数据是否满足监控规则条件，即是否数据异常，对满足条件的监控规则发出告警；
时序数据预测模块：每隔固定周期对云网络数据进行时序预测，获取预测结果，并将预测结果和实际结果输入监控引擎模块，用于生成数据异常；
时序数据异常检测模块：在实时计算引擎中对于数据异常进行基于拓扑的异常检测，生成高准确率的数据异常，发出告警；
告警响应模块：运维人员对于发出的告警事件进行故障响应、根因定义和故障处理，保障云网络设备和实例的稳定运行。
本发明的有益效果是：
在第一阶段，使用轻量、高召回率的基于动态窗口的时序预测方法初步识别数据异常，但是为了覆盖千万量级的云网络设备和实例数据，使用的算法复杂度不高，难以捕获全部时序特征，因为该阶段输出的数据异常存在较多误报；
在第二阶段，使用复杂、高准确率的基于拓扑的异常检测方法，对第一阶段生成的数据异常进行精细化特征提取和分类，得到高准确率的数据异常，最后进行告警通知，减少误报对运维人员的干扰，提升运维效率。
附图说明
图1是本发明实施例提供的云网络多阶段异常检测方法流程图；
图2是本发明实施例提供的云网络多阶段异常检测***结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本申请实施例提出的一种云网络多阶段异常检测方法，具体实现可以分为3个步骤。
(1)设备和设备上实例的时序数据都是实时数据，因此先对时序数据进行归档，将实时数据转换为离线数据，具体是每小时触发一次归档，将一小时内的数据保存为离线表，接着将时序按照周、天、小时粒度周期性拆分为子时序，虽然时序数据因为业务特性整体存在周期性，但是业务本身存在变化，体现在时间轴上会存在分钟级的左、右偏移，所以选择使用DTW算法计算子时序间的相似度，来避免时序数据时间轴上的微小偏移带来的相似度的巨大误差，计算得到相似度为0-1之间的连续值，接着根据相似度设置计算包络的窗口长度，相似度越高，窗口长度越短，相似度越低，窗口长度越长，窗口长度为[5,60]之间的离散值，然后对相似度进行等宽分箱，将分箱后的相似度映射到窗口长度，获取实际的窗口长度，最后根据窗口长度使用极值算法进行上、下包络提取，具体是采用滑动窗口在时序数据上滑动提取包络值，上包络使用极大值，下包络使用极小值，这样可以提取到时序数据的上、下包络；
(2)上一步获取的时序数据的上、下包络作为时序预测算法STL的输入，这里同时预测过去3小时数据和未来3小时数据，并基于过去3小时预测数据和过去3小时实际数据进行交叉验证，计算平均绝对百分比误差，该值为0-1之间的连续值表示预测结果的置信度，平均绝对百分比误差越大则预测置信度越低，平均绝对百分比误差越小则预测置信度越高，基于此对于未来3小时的预测结果进行缩放，缩放系数等于平均绝对百分比误差，接着每分钟对比实际值和缩放后的预测包络，生成预测算法对应的数据异常；
(3)上一步获取的数据异常，因为需要覆盖海量云网络数据，算法的性能要求很高、复杂度较低，无法提取时序全部的特征，因此存在较多的误报，这一步需要减少误报，首先获取数据异常所属云网络组件类型，并提取对应的拓扑关系，将数据异常关联起来，构成拓扑图，接着使用图嵌入学习算法Node2Vec获取拓扑图节点和边的嵌入向量表示，到这里将数据异常转换为向量表示，然后将嵌入向量输入LSTM模型中，具体模型结构为(Input,LSTM,LSTM,LSTM,Dense,Output)，其中Input层为全连接层，接收输入的嵌入向量，LSTM用于提取时序的长短期特征，Dense层进行维度转换，Output层为激活函数，最后实现二分类，将数据异常分为真异常和假异常，对真异常进行告警通知，运维人员对告警进行应急响应。
如图2所示，提供一种基于上述云网络多阶段异常检测方法实现的云网络多阶段异常检测***实施例，该***包括以下模块：
时序数据存储模块：云网络设备和实例上传的流量和丢包指标，根据所述实例信息将所述流量和丢包指标存入离线表中，所述离线表为大数据技术中常用的HDFS表，其中数据是按照小时为分区，每个分区的数据独立存储、读取，存储前数据先做好预处理，包括排序、去重、填充缺失值等；
监控引擎模块：输入设备和实例所属多条时序数据，结合对应的监控规则，实时计算时序数据是否满足监控规则条件，即是否数据异常，对满足条件的监控规则发出告警，告警信息包含设备和实例对象、告警时间、告警等级等信息；
时序数据预测模块：每隔固定周期T，一般为3小时，对云网络千万全量数据进行时序预测，获取未来3小时和历史3小时数据的预测结果，并将预测结果和实际结果输入监控引擎模块，用于生成数据异常；
时序数据异常检测模块：在实时计算引擎Blink中对于数据异常进行复杂的、高准确率的二阶段异常检测，具体算法封装为用户自定义函数，在实时数据处理过程中，进行异常检测，生成高准确率的数据异常，发出告警；
告警响应模块：运维人员对于发出的告警事件进行故障响应、根因定义和故障处理，保障云网络设备和实例的稳定运行。
本申请实施例在ODPS和Blink平台上实现了生产***，并测试验证了方法效果，可以覆盖云网络数十种不同的产品组件，本申请实施例也可以适用于云网络更多的转发面、控制面平台。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (9)
1.一种云网络多阶段异常检测方法，其特征在于，包括以下步骤：
S1：使用基于动态窗口的时序预测方法覆盖云网络设备和实例进行异常检测，先将设备和实例的时序数据进行归档，接着基于云网络数据周期性特征，计算不同周期子时序间相似度，根据相似度设置窗口长度，并根据窗口长度使用极值算法提取时序的上、下包络；
S2：对提取到的上、下包络使用自适应的STL算法对历史数据和未来数据进行时序预测，并基于历史实际数据和历史预测数据的误差计算缩放系数，用缩放系数对上、下包络未来预测数据进行自适应调节，定时对比云网络设备和实例指标的实际值和缩放后的上、下包络预测数据生成数据异常；
S3：对S2生成的数据异常进行基于拓扑的异常检测，具体是根据异常所属的设备和实例构成的拓扑关系生成拓扑图，将具有拓扑关系的数据异常聚合，并使用图卷积神经网络进行嵌入学习获取数据异常对应的嵌入向量，再将嵌入向量输入到深度学习模型进行二分类，分类结果包括真异常和假异常，最后对真异常进行告警通知。
2.根据权利要求1所述的方法，其特征在于，将设备和实例的时序数据进行归档，具体为进行排序、去重、缺失值填充，每一条时序数据是<t,v>键值对组成的数组，其中t为时间戳，v为采集的设备和实例的流量或丢包数据。
3.根据权利要求1所述的方法，其特征在于，根据云网络数据周期性特征将长时序划分为子时序，并使用DTW算法计算子时序间的相似度，根据相似度设置窗口长度，并根据窗口长度使用极值算法提取时序的上、下包络，其中上包络使用窗口内的极大值，下包络使用窗口内的极小值。
4.根据权利要求1所述的方法，其特征在于，将历史实际数据和历史预测数据的平均绝对百分比误差作为缩放系数，对未来预测结果进行对应的缩放，实现预测自适应调节。
5.根据权利要求1所述的方法，其特征在于，获取云网络设备和实例间的拓扑关系，根据数据采集、数据加工的数据流图构建拓扑图，并用三元组<h,r,t>进行表示，其中h为头节点，t为尾节点，r为节点间关系。
6.根据权利要求1所述的方法，其特征在于，使用图卷积神经网络对设备和实例的拓扑图进行嵌入表示，具体是使用Node2Vec将拓扑图中的节点和边表示为相同维度的嵌入向量。
7.根据权利要求1所述的方法，其特征在于，将嵌入向量输入到深度学习模型进行二分类，具体是将嵌入向量输入到LSTM模型，模型结构为(Input,LSTM,LSTM,LSTM,Dense,Output)，其中Input层为全连接层，接收输入的嵌入向量，LSTM用于提取时序的长短期特征，Dense层进行维度转换，Output层为激活函数，用于实现二分类。
8.一种基于权利要求1-7中任一项所述方法实现的云网络多阶段异常检测***，其特征在于，包括以下模块：
时序数据存储模块：将云网络设备和实例上传的流量和丢包指标存入离线表中；
监控引擎模块：输入设备和实例所属多条时序数据，结合对应的监控规则，实时计算时序数据是否满足监控规则条件，即是否数据异常，对满足条件的监控规则发出告警；
时序数据预测模块：每隔固定周期对云网络数据进行时序预测，获取预测结果，并将预测结果和实际结果输入监控引擎模块，用于生成数据异常；
时序数据异常检测模块：在实时计算引擎中对于数据异常进行基于拓扑的异常检测，生成高准确率的数据异常，发出告警；
告警响应模块：运维人员对于发出的告警事件进行故障响应、根因定义和故障处理，保障云网络设备和实例的稳定运行。
9.根据权利要求8所述的***，其特征在于，所述时序数据存储模块中，所述离线表中数据是按照小时为分区，每个分区的数据独立存储、读取，存储前进行数据预处理，包括排序、去重、填充缺失值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310704295.XA CN116662828B (zh) | 2023-06-14 | 2023-06-14 | 云网络多阶段异常检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310704295.XA CN116662828B (zh) | 2023-06-14 | 2023-06-14 | 云网络多阶段异常检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116662828A true CN116662828A (zh) | 2023-08-29 |
| CN116662828B CN116662828B (zh) | 2023-12-29 |
Family
ID=87710382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310704295.XA Active CN116662828B (zh) | 2023-06-14 | 2023-06-14 | 云网络多阶段异常检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662828B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190068467A1 (en) * | 2017-08-22 | 2019-02-28 | Bank Of America Corporation | Cloud Network Stability |
| CN109558416A (zh) * | 2018-11-07 | 2019-04-02 | 北京先进数通信息技术股份公司 | 一种异常交易的检测方法、装置及存储介质 |
| CN114615019A (zh) * | 2022-02-15 | 2022-06-10 | 北京云集智造科技有限公司 | 基于微服务拓扑关系生成的异常检测方法与*** |
| CN115277464A (zh) * | 2022-05-13 | 2022-11-01 | 清华大学 | 基于多维时间序列分析的云网络变更流量异常检测方法 |
| CN115412422A (zh) * | 2022-08-08 | 2022-11-29 | 浪潮云信息技术股份公司 | 一种动态窗口调整*** |
| CN115454778A (zh) * | 2022-09-27 | 2022-12-09 | 浙江大学 | 大规模云网络环境下的时序指标异常智能监控*** |
| CN115514614A (zh) * | 2022-11-15 | 2022-12-23 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
-
2023
- 2023-06-14 CN CN202310704295.XA patent/CN116662828B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190068467A1 (en) * | 2017-08-22 | 2019-02-28 | Bank Of America Corporation | Cloud Network Stability |
| CN109558416A (zh) * | 2018-11-07 | 2019-04-02 | 北京先进数通信息技术股份公司 | 一种异常交易的检测方法、装置及存储介质 |
| CN114615019A (zh) * | 2022-02-15 | 2022-06-10 | 北京云集智造科技有限公司 | 基于微服务拓扑关系生成的异常检测方法与*** |
| CN115277464A (zh) * | 2022-05-13 | 2022-11-01 | 清华大学 | 基于多维时间序列分析的云网络变更流量异常检测方法 |
| CN115412422A (zh) * | 2022-08-08 | 2022-11-29 | 浪潮云信息技术股份公司 | 一种动态窗口调整*** |
| CN115454778A (zh) * | 2022-09-27 | 2022-12-09 | 浙江大学 | 大规模云网络环境下的时序指标异常智能监控*** |
| CN115514614A (zh) * | 2022-11-15 | 2022-12-23 | 阿里云计算有限公司 | 基于强化学习的云网络异常检测模型训练方法及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| ANDREW MASON等: "Online Anomaly Detection of Time Series at Scale", 《2019 INTERNATIONAL CONFERENCE ON CYBER SITUATIONAL AWARENESS, DATA ANALYTICS AND ASSESSMENT (CYBER SA)》, pages 1 - 8 * |
| CHENGQIANG HUANG等: "Time Series Anomaly Detection for Trustworthy Services in Cloud Computing Systems", 《IEEE TRANSACTIONS ON BIG DATA》, vol. 8, no. 1, pages 60 - 72, XP011897651, DOI: 10.1109/TBDATA.2017.2711039 * |
| 寇广;汤光明;王硕;宋海涛;边媛;: "深度学习在僵尸云检测中的应用研究", 通信学报, no. 11, pages 114 - 128 * |
| 王少峰;: "云网络环境大文件传输异常中断问题解析", 中国金融电脑, no. 09, pages 67 - 69 * |
| 金波;: "关于网络异常流量检测算法的研究与改进", 计算机与数字工程, no. 06, pages 1440 - 1449 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116662828B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7433401B2 (ja) | 動的電力潮流モデルを用いた電力系統制御 | |
| CN110995475B (zh) | 一种基于迁移学习的电力通信网故障检测方法 | |
| CN111177095A (zh) | 日志分析方法、装置、计算机设备及存储介质 | |
| CN111539550B (zh) | 光伏阵列工作状态的确定方法、装置、设备及存储介质 | |
| CN111047082A (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
| CN112611936B (zh) | 一种基于边缘计算的配网变压器故障动态检测与分类*** | |
| CN111368890A (zh) | 故障检测方法及装置、信息物理融合*** | |
| US20210088563A1 (en) | Signature identification for power system events | |
| CN113176948B (zh) | 边缘网关、边缘计算***及其配置方法 | |
| CN112968816A (zh) | 通过流量异常检测筛选物联网设备异常的方法及*** | |
| CN111414957A (zh) | 一种基于PCA算法和XGBoost算法的D-PMU扰动分类方法 | |
| CN116662828B (zh) | 云网络多阶段异常检测方法及*** | |
| CN116319038A (zh) | 一种电网数据流未知异常自动化检测方法 | |
| CN111461915A (zh) | 一种光伏电厂运行实时信息管理***及管理方法 | |
| Dridi et al. | Deep learning semantic compression: Iot support over lora use case | |
| CN115423041A (zh) | 一种基于深度学习的边缘云故障预测方法及*** | |
| CN114936808A (zh) | 一种面向变电站故障检测的云边协同任务管理***及方法 | |
| Tran et al. | An improved sensor anomaly detection method in iot system using federated learning | |
| CN114330500A (zh) | 基于storm平台的电网电力设备在线并行诊断方法及*** | |
| Rosenlund et al. | Clustering and dimensionality-reduction techniques applied on power quality measurement data | |
| Ji et al. | Integrated Generative Adversarial Network and XGBoost for Anomaly Processing of Massive Data Flow in Dispatch Automation Systems. | |
| Bellagente et al. | Applying Automatic System Log Analysis to Industrial Automation Systems for IoT Integration | |
| Islam et al. | Unsupervised clustering of disturbances in power systems via deep convolutional autoencoders | |
| Lv et al. | Informer-based anomaly detection for internet tv service in home network | |
| Zhang et al. | A Fault Diagnosis Method for Electrical Equipment With Imbalanced SCADA Data Based on SMOTE Oversampling and Domain Adaptation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |