CN117149581A - 一种基于关联规则算法的异常信息分析预警方法及*** - Google Patents
一种基于关联规则算法的异常信息分析预警方法及*** Download PDFInfo
- Publication number
- CN117149581A CN117149581A CN202311314874.XA CN202311314874A CN117149581A CN 117149581 A CN117149581 A CN 117149581A CN 202311314874 A CN202311314874 A CN 202311314874A CN 117149581 A CN117149581 A CN 117149581A
- Authority
- CN
- China
- Prior art keywords
- rule
- data
- algorithm
- early warning
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims abstract description 18
- 230000005856 abnormality Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 16
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000005065 mining Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013499 data model Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013178 mathematical model Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012731 temporal analysis Methods 0.000 claims description 2
- 238000000700 time series analysis Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于关联规则算法的异常信息分析预警方法及***，涉及电力异常信息预警技术领域，包括：从电力监控设备中收集原始数据，进行数据清洗、归一化处理，采用时序数据库存储处理后的原始数据；使用关联规则算法对原始数据进行分析，生成关联规则；基于所述关联规则，建立电力***正常行为的标准规则；实时监控当前电力数据流，与已建立的正常行为规则进行对比；根据实际运行结果，优化行为规则。本发明提供的基于关联规则算法的异常信息分析预警方法提高了异常检测的准确性和效率，通过自动学习和更新规则，使得***能够适应不断变化的数据模式，根据异常的严重性和影响范围，生成有针对性的预警，帮助操作员快速做出决策。
Description
技术领域
本发明涉及电力异常信息预警技术领域，具体为一种基于关联规则算法的异常信息分析预警方法及***。
背景技术
在电力***监控中，实时数据流的异常检测和预警是至关重要的。传统的异常检测方法主要依赖于固定的阈值或经验规则，这些方法可能无法准确地捕获到复杂的、非线性的异常模式。此外，随着电力***的复杂性增加，数据的维度和速度也在增加，这使得实时异常检测变得更加困难。
因此亟需一种基于关联规则算法的异常信息分析预警方法解决现有存在的在实时数据流中准确、高效地检测异常，自动地从大量的数据中学习和更新异常检测规则，根据不同的异常模式生成有针对性的预警的问题。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的异常检测方法存在固定阈值和经验规则可能无法准确捕获复杂异常模式的问题，以及如何在大数据环境下实时、自动地学习和更新异常检测规则的问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于关联规则算法的异常信息分析预警方法，包括：从电力监控设备中收集原始数据，进行数据清洗、归一化处理，采用时序数据库存储处理后的原始数据；使用关联规则算法对原始数据进行分析，生成关联规则；基于所述关联规则，建立电力***正常行为的标准规则；实时监控当前电力数据流，与已建立的正常行为规则进行对比；根据实际运行结果，优化行为规则。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述收集原始数据包括利用IoT技术，连接电力监控设备，实时提取功率、电压、电流和设备状态；
所述数据清洗包括识别损坏或丢失的数据点，使用时间序列分析平滑数据；
所示归一化处理表示为，
其中，RZi表示第i个数据点的鲁棒Z-score值，xi表示第i个观察到的数据点，表示数据的加权中位数，σ表示数据的加权标准偏差，∈表示常数，tanh表示双曲正切函数，κ表示调节参数。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述对原始数据进行分析包括分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分；
所述建立电力***正常行为的标准规则包括使用Apriori算法，在每个数据窗口内挖掘频繁模式，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分小于等于第一阈值且大于第二阈值判断为中层数据，若规则评分小于等于第二阈值判断为底层数据，当判断为高层数据时使用数据进行实时监控，当判断为中层数据时将中层数据构建数据集，计算中层数据的余弦相似度，使用K-means聚类算法合并规则，再次进行规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分仍小于等于第一阈值，判断为中层数据，当判断为低层数据时，将数据存档，预设时间定期检查，若定分规则变化修改评分等级，通过历史数据集，评估低层规则的潜在价值。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述进行对比包括使用IQR方法，实时监测数据流中的异常值，对于每个检测到的异常值，进行归一化处理，当检测到异常时，使用高层规则进行匹配，使用高层规则匹配算法计算数据模型高层匹配规则的权重相似度，若相似度大于等于0.9，判断为匹配成功，执行预警策略，若相似度小于0.9使用中层规则进行匹配；
所述高层规则匹配算法表示为，
其中，w(X)表示项集X的权重，α表示权重系数，wi表示项集X中第i个项的权重，e表示自然对数的底，β表示衰减参数，ti表示项集X中第i个项的时间戳，log表示自然对数函数，ρ表示正则化参数。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述使用中层规则进行匹配包括使用中层规则匹配算法计算数据模型中层匹配规则的权重相似度，若相似度大于等于0.8，判断为匹配成功，执行预警策略，若相似度小于0.8使用低层规则进行匹配；
所述中层规则匹配算法表示为，
其中，K(x,y)表示核函数，e表示自然对数的底，γ表示核函数的宽度参数，p表示Minkowski距离的参数，θ表示sigmoid函数的斜率参数。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述使用低层规则进行匹配包括使用低层规则匹配算法计算数据模型低层匹配规则的权重相似度，若相似度大于等于0.6，判断为匹配成功，执行预警策略，若相似度小于0.6将异常数据点标记未匹配超过数据，储存详细信息，生成未超过匹配预警进行人工干预，将未匹配超过数据生成数据集通过未匹配算法进行分析寻找匹配规则；
所述低层规则匹配算法表示为，
其中，DTW(X,Y)表示动态时间弯曲值，min表示最小化操作，d(xi,yj)表示数据点xi和yj之间的距离，λ表示正则化参数，q表示Minkowski距离的参数，sin表示正弦函数，ω表示频率参数。
作为本发明所述的基于关联规则算法的异常信息分析预警方法的一种优选方案，其中：所述优化行为规则包括对于所有匹配成功的异常，记录其详细信息，并根据其严重性和影响范围生成预警，通过优化评估算法评估匹配成功的规则的结果D，并根据评估结果对规则进行微调；
若D大于等于预设第三阈值，判断为得分高，保留当前得分规则；
若D小于预设第三阈值且大于等于预设第四阈值，判断为得分中，当两项及两项以上得分规则具有相似度大于预设第五阈值，执行合并规则；
若D小于预设第四阈值，当两项及两项以上得分规则具有相似度大于等于预设第六阈值，执行合并规则，若相似度小于预设第六阈值判断为得分低，剔除当前规则，执行重构规则策略；
所述优化评估算法表示为，
f(N)＝βP(N)-(1-β)C(N)r×arctan(ζN)
其中，f(N)表示神经网络N的评估函数值，β表示权重系数，P(N)表示神经网络N的性能度量，C(N)表示神经网络N的复杂度，r表示用于调整对网络复杂度的惩罚的参数，arctan表示反正切函数，ζ表示调节参数。
本发明的另外一个目的是提供一种基于关联规则算法的异常信息分析预警***，其能通过自动学习和更新异常检测规则，解决了实时、准确地检测电力***异常的问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于关联规则算法的异常信息分析预警***，包括：数据处理模块、关联规则挖掘模块、异常检测模块以及反馈优化模块；所述数据处理模块用于从电力监控设备中收集原始数据，进行清洗，将处理后的数据存储在时序数据库中；所述关联规则挖掘模块用于分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分，使用Apriori算法，结合相关数学模型，对数据窗口内的频繁模式进行挖掘，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分低于设定阈值，进行剔除；所述异常检测模块用于实时监控电力数据流，使用高层、中层和低层规则与实时数据进行匹配，判断数据模式与规则的相似度，当检测到异常时，生成预警；所述反馈优化模块用于持续收集新的电力数据，并与现有的关联规则进行对比，基于新数据和异常检测结果，对现有规则进行微调
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述基于关联规则算法的异常信息分析预警方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述基于关联规则算法的异常信息分析预警方法的步骤。
本发明的有益效果：本发明提供的基于关联规则算法的异常信息分析预警方法提高了异常检测的准确性和效率，通过自动学习和更新规则，使得***能够适应不断变化的数据模式，根据异常的严重性和影响范围，生成有针对性的预警，帮助操作员快速做出决策。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种基于关联规则算法的异常信息分析预警方法的整体流程图。
图2为本发明第二个实施例提供的一种基于关联规则算法的异常信息分析预警***的整体结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种基于关联规则算法的异常信息分析预警方法，包括：
从电力监控设备中收集原始数据，进行数据清洗、归一化处理，采用时序数据库存储处理后的原始数据。
使用关联规则算法对原始数据进行分析，生成关联规则。
基于关联规则，建立电力***正常行为的标准规则。
实时监控当前电力数据流，与已建立的正常行为规则进行对比。
根据实际运行结果，优化行为规则。
收集原始数据包括利用IoT技术，连接电力监控设备，实时提取功率、电压、电流和设备状态。
数据清洗包括识别损坏或丢失的数据点，使用时间序列分析平滑数据。
所示归一化处理表示为，
其中，RZi表示第i个数据点的鲁棒Z-score值，xi表示第i个观察到的数据点，表示数据的加权中位数，σ表示数据的加权标准偏差，∈表示常数，tanh表示双曲正切函数，κ表示调节参数。
对原始数据进行分析包括分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分。
建立电力***正常行为的标准规则包括使用Apriori算法，在每个数据窗口内挖掘频繁模式，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分小于等于第一阈值且大于第二阈值判断为中层数据，若规则评分小于等于第二阈值判断为底层数据，当判断为高层数据时使用数据进行实时监控，当判断为中层数据时将中层数据构建数据集，计算中层数据的余弦相似度，使用K-means聚类算法合并规则，再次进行规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分仍小于等于第一阈值，判断为中层数据，当判断为低层数据时，将数据存档，预设时间定期检查，若定分规则变化修改评分等级，通过历史数据集，评估低层规则的潜在价值。
进行对比包括使用IQR方法，实时监测数据流中的异常值，对于每个检测到的异常值，进行归一化处理，当检测到异常时，使用高层规则进行匹配，使用高层规则匹配算法计算数据模型高层匹配规则的权重相似度，若相似度大于等于0.9，判断为匹配成功，执行预警策略，若相似度小于0.9使用中层规则进行匹配。
高层规则匹配算法表示为，
其中，w(X)表示项集X的权重，α表示权重系数，wi表示项集X中第i个项的权重，e表示自然对数的底，β表示衰减参数，ti表示项集X中第i个项的时间戳，log表示自然对数函数，ρ表示正则化参数。
高层匹配规则涵盖了大多数常见的正常和异常模式。选择权重相似度作为数学模型，模型捕捉数据中的时间、频率和重要性，确保高层规则能够覆盖大部分的数据模式，还考虑了数据的时间衰减，确保最近的数据有更大的权重，在电力***中，最近的数据往往更能反映***的当前状态，通过给予最近的数据更大的权重，我们可以确保规则更加关注当前的***状态，从而提高预警的准确性和及时性。
使用中层规则进行匹配包括使用中层规则匹配算法计算数据模型中层匹配规则的权重相似度，若相似度大于等于0.8，判断为匹配成功，执行预警策略，若相似度小于0.8使用低层规则进行匹配。
中层规则匹配算法表示为，
其中，K(x,y)表示核函数，e表示自然对数的底，γ表示核函数的宽度参数，p表示Minkowski距离的参数，θ表示sigmoid函数的斜率参数。
中层匹配规则涉及到更具体的模式或场景，确保规则的精确性和特异性，选择核相似度作为数学模型，捕捉数据中的非线性关系，确保中层规则能够准确地匹配特定的数据模式，还考虑了数据的非线性特性，确保规则能够捕捉到电力***中的非线性变化，功率和电压之间的关系可能是非线性的。传统的线性相似度度量方法无法准确地捕捉这些非线性关系。核相似度可以捕捉数据中的非线性关系，确保中层规则能够准确地匹配特定的数据模式。确保规则更加准确地反映电力***中的实际情况，从而提高预警的准确性。
使用低层规则进行匹配包括使用低层规则匹配算法计算数据模型低层匹配规则的权重相似度，若相似度大于等于0.6，判断为匹配成功，执行预警策略，若相似度小于0.6将异常数据点标记未匹配超过数据，储存详细信息，生成未超过匹配预警进行人工干预，将未匹配超过数据生成数据集通过未匹配算法进行分析寻找匹配规则。
低层规则匹配算法表示为，
其中，DTW(X,Y)表示动态时间弯曲值，min表示最小化操作，d(xi,yj)表示数据点xi和yj之间的距离，λ表示正则化参数，q表示Minkowski距离的参数，sin表示正弦函数，ω表示频率参数。
低层匹配规则是具体的，通常涉及到特定的异常模式，确保规则的细致性和深入性，选择动态时间扭曲作为数学模型，捕捉时间序列中的时间偏移，确保低层规则能够准确地匹配时间上有偏移的数据模式，考虑了时间序列的动态变化，确保规则能够捕捉到电力***中的动态异常，电力***中的数据是时间序列数据，其状态是随时间动态变化的。传统的时间序列相似度度量方法无法准确地捕捉时间上有偏移的数据模式。DTW可以捕捉时间序列中的时间偏移，确保低层规则能够准确地匹配时间上有偏移的数据模式。确保规则更加准确地反映电力***中的实际情况，从而提高预警的准确性。
优化行为规则包括对于所有匹配成功的异常，记录其详细信息，并根据其严重性和影响范围生成预警，通过优化评估算法评估匹配成功的规则的结果D，并根据评估结果对规则进行微调。
若D大于等于预设第三阈值，判断为得分高，保留当前得分规则。
若D小于预设第三阈值且大于等于预设第四阈值，判断为得分中，当两项及两项以上得分规则具有相似度大于预设第五阈值，执行合并规则。
若D小于预设第四阈值，当两项及两项以上得分规则具有相似度大于等于预设第六阈值，执行合并规则，若相似度小于预设第六阈值判断为得分低，剔除当前规则，执行重构规则策略。
优化评估算法表示为，
f(N)＝βP(N)-(1-β)C(N)r×arctan(ζN)
其中，f(N)表示神经网络N的评估函数值，β表示权重系数，P(N)表示神经网络N的性能度量，C(N)表示神经网络N的复杂度，r表示用于调整对网络复杂度的惩罚的参数，arctan表示反正切函数，ζ表示调节参数。
实施例2
参照图2，为本发明的一个实施例，提供了一种基于关联规则算法的异常信息分析预警***，包括：
数据处理模块、关联规则挖掘模块、异常检测模块以及反馈优化模块。
数据处理模块用于从电力监控设备中收集原始数据，进行清洗，将处理后的数据存储在时序数据库中。
关联规则挖掘模块用于分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分，使用Apriori算法，结合相关数学模型，对数据窗口内的频繁模式进行挖掘，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分低于设定阈值，进行剔除。
异常检测模块用于实时监控电力数据流，使用高层、中层和低层规则与实时数据进行匹配，判断数据模式与规则的相似度，当检测到异常时，生成预警。
反馈优化模块用于持续收集新的电力数据，并与现有的关联规则进行对比，基于新数据和异常检测结果，对现有规则进行微调。
实施例3
本发明的一个实施例，其不同于前两个实施例的是：
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
实施例4
为本发明的一个实施例，提供了一种基于关联规则算法的异常信息分析预警方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
实验环境：硬件：标准的服务器配置，16核CPU、64GB RAM、1TB SSD。
数据集：收集电力监控设备的原始数据，包括正常数据和各种已知的异常数据。
对收集的原始数据进行数据清洗、归一化处理，使用传统方法对数据进行异常检测。记录检测的结果，包括检测到的异常数量、类型、检测时间。
使用本发明的方法对数据进行异常检测。记录检测的结果，包括检测到的异常数量、类型、检测时间、规则的自动更新情况，实验结果如表1所示。
表1实验结果对比表
基于上述实验结果，本发明方法在准确率、召回率和F1分数上都显著优于传统方法。本发明方法的***响应时间更短，实时性更好。本发明方法还具有规则的自动更新能力，而传统方法则没有这一功能。
本发明基于关联规则算法的异常信息分析预警方法在异常检测的准确性、***的实时性和规则的自动优化能力上都明显优于传统方法。在实际应用中，本发明方法可以更快、更准确地检测到异常，同时还能自动优化规则，使得***在长时间运行后仍能保持高效和准确。这种自适应性和长期稳定性是传统方法所不具备的，为电力***的稳定运行提供了强大的保障。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于关联规则算法的异常信息分析预警方法，其特征在于，包括：
从电力监控设备中收集原始数据，进行数据清洗、归一化处理，采用时序数据库存储处理后的原始数据；
使用关联规则算法对原始数据进行分析，生成关联规则；
基于所述关联规则，建立电力***正常行为的标准规则；
实时监控当前电力数据流，与已建立的正常行为规则进行对比；
根据实际运行结果，优化行为规则。
2.如权利要求1所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述收集原始数据包括利用IoT技术，连接电力监控设备，实时提取功率、电压、电流和设备状态；
所述数据清洗包括识别损坏或丢失的数据点，使用时间序列分析平滑数据；
所示归一化处理表示为，
其中，RZi表示第i个数据点的鲁棒Z-score值，xi表示第i个观察到的数据点，表示数据的加权中位数，σ表示数据的加权标准偏差，∈表示常数，tanh表示双曲正切函数，κ表示调节参数。
3.如权利要求2所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述对原始数据进行分析包括分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分；
所述建立电力***正常行为的标准规则包括使用Apriori算法，在每个数据窗口内挖掘频繁模式，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分小于等于第一阈值且大于第二阈值判断为中层数据，若规则评分小于等于第二阈值判断为底层数据，当判断为高层数据时使用数据进行实时监控，当判断为中层数据时将中层数据构建数据集，计算中层数据的余弦相似度，使用K-means聚类算法合并规则，再次进行规则评分，若规则评分大于第一阈值判断为高层数据，若规则评分仍小于等于第一阈值，判断为中层数据，当判断为低层数据时，将数据存档，预设时间定期检查，若定分规则变化修改评分等级，通过历史数据集，评估低层规则的潜在价值。
4.如权利要求3所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述进行对比包括使用IQR方法，实时监测数据流中的异常值，对于每个检测到的异常值，进行归一化处理，当检测到异常时，使用高层规则进行匹配，使用高层规则匹配算法计算数据模型高层匹配规则的权重相似度，若相似度大于等于0.9，判断为匹配成功，执行预警策略，若相似度小于0.9使用中层规则进行匹配；
所述高层规则匹配算法表示为，
其中，w(X)表示项集X的权重，α表示权重系数，wi表示项集X中第i个项的权重，e表示自然对数的底，β表示衰减参数，ti表示项集X中第i个项的时间戳，log表示自然对数函数，ρ表示正则化参数。
5.如权利要求4所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述使用中层规则进行匹配包括使用中层规则匹配算法计算数据模型中层匹配规则的权重相似度，若相似度大于等于0.8，判断为匹配成功，执行预警策略，若相似度小于0.8使用低层规则进行匹配；
所述中层规则匹配算法表示为，
其中，K(x,y)表示核函数，e表示自然对数的底，γ表示核函数的宽度参数，p表示Minkowski距离的参数，θ表示sigmoid函数的斜率参数。
6.如权利要求5所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述使用低层规则进行匹配包括使用低层规则匹配算法计算数据模型低层匹配规则的权重相似度，若相似度大于等于0.6，判断为匹配成功，执行预警策略，若相似度小于0.6将异常数据点标记未匹配超过数据，储存详细信息，生成未超过匹配预警进行人工干预，将未匹配超过数据生成数据集通过未匹配算法进行分析寻找匹配规则；
所述低层规则匹配算法表示为，
其中，DTW(X,Y)表示动态时间弯曲值，min表示最小化操作，d(xi,yj)表示数据点xi和yj之间的距离，λ表示正则化参数，q表示Minkowski距离的参数，sin表示正弦函数，ω表示频率参数。
7.如权利要求6所述的基于关联规则算法的异常信息分析预警方法，其特征在于：所述优化行为规则包括对于所有匹配成功的异常，记录其详细信息，并根据其严重性和影响范围生成预警，通过优化评估算法评估匹配成功的规则的结果D，并根据评估结果对规则进行微调；
若D大于等于预设第三阈值，判断为得分高，保留当前得分规则；
若D小于预设第三阈值且大于等于预设第四阈值，判断为得分中，当两项及两项以上得分规则具有相似度大于预设第五阈值，执行合并规则；
若D小于预设第四阈值，当两项及两项以上得分规则具有相似度大于等于预设第六阈值，执行合并规则，若相似度小于预设第六阈值判断为得分低，剔除当前规则，执行重构规则策略；
所述优化评估算法表示为，
f(N)＝βP(N)-(1-β)C(N)r×arctan(ζN)
其中，f(N)表示神经网络N的评估函数值，β表示权重系数，P(N)表示神经网络N的性能度量，C(N)表示神经网络N的复杂度，r表示用于调整对网络复杂度的惩罚的参数，arctan表示反正切函数，ζ表示调节参数。
8.一种采用如权利要求1～7任一所述的基于关联规则算法的异常信息分析预警方法的***，其特征在于，包括：数据处理模块、关联规则挖掘模块、异常检测模块以及反馈优化模块；
所述数据处理模块用于从电力监控设备中收集原始数据，进行清洗，将处理后的数据存储在时序数据库中；
所述关联规则挖掘模块用于分析电力***的运行特点，决定时间窗口的大小和偏移量，对数据进行滑动窗口划分，使用Apriori算法，结合相关数学模型，对数据窗口内的频繁模式进行挖掘，根据挖掘到的频繁模式生成关联规则，并为每条规则评分，若规则评分低于设定阈值，进行剔除；
所述异常检测模块用于实时监控电力数据流，使用高层、中层和低层规则与实时数据进行匹配，判断数据模式与规则的相似度，当检测到异常时，生成预警；
所述反馈优化模块用于持续收集新的电力数据，并与现有的关联规则进行对比，基于新数据和异常检测结果，对现有规则进行微调。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于关联规则算法的异常信息分析预警方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于关联规则算法的异常信息分析预警方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311314874.XA CN117149581A (zh) | 2023-10-11 | 2023-10-11 | 一种基于关联规则算法的异常信息分析预警方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311314874.XA CN117149581A (zh) | 2023-10-11 | 2023-10-11 | 一种基于关联规则算法的异常信息分析预警方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117149581A true CN117149581A (zh) | 2023-12-01 |
Family
ID=88900938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311314874.XA Pending CN117149581A (zh) | 2023-10-11 | 2023-10-11 | 一种基于关联规则算法的异常信息分析预警方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117149581A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118041993A (zh) * | 2024-04-15 | 2024-05-14 | 华南师范大学 | 一种基于会计数据的多端设备传输方法及*** |
-
2023
- 2023-10-11 CN CN202311314874.XA patent/CN117149581A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118041993A (zh) * | 2024-04-15 | 2024-05-14 | 华南师范大学 | 一种基于会计数据的多端设备传输方法及*** |
| CN118041993B (zh) * | 2024-04-15 | 2024-06-14 | 华南师范大学 | 一种基于会计数据的多端设备传输方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109818942B (zh) | 一种基于时序特征的用户帐号异常检测方法及装置 | |
| US11005872B2 (en) | Anomaly detection in cybersecurity and fraud applications | |
| US20200379868A1 (en) | Anomaly detection using deep learning models | |
| Wang et al. | A two-step parametric method for failure prediction in hard disk drives | |
| AU2017274576B2 (en) | Classification of log data | |
| CN109753591B (zh) | 业务流程预测性监控方法 | |
| Lai et al. | Online pattern matching and prediction of incoming alarm floods | |
| CN112966259B (zh) | 电力监控***运维行为安全威胁评估方法及设备 | |
| CN117149581A (zh) | 一种基于关联规则算法的异常信息分析预警方法及*** | |
| CN111966569A (zh) | 硬盘健康度评估方法和装置、计算机可读存储介质 | |
| WO2019160003A1 (ja) | モデル学習装置、モデル学習方法、プログラム | |
| CN117094184B (zh) | 基于内网平台的风险预测模型的建模方法、***及介质 | |
| CN113935440A (zh) | 一种电压互感器误差状态迭代评估方法及*** | |
| CN117131110B (zh) | 一种基于关联分析的容性设备介质损耗监测方法及*** | |
| Dong | Combining unsupervised and supervised learning for asset class failure prediction in power systems | |
| CN114399321A (zh) | 一种业务***稳定性分析方法、装置和设备 | |
| CN115935286A (zh) | 铁路轴承状态监测数据的异常点检测方法、装置及终端 | |
| Zhang et al. | Robust KPI anomaly detection for large-scale software services with partial labels | |
| CN116379360A (zh) | 一种基于知识迁移的掺氢天然气管道损伤预测方法及*** | |
| CN116610938A (zh) | 曲线模式分段的半导体制造无监督异常检测方法及设备 | |
| Oliveira-Santos et al. | Combining classifiers with decision templates for automatic fault diagnosis of electrical submersible pumps | |
| CN113822336A (zh) | 一种云硬盘故障预测方法、装置、***及可读存储介质 | |
| CN116451194B (zh) | 一种基于客户端行为特征的人机校验模型及方法 | |
| CN112016800A (zh) | 一种基于有效性指标的特征选择方法与*** | |
| CA3035539A1 (en) | Systems and methods for measuring collected content significance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |