CN112508243B - 电力信息***多故障预测网络模型的训练方法及装置 - Google Patents
电力信息***多故障预测网络模型的训练方法及装置 Download PDFInfo
- Publication number
- CN112508243B CN112508243B CN202011338529.6A CN202011338529A CN112508243B CN 112508243 B CN112508243 B CN 112508243B CN 202011338529 A CN202011338529 A CN 202011338529A CN 112508243 B CN112508243 B CN 112508243B
- Authority
- CN
- China
- Prior art keywords
- samples
- sample
- training
- minority
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003062 neural network model Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 30
- 230000003321 amplification Effects 0.000 claims description 24
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000000644 propagated effect Effects 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000035755 proliferation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 20
- 238000002474 experimental method Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 210000002364 input neuron Anatomy 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Educational Administration (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了电力信息***多故障预测网络模型的训练方法及装置,包括:获取时间序列的告警数据集,对所述告警数据集进行数据增强,得到增强的训练样本集;基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型。本发明通过对原始数据集进行数据增强处理,实现数据特征均衡,基于数据增强后的训练样本集进行模型训练拟合得到的多故障预测网络模型具备更高的预测精度和更稳定的预测效果。
Description
技术领域
本发明涉及机器学习技术领域,具体涉及电力信息***多故障预测网络模型的训练方法及装置。
背景技术
面对电力信息***愈加复杂化的发展趋势,传统电力信息***面临着稳定性下降的巨大挑战。一方面,***种类的增多和网络规模的扩大,使得对所有***的管理维护越来越困难;另一方面,随着传输技术的不断演进,数据传输对信道环境,调制格式等的要求不断提高,一些非线性的参数变量被引入,这使得对单一节点的运行状态评估难度呈指数级增长。然而,当发生节点或链路故障时,***需要庞大的计算量进行异常处理和业务调度,以得出合适的解决方案。通常算力越强,计算时间越长,解决方案的有效性越高。其中算力的提高需要庞大的资金投入,对运营商或企业来说是很大的负担。因此,基于***状态准确评估的***故障预测,对电力信息***稳定性提升至关重要。
以深度学习为代表的人工智能技术具有强特征学习能力特点,能够完成复杂问题的精准分析和预测,比较适合于提升电力信息***故障预测的有效性。然而在使用深度学习进行特征学习的过程中,数据集中的类别分布存在较大差异,会导致深度学习算法会倾向于将所有的样本都预测为多数类,这就导致对少数类样本的预测准确率很低。
发明内容
针对上述现有技术存在的问题,本发明提供了一种电力信息***多故障预测网络模型的训练方法,包括如下步骤:
获取时间序列的告警数据集,所述告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型;
对所述告警数据集进行数据增强,得到增强的训练样本集;
基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型。
作为上述方案的进一步优化,所述对告警数据集进行数据增强,包括:
将告警数据集按照预设时间段进行划分,并在不同时间段内抽取不同数量的告警数据汇总得到第一样本集;
在第一样本集的基础上,将第一样本集中的少数类样本进行繁衍扩增得到第二样本集;
基于第二样本集进行数据扩增得到所述训练样本集。
作为上述方案的进一步优化,所述在不同时间段内抽取不同数量的告警数据作为训练样本的方法为:从当前时间段n到逐渐远离当前时间段的历史时间段内抽取的告警数据数量以指数倍减少。
作为上述方案的进一步优化,所述对少数类样本进行繁衍扩增,包括如下步骤:
对于每个少数类样本,根据所述少数类样本容易被错误判断为多数类样本的可能性,按照预设算法获取每个少数类样本应该繁衍扩增的样本数量;
根据所述少数类样本容易被错误判断为多数类样本的可能性等级,将每个少数类样本分到同一可能性等级的集合中;
根据每个少数类样本所属集合种类,采用对应的繁衍扩增方法进行扩增;
对所有少数类样本进行繁衍扩增后,判断新生成的少数类样本是否为噪声样本,若是则删除所述噪声样本。
作为上述方案的进一步优化,所述每个少数类样本容易被错误判断为多数类样本的可能性程度,根据少数类样本的K邻近样本中多数类样本的数量m确定,每个少数类样本应该繁衍扩增的样本数量为:
获取第一样本集中所有少数类样本需要繁衍扩增的新样本总数G为:G=D1-D2,其中D1为第一样本集中多数类样本总数,D2为第一样本集中少数类样本总数;
作为上述方案的进一步优化,所述将每个少数类样本分到同一可能性等级的集合,包括:
对于第一集合少数类样本的繁衍扩增方法为:对于集合中的所有少数类样本Xi,从其K邻近样本中随机选取一个样本点Xj,在Xi和Xj之间的线段上进行线性插值生成新样本;
对于第二集合少数类样本的繁衍扩增方法为:对于集合中的所有少数类样本,基于每个少数类样本的K邻近样本中同类样本所占比例大小匹配有不同大小的选择概率区间,基于(0,1)随机生成函数生成的数值,匹配对应概率区间及其对应的少数类样本,以选中的少数类样本Xi的K个邻近样本中任选一个样本Xj,在以Xi为中心,Xi和Xj的距离为半径的空间内进行插值,插值完成后对于新生成的少数类样本若的1邻近样本中多数类样本数量多于少数类样本,则删除
对于第三集合少数类样本的繁衍扩增方法为:对于集合中的每个少数类样本Xi,将Xi的K个邻近样本中任选一个样本Xj,在以Xi为中心,Xi和Xj的距离为半径的空间内进行插值,插值完成后对于新生成的少数类样本若的1邻近样本中多数类样本数量多于少数类样本,则删除
作为上述方案的进一步优化,所述基于所述输入样本对预设神经网络进行训练,获取训练的电力信息***多故障预测结果,包括:在训练过程中,对网络模型中至少一层隐藏层的神经元的激活值按照预设激活值分布需求进行修正。
作为上述方案的进一步优化,所述对隐藏层网络的神经元的激活值进行修正包括:
将一层所有神经元的激活值表示为m*n的二维矩阵;
基于二维矩阵通过卷积核进行两次高通滤波;
基于高通滤波后的激活值分布与预设的激活值分布的差异融合到模型训练的损失函数中进行模型训练。
本发明还提供了电力信息***多故障预测网络模型的训练装置,包括:
数据集获取单元,用于获取时间序列的告警数据集,所述告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型;
数据增强单元,用于对所述告警数据集进行数据增强,得到增强的训练样本集;
训练样本对获取单元,用于基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
训练单元,用于基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型。
本发明的电力信息***多故障预测网络模型的训练方法及装置,具备如下有益效果:
1、通过对原始数据集进行数据增强处理,实现数据特征均衡,基于数据增强后的训练样本集进行模型训练拟合得到的多故障预测网络模型具备更高的预测精度和更稳定的预测效果。
2、在数据增强处理过程中,先通过对不同历史时间段抽取不同数量的数据作为训练数据集,以从样本选择的角度进行数据增强,使得训练样本数据中从历时间越久远的历史样本,从中所抽取的训练样本量也越少,充分利用有价值的特征信息,提高网络模型的预测能力。然后通过对少数类样本进行繁衍扩增,以平衡少数类样本和多数类样本的样本数,使得网络模型在训练过程中能够均衡的从多数类样本和少数类样本中提取准确信息,提高网络模型的预测准确性,最后通过将平衡后的数据进行生成对抗模型的数据增强,扩增训练数据集,避免网络模型过拟合的问题。
3、在对少数类样本进行繁衍扩增过程中,基于少数类样本的邻近样本中多数类样本的分布情况,分为多种类别,分别经过不同的繁衍扩增方法繁衍扩增不同的数据量,使得新生成的样本分布更加合理,使得样本分布更加均衡,进而提高了网络模型的预测能。
附图说明
图1是本发明实施例的电力信息***多故障预测网络模型的训练方法的流程图;
图2是本发明实施例的电力信息***多故障预测网络模型的训练装置结构框图;
图3是本发明实施例中实验中,在ASAD测试集上两种模型的预测准确率变化情况;
图4是本发明实施例中实验中,在USAD测试集上两种模型的预测准确率变化情况;
图5是本发明实施例中实验中,两种拟合模型的Loss函数值变化图;
图6是本发明实施例中实验中,基于五个数据集的模型的损失函数值在训练过程中的变化图;
图7是本发明实施例中实验中,基于五个数据集的模型的预测准确率在训练过程中的变化趋势;
图8是本发明实施例中实验中,基于五个数据集的模型的不同类型告警预测错误分布图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本实施例提供的电力信息***多故障预测网络模型的训练方法,包括如下步骤:
获取时间序列的告警数据集,该告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型等属性数据;
对告警数据集进行数据增强,得到增强的训练样本集;
基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型,在本实施例中,预设的神经网络模型采用全连接神经网络模型。
考虑到要在此模型中训练的原始数据存在数据缺失、数据不连续、数据冗杂、数据集特征分布不均衡等数据质量问题,本实施例中设计了面向渐变数据和突变数据等的数据增强算法。数据增强是深度学习相关领域的一项通用技术,例如,在图像识别领域,小型仿射变换、几何变换、随机分割/缩放是较为常见的数据增强方法;在自然语言处理(NLP)领域,常见的数据增强方法包括同义词替换等。然而,在网络故障预测中还没有引入相关数据增强的方法,本实施例中运用数据增强法对原始数据进行处理,以便在模型训练中提高训练效率。
具体的,上述对告警数据集进行数据增强,包括如下(a1)-(a3)步骤:
(a1)将告警数据集按照预设时间段进行划分,并在不同时间段内抽取不同数量的告警数据汇总得到第一样本集,该抽取告警数据的方法为:
从当前时间段n到逐渐远离当前时间段的历史时间段内抽取的告警数据数量以指数倍减少,具体的可采用以下公式进行告警数据抽取,其中,Tn-1为从历史时间段中抽取的作为训练样本的告警数据量,n为当前的时间段,k为历史的时间段,Sk为k时间段所需预测的数据量。
(a2)在第一样本集的基础上,将第一样本集中的少数类样本进行繁衍扩增得到第二样本集,以平衡少数类样本和多数类样本的样本数,同时在繁衍扩增过程中对于噪声样本检测去除,该噪声样本是指在一个样本的K邻近样本中同类样本极少或者没有同类样本,则该样本为噪声样本;
(a3)基于第二样本集进行数据扩增得到所述训练样本集,本实施例中,基于第一样本集的扩增解决了少数类样本和多数类样本的样本数不平衡的问题,然后对于样本数平衡后的数据同时进行数据增强,该步骤可以通过构建增强网络比如生成对抗网络GAN进行数据扩增,以解决神经网络的训练数据不足的问题,同时提高神经网络模型的泛化能力。
上述对第一样本集中的少数类样本进行繁衍扩增,包括如下步骤:
(b1)对于每个少数类样本Xi,根据所述少数类样本容易被错误判断为多数类样本的可能性,按照预设算法获取每个少数类样本应该繁衍扩增的样本数量,该可能性采用少数类样本的K邻近样本中多数类样本的数量m确定,m越大,少数类样本Xi被错误判断为多数类样本的可能性越大,根据m值的大小匹配少数类样本Xi应该繁衍扩增的样本数量;
(b2)然后根据所述少数类样本容易被错误判断为多数类样本的可能性等级,将每个少数类样本分到同一可能性等级的集合中,具体的,集合划分方法为:若m=0,则划分到第一集合中;若则划分到第二集合中;若则划分到第三集合中;其中,Kcount为Xi的K邻近样本总数;
(b3)根据每个少数类样本所属集合种类,采用对应的繁衍扩增方法进行扩增;
(b4)对所有少数类样本进行繁衍扩增后,判断新生成的少数类样本是否为噪声样本,若是则删除所述噪声样本。
具体的,上述(b1)中第一样本集中每个少数类样本需要繁衍扩增的新样本数量确定方法为:
获取第一样本集中所有少数类样本需要繁衍扩增的新样本总数G为:G=D1-D2,其中D1为第一样本集中多数类样本总数,D2为第一样本集中少数类样本总数;
本实施例中,通过以m为变量应该繁衍扩增的样本数量的分布函数,来确定不同少数类样本Xi的K邻近样本中多数类样本的数量m值对应应该繁衍扩增的样本数量,该分布函数在某一m值处有一极值点,极值点位于整个分布函数的左侧,在极值点左侧,函数值随着m的增大迅速增加,在极值点右侧,函数值随着m的增大缓慢减小,符合随着m值的增大,繁衍扩增的样本数量应该先快速增加,后缓慢减小的规律,以分布函数极值点为中心,分别向左右两侧分析,向左侧,少数类样本Xi的K邻近样本中多数类样本的数量m值越小,说明K邻近样本中少数类样本的数量越多,越容易被正确分类,因此不必繁衍扩增很多样本数量,向右侧,少数类样本Xi的K邻近样本中多数类样本的数量m值越大,越不容易被正确分类,同时也越有可能是噪声样本,所以不必繁衍扩增很多样本数量以造成噪声样本的扩增。
上述(b3)中,根据每个少数类样本所属集合种类,采用对应的繁衍扩增方法进行扩增,具体方法包括:
对于第一集合少数类样本的繁衍扩增方法为:对于集合中的所有少数类样本Xi,从其K邻近样本中随机选取一个样本点Xj,在Xi和Xj之间的线段上进行线性插值生成新样本,该线性插值可利用公式:Xnew=Xi+rand(0,1)|Xj-Xi|,其中Xnew为新生成样本;
对于第二集合少数类样本的繁衍扩增方法为:
对于集合中的所有少数类样本,基于每个少数类样本的K邻近样本中同类样本所占比例大小匹配有不同大小的选择概率区间,该步骤中,可采用以下公式进行计算每个少数类样本Xi的选择概率区间,其中si为每个少数类样本的K邻近样本中同类样本所占比例大小。
基于(0,1)随机生成函数生成的数值,匹配对应概率区间及其对应的少数类样本,
以选中的少数类样本Xi的K个邻近样本中任选一个样本Xj,在以Xi为中心,Xi和Xj的距离为半径的空间内进行插值,插值完成后对于新生成的少数类样本若的1邻近样本中多数类样本数量多于少数类样本,则为噪声样本,删除
对于第三集合少数类样本的繁衍扩增方法为:对于集合中的每个少数类样本Xi,将Xi的K个邻近样本中任选一个样本Xj,在以Xi为中心,Xi和Xj的距离为半径的空间内进行插值,插值完成后对于新生成的少数类样本若的1邻近样本中多数类样本数量多于少数类样本,则删除
本实施例中,基于所述输入样本对预设神经网络进行训练,获取训练的电力信息***多故障预测结果,包括:在训练过程中,为了避免训练过程中过拟合现象发生,对网络模型中至少一层隐藏层的神经元的激活值按照预设激活值分布需求进行修正,优选的预设激活值分布为
在本实施例中,对隐藏层网络的神经元的激活值进行修正包括:
将一层所有神经元的激活值表示为m*n的二维矩阵,例如一层的神经元个数为1024个,则可以按照32*32的二维矩阵将每个神经元的激活值表示;
基于二维矩阵通过卷积核进行两次高通滤波;
本实施例还提供了电力信息***多故障预测网络模型的训练装置,包括:
数据集获取单元,用于获取时间序列的告警数据集,所述告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型;
数据增强单元,用于对所述告警数据集进行数据增强,得到增强的训练样本集;
训练样本对获取单元,用于基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
训练单元,用于基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型。
基于上述实施例提供的电力信息***多故障预测网络模型的训练方法,结合具体实验进行效果验证。
利用上述实施例中的数据增强方法处理原始数据集获取增强后的训练样本集,再进行预设的电力信息***多故障预测网络模型训练,基于训练完成的网络模型分别进行告警和非告警预测能力的评估,以及对于各类告警预测能力的评估。
为了评估数据增强前后网络模型对告警与非告警的预测能力,基于原始告警数据集,一份不进行数据增强处理,记为未增强单一告警数据集(Unaugmented Single AlarmDataset,USAD),一份通过本实施例提供的数据增强方法进行数据增强,记为增强单一告警数据集(Augmented Single Alarm Dataset,ASAD),基于数据集USAD和ASAD分别进行模型训练验证,如表1所示为USAD数据集和ASAD数据集分别在训练集和测试集上的数目分配,一般测试集和训练集的比例为1:4。
表1两种IN_PWR_LOW告警数据集数目表
数据集 | 训练集数目 | 测试集数目 |
ASAD | 800 | 200 |
USAD | 26 | 6 |
利用增强算法得到的数据集ASAD的训练集有800条数据、测试集有200条数据。数据集USAD均来自真实网管数据,其训练集有26条数据、测试集有6条数据。
在训练过程中,应用于数据集ASAD和USAD的全连接神经网络模型参数相同,是经过大量的尝试,最终确定的一组性能最优而且最稳定的网络结构和参数设置。网络结构的输入神经元个数为36个,由12个最大性能值、12个当前性能值和12个最小性能值组成;输出神经元个数为2,表示未来15~30分钟内是否发生该告警;隐藏层为2层,每层神经元个数分别是64,128。激活函数为ReLU,损失函数以均方误差MSE为基础加上上述的激活值差异函数,优化算法为SGD,一次迭代所使用的样本数Batch size大小为4,训练轮回次数epoch为100,学习率恒定为1e-2。全连接神经网络FCNet分别在数据集USAD和数据集ASAD上训练拟合得到的两个故障预测模型在此称做USAD拟合模型和ASAD拟合模型,本组实验分别对这两个拟合模型在两种测试数据集上进行验证,对比结果如图3和图4所示,图3和图4为区域图,显示了两种拟合模型在100个epoch(模型迭代次数)上的故障预测准确率变化,阴影面积展示了预测准确率的对比。如图3所示,用ASAD测试集对两种拟合模型进行模型验证,ASAD拟合模型的预测精度比USAD拟合模型高5.5%,ASAD拟合模型的预测精度可达99%,USAD拟合模型的预测精度最大可达93.5%,但从图4可观测到,即使在模型训练轮回的后期,USAD拟合模型的预测精度仍在10%范围上下波动。如图4所示,用USAD测试集对两种拟合模型进行模型验证,ASAD拟合模型和USAD拟合模型都可以达到100%的精度。但ASAD拟合模型在两个epoch之后预测准确率已达到稳定值,具有更快的学习速率。然而,USAD拟合模型在前二十个epoch内预测准确率表现出明显波动。综上,用ASAD数据集进行模型训练拟合得到的全连接神经网络模型比USAD拟合模型具备更高的预测精度和更稳定的预测效果。
此外,模型训练时损失函数值的变化也可以反映拟合模型的性能。如图5所示,随着模型迭次数的增加,ASAD拟合模型的训练损失值比USAD拟合模型下降得快。且从模型训练开始,ASAD拟合模型的损失值始终低于USAD拟合模型,且波动范围非常小,更加稳定。综上,ASAD拟合模型比USAD拟合模型具有更快的模型收敛速度。
对于各类告警预测能力的评估,在本实验的原始数据集中,每条告警与3小时前15分钟监测周期的12条性能事件数据关联,因此每条告警数据与12组性能数据对应。其中,性能事件数据分为最大性能值、最小性能值以及当前性能值三类,经过验证,这三类数据对于模型预测告警均有效。本实验中同时选择这三类性能-告警数据集合的合集作为原始数据集。
在本组实验中,设定数据集的模型输入是长度为13的数组,该数组第一个元素表示所判断告警的类别,取值0,0.5,1分别对应三类告警类型;剩下12个元素则表示告警对应的性能事件的当前性能值。数据集的输出为one-hot编码的长度为2的二分类数组,10表示告警将要发生,01表示告警不会发生。在原始数据集基础上,利用数据增强算法将原始数据集增强,作为有告警的异常数据集(label 1),并分别依据上文所述的方法筛选对应数目的非告警数据集合,分别作为无告警的正常数据集(label 0)。
利用故障预测模型中的数据增强算法将上述原始数据增强后的所有告警数据的数据集合定义为Full集合(label 1和label 0各159条,共318条),在此基础上分别将每一类告警数据裁减至原来的75%,50%,以及25%,从而得到三个更小的数据集。称原始数据集为未增强多告警数据集(Unaugmented Multi-Alarm Dataset,UMAD),Full集合及其裁剪集均为增强多告警裁减数据集(Augmented Multi-Alarm Cutted Dataset,AMACD),分别称为AMACD(100%),AMACD(75%),AMACD(50%),AMACD(25%)。
同样,在本组实验中经过大量尝试,最终确定了一组性能最优且最稳定的网络结构和参数设置。网络结构的输入神经元个数为13个,由1个告警类型标识和12个当前性能值组成;输出神经元个数为2个,分别表示未来15~30分钟内是否发生该告警的可能性;隐藏层为3层,每层神经元个数分别是64,64,96。激活函数为ReLU,损失函数以均方误差MSE为基础加上上述的激活值差异函数,优化算法为SGD,一次迭代所使用的样本数Batch size大小为4,学习率恒定为5e-3。其中用于这五类模型的对比验证测试集取自Full集合。
如图6所示,随着训练的推进,五个数据集上的损失函数值逐渐降低。3000次迭代以后基本稳定在0.1之下,这表明所有模型均在训练数据集上收敛。但是收敛程度不同,其中AMACD(25%)收敛最差,AMACD(50%)和AMACD(100%)次之,AMACD(75%)和UMAD的拟合模型收敛效果最好。
图7显示了随着训练的进行,五个数据集上的模型的预测准确率的变化趋势。UMAD数据集模型的最高精度为82.81%,高于AMACD(50%)和AMACD(25%),低于AMACD(75%)模型的准确率87.50%和AMACD(100%)的准确率85.94%。可以得到,相比于AMACD数据集上的最优模型(75%),性能改善最多为4.69%。这表明在增强数据集上,深度学习算法确实可以更快速准确地学习到告警的数据特征。然而,AMACD(25%)和AMACD(50%)的表现反而更差的现象说明对数据的过多删减会使得数据特征更加模糊;AMACD(100%)的表现反而不如AMACD(75%)的新现象说明过多的增强数据会引入过高的高斯噪声,从而扰乱数据的特征分布,使得深度学习算法的学习能力下降。
为了进一步分析性能提升的原因,如图8所示,UMAD模型没有误预测IN_PWR_LOW告警,表明它在不平衡数据集上完美地学***衡的方式学习特征。
本发明不局限于上述具体的实施方式,本领域的普通技术人员从上述构思出发,不经过创造性的劳动,所做出的种种变换,均落在本发明的保护范围之内。
Claims (6)
1.电力信息***多故障预测网络模型的训练方法,其特征在于:包括如下步骤:
获取时间序列的告警数据集,所述告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型;
对所述告警数据集进行数据增强,得到增强的训练样本集;
基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型;
所述对告警数据集进行数据增强,包括:
将告警数据集按照预设时间段进行划分,并在不同时间段内抽取不同数量的告警数据汇总得到第一样本集;
在第一样本集的基础上,将第一样本集中的少数类样本进行繁衍扩增得到第二样本集;
基于第二样本集进行数据扩增得到所述训练样本集;
所述将第一样本集中的少数类样本进行繁衍扩增,包括如下步骤:
对于每个少数类样本,根据所述少数类样本容易被错误判断为多数类样本的可能性,按照预设算法获取每个少数类样本应该繁衍扩增的样本数量;
根据所述少数类样本容易被错误判断为多数类样本的可能性等级,将每个少数类样本分到同一可能性等级的集合中;
根据每个少数类样本所属集合种类,采用对应的繁衍扩增方法进行扩增;
对所有少数类样本进行繁衍扩增后,判断新生成的少数类样本是否为噪声样本,若是则删除所述噪声样本;
所述每个少数类样本容易被错误判断为多数类样本的可能性程度,根据少数类样本的K邻近样本中多数类样本的数量m确定,每个少数类样本应该繁衍扩增的样本数量为:
获取第一样本集中所有少数类样本需要繁衍扩增的新样本总数G为:G=D1-D2,其中D1为第一样本集中多数类样本总数,D2为第一样本集中少数类样本总数;
所述将每个少数类样本分到同一可能性等级的集合,包括:
对于第一集合少数类样本的繁衍扩增方法为:对于集合中的所有少数类样本Xi,从其K邻近样本中随机选取一个样本点Xj,在Xi和Xj之间的线段上进行线性插值生成新样本;
对于第二集合少数类样本的繁衍扩增方法为:对于集合中的所有少数类样本,基于每个少数类样本的K邻近样本中同类样本所占比例大小匹配有不同大小的选择概率区间,基于(0,1)随机生成函数生成的数值,匹配对应概率区间及其对应的少数类样本,以选中的少数类样本Xi的K个邻近样本中任选一个样本Xj,在以Xi为中心,Xi和Xj的距离为半径的空间内进行插值,插值完成后对于新生成的少数类样本若的1邻近样本中多数类样本数量多于少数类样本,则删除
2.根据权利要求1所述的电力信息***多故障预测网络模型的训练方法,其特征在于:在不同时间段内抽取不同数量的告警数据作为训练样本的方法为:从当前时间段n到逐渐远离当前时间段的历史时间段内抽取的告警数据数量以指数倍减少。
3.根据权利要求1所述的电力信息***多故障预测网络模型的训练方法,其特征在于:所述基于所述输入样本对预设神经网络进行训练,获取训练的电力信息***多故障预测结果,包括:在训练过程中,对网络模型中至少一层隐藏层的神经元的激活值按照预设激活值分布需求进行修正。
4.根据权利要求3所述的电力信息***多故障预测网络模型的训练方法,其特征在于:对隐藏层网络的神经元的激活值进行修正包括:
将一层所有神经元的激活值表示为m*n的二维矩阵;
基于二维矩阵通过卷积核进行两次高通滤波;
基于高通滤波后的激活值分布与预设的激活值分布的差异融合到模型训练的损失函数中进行模型训练。
6.根据权利要求1-5任一所述训练方法的电力信息***多故障预测网络模型的训练装置,其特征在于,包括:
数据集获取单元,用于获取时间序列的告警数据集,所述告警数据集的初始参数包括发生故障的设备元件名称、故障时间、故障类型;
数据增强单元,用于对所述告警数据集进行数据增强,得到增强的训练样本集;
训练样本对获取单元,用于基于训练样本集获取用于模型训练的输入样本和与输入样本对应的目标输出样本;
训练单元,用于基于所述输入样本、目标输出样本和预设的网络模型损失函数对预设的神经网络模型进行迭代训练,获取多故障预测网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011338529.6A CN112508243B (zh) | 2020-11-25 | 2020-11-25 | 电力信息***多故障预测网络模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011338529.6A CN112508243B (zh) | 2020-11-25 | 2020-11-25 | 电力信息***多故障预测网络模型的训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508243A CN112508243A (zh) | 2021-03-16 |
CN112508243B true CN112508243B (zh) | 2022-09-09 |
Family
ID=74958577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011338529.6A Active CN112508243B (zh) | 2020-11-25 | 2020-11-25 | 电力信息***多故障预测网络模型的训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508243B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988212B (zh) * | 2021-03-24 | 2022-09-13 | 厦门吉比特网络技术股份有限公司 | 神经网络模型之在线增量更新方法、装置、***及存储介质 |
CN113052338B (zh) * | 2021-03-31 | 2022-11-08 | 上海天旦网络科技发展有限公司 | 基于规则与模型增强的运维告警规则生成方法和*** |
CN113254435B (zh) * | 2021-07-15 | 2021-10-29 | 北京电信易通信息技术股份有限公司 | 一种数据增强方法及*** |
CN113837289B (zh) * | 2021-09-26 | 2024-03-19 | 创新奇智(重庆)科技有限公司 | 模型训练方法、故障预测方法、装置及电子设备 |
CN113807462B (zh) * | 2021-09-28 | 2023-07-04 | 中电福富信息科技有限公司 | 一种基于ai的网络设备故障原因定位方法及其*** |
CN114637847A (zh) * | 2022-03-15 | 2022-06-17 | 平安科技(深圳)有限公司 | 模型的训练方法、文本分类方法和装置、设备、介质 |
CN115310562B (zh) * | 2022-10-08 | 2022-12-30 | 深圳先进技术研究院 | 一种适用于极端状态的储能设备的故障预测模型生成方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228716A (zh) * | 2017-12-05 | 2018-06-29 | 华南理工大学 | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 |
CN108470187A (zh) * | 2018-02-26 | 2018-08-31 | 华南理工大学 | 一种基于扩充训练数据集的类别不平衡问题分类方法 |
CN109657858A (zh) * | 2018-12-17 | 2019-04-19 | 杭州电子科技大学 | 基于不平衡修正半监督学习的道边空气污染预测方法 |
CN111091201A (zh) * | 2019-12-23 | 2020-05-01 | 北京邮电大学 | 一种基于数据分区混合采样的不平衡集成分类方法 |
CN111507504A (zh) * | 2020-03-18 | 2020-08-07 | 中国南方电网有限责任公司 | 基于数据重采样的Adaboost集成学习电网故障诊断***及方法 |
CN111680726A (zh) * | 2020-05-28 | 2020-09-18 | 国网上海市电力公司 | 基于近邻成分分析和k近邻学习融合的变压器故障诊断方法和*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9037518B2 (en) * | 2012-07-30 | 2015-05-19 | Hewlett-Packard Development Company, L.P. | Classifying unclassified samples |
-
2020
- 2020-11-25 CN CN202011338529.6A patent/CN112508243B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228716A (zh) * | 2017-12-05 | 2018-06-29 | 华南理工大学 | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 |
CN108470187A (zh) * | 2018-02-26 | 2018-08-31 | 华南理工大学 | 一种基于扩充训练数据集的类别不平衡问题分类方法 |
CN109657858A (zh) * | 2018-12-17 | 2019-04-19 | 杭州电子科技大学 | 基于不平衡修正半监督学习的道边空气污染预测方法 |
CN111091201A (zh) * | 2019-12-23 | 2020-05-01 | 北京邮电大学 | 一种基于数据分区混合采样的不平衡集成分类方法 |
CN111507504A (zh) * | 2020-03-18 | 2020-08-07 | 中国南方电网有限责任公司 | 基于数据重采样的Adaboost集成学习电网故障诊断***及方法 |
CN111680726A (zh) * | 2020-05-28 | 2020-09-18 | 国网上海市电力公司 | 基于近邻成分分析和k近邻学习融合的变压器故障诊断方法和*** |
Non-Patent Citations (4)
Title |
---|
Grouped SMOTE With Noise Filtering Mechanism;KE CHENG;《IEEE》;20191122;第1-14页 * |
MSMOTE: Improving Classification Performance when Training Data is imbalanced;Shengguo Hu,etc;《2009 Second International Workshop on Computer Science and Engineering》;20091231;第1-5页 * |
不平衡数据分类方法综述;李艳霞;《控制与决策》;20190430;第34卷(第4期);第673-688页 * |
急性肾损伤早期预测方法;宋林等;《北京信息科技大学学报》;20151031;第30卷(第5期);第67-71、78页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112508243A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112508243B (zh) | 电力信息***多故障预测网络模型的训练方法及装置 | |
TWI769754B (zh) | 基於隱私保護確定目標業務模型的方法及裝置 | |
CN109145516B (zh) | 一种基于改进型极限学习机的模拟电路故障识别方法 | |
CN112862127B (zh) | 一种传感器数据的异常处理方法、装置、电子设备及介质 | |
CN111738520A (zh) | 一种融合孤立森林与长短期记忆网络的***负载预测方法 | |
CN116383912B (zh) | 一种提高控制精度的微型电机结构优化方法及*** | |
CN111931983A (zh) | 一种降水量预测方法及*** | |
CN115587543A (zh) | 基于联邦学习和lstm的刀具剩余寿命预测方法及*** | |
CN111898129B (zh) | 基于Two-Head异常检测模型的恶意代码样本筛选器及方法 | |
EP3745317A1 (en) | Apparatus and method for analyzing time series data based on machine learning | |
CN116542701A (zh) | 一种基于cnn-lstm组合模型的碳价预测方法及*** | |
CN112561180B (zh) | 基于元学习的短期风速预测方法、装置、计算机设备及存储介质 | |
CN111369072A (zh) | 一种基于稀疏化方法的核最小均方时间序列在线预测模型 | |
CN114897047B (zh) | 基于深度字典的多传感器数据漂移检测方法 | |
CN116400168A (zh) | 一种基于深度特征聚类的电网故障诊断方法及*** | |
CN114265764A (zh) | 一种基于带权重采样的深度学习算子测试数据生成方法 | |
CN110929849B (zh) | 一种基于神经网络模型压缩的视频检测方法和装置 | |
CN113139332A (zh) | 一种自动化模型构建方法、装置及设备 | |
CN114091021A (zh) | 一种用于电力企业安全防护的恶意代码检测方法 | |
CN113011476B (zh) | 基于自适应滑动窗口gan的用户行为安全检测方法 | |
Abbas et al. | An adaptive evolutionary algorithm for Volterra system identification | |
CN117637063B (zh) | 一种水质测量方法、装置、设备和存储介质 | |
US20240054369A1 (en) | Ai-based selection using cascaded model explanations | |
US20240104436A1 (en) | Chained feature synthesis and dimensional reduction | |
CN113435113B (zh) | 一种电力***暂态稳定评估方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |