CN111523661B - 基于信息熵、自期望的电力安全作业神经元网络优化方法 - Google Patents

基于信息熵、自期望的电力安全作业神经元网络优化方法 Download PDF

Info

Publication number
CN111523661B
CN111523661B CN202010316066.7A CN202010316066A CN111523661B CN 111523661 B CN111523661 B CN 111523661B CN 202010316066 A CN202010316066 A CN 202010316066A CN 111523661 B CN111523661 B CN 111523661B
Authority
CN
China
Prior art keywords
input
matrix
neural network
self
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010316066.7A
Other languages
English (en)
Other versions
CN111523661A (zh
Inventor
曾锦松
许佳庆
施宇翔
许志永
肖靖
刘海沧
连哲勇
谢亦苒
洪建林
郭丽慧
潘贤栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Lide Group Co ltd
Original Assignee
Xiamen Lide Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Lide Group Co ltd filed Critical Xiamen Lide Group Co ltd
Priority to CN202010316066.7A priority Critical patent/CN111523661B/zh
Publication of CN111523661A publication Critical patent/CN111523661A/zh
Application granted granted Critical
Publication of CN111523661B publication Critical patent/CN111523661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于信息熵、自期望的电力安全作业神经元网络优化方法。本发明方法将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。

Description

基于信息熵、自期望的电力安全作业神经元网络优化方法
技术领域
本发明涉及一种基于信息熵、自期望的电力安全作业神经元网络优化方法。
背景技术
神经元网络的训练是一种调整网络权值的过程，目前基于梯度下降的反向传播是主要方法。但是在我们的电力前端检测的实践中我们发现，这样的训练算法已经无法满足要求，特别是电力监控要求训练和推理要同时进行，快速迭代模型，减少数据标注和人工核验的重复工作，而现有的电力作业监控中，训练时不能进行推理，推理时不能进行训练。训练和推理过程是分开的。在实际使用中要等待训练新的模型，然后才能进行推理。在实践中，训练数据量要大，依赖人工标注，推理后需要人工核验。因此，如图1所示的目前传统的神经元网络模型迭代速度比较慢，面对新的问题无法有效解决。需要一种可以边训练边推理的网络模型。
发明内容
本发明的目的在于解决电力作业领域监控中训练和推理分离导致监控设备实用性差的问题，提供一种基于信息熵、自期望的电力安全作业神经元网络优化方法，将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。
为实现上述目的，本发明的技术方案是：一种基于信息熵、自期望的电力安全作业神经元网络优化方法，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000011
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
在本发明一实施例中，所述步骤S1中，将2维图片矩阵并归一化，即将2维图片矩阵除以255变成0到1之间。
在本发明一实施例中，所述步骤S2中，标签来源于外部评价与内部的其他评价神经元的输入。
相较于现有技术，本发明具有以下有益效果：本发明将训练和推理彻底合并，不需要分开训练和验证，训练时就在推理，推理时就在训练。
附图说明
图1为传统的神经元网络模型。
图2为本发明基于信息熵、自期望的电力安全作业神经元网络优化方法模型。
图3为本发明结构原理图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于信息熵、自期望的电力安全作业神经元网络优化方法，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000021
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
以下为本发明的具体实现过程。
基于梯度下降的反向传播算法的神经元网络训练方法，利用输出与真是输出之间的误差，利用反向传播算法逐个调整网络的权值。
反向传播的梯度下降优化方法实施过程：
A、用随机值初始化权重和偏差
B、把输入传入网络，得到输出值
C、计算预测值和真实值之间的误差
D、反向传播误差到每一个神经元，根据每一个产生误差的神经元，调整相应的(权重)值以减小误差(链式求导和步长的设置)
E、重复迭代，直至得到网络权重的最佳值
在电力作业监控中，为了提高精度需要不断训练和调整参数。训练时不能进行推理，推理时不能进行训练。训练和推理过程是分开的。在实际使用中要等待训练新的模型，然后才能进行推理。在实践中，训练数据量要大，依赖人工标注，推理后需要人工核验。如图1所示。
为解决电力作业领域监控中训练和推理分离导致监控设备实用性差的问题。
本发明提出了一种基于信息熵、自期望的电力安全作业神经元网络优化方法，如图2、3所示，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正太分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure BDA0002459485960000031
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；K可正可负；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
本发明方法改进了训练和推理的流程进行了合并，省去了人工标注与核验过程。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，包括如下步骤：
步骤S1、将电力作业现场的图片矩阵转换为2维图片矩阵并归一化；
步骤S2、将步骤S1归一化的2维图片矩阵拼接形成{xk,labelj}的二维矩阵数据；其中，k代表图片数据点数目，j代表标签分类的数目，m是代表神经元的输入数目，k+j＝m；
步骤S3、用随机正态分布初始化神经元网络的连接权重wi与神经元内部的预期向量pi；
步骤S4、推理同时将输入向量xi矩阵输入下式(1)得到偏差loss，并将输入向量xi输入到下式(2)得到输出y，根据y的输出判断是否有缺陷，若有则告警；
Figure FDA0003970049540000011
y＝f(xi) (2)
式中，xi是输入向量，pi是神经元内部的预期向量，pi为常量，wi是连接权重，f是激活函数；
步骤S5、利用偏差loss求wi偏导得到D；
步骤S6、将D乘以学习率L得到权重的增量K；
步骤S7、将当前wi(t)减去K得到新的wi(t+1)，其中，t代表当前时刻，t+1代表下一时刻；
步骤S8、依次重复迭代步骤S5至步骤S7，直到所有的权重都更新。
2.根据权利要求1所述的基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，所述步骤S1中，将2维图片矩阵并归一化，即将2维图片矩阵除以255变成0到1之间。
3.根据权利要求1所述的基于信息熵、自期望的电力安全作业神经元网络优化方法，其特征在于，所述步骤S2中，标签来源于外部评价与内部的其他评价神经元的输入。
CN202010316066.7A 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法 Active CN111523661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316066.7A CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316066.7A CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Publications (2)

Publication Number Publication Date
CN111523661A CN111523661A (zh) 2020-08-11
CN111523661B true CN111523661B (zh) 2023-03-24

Family

ID=71904094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316066.7A Active CN111523661B (zh) 2020-04-21 2020-04-21 基于信息熵、自期望的电力安全作业神经元网络优化方法

Country Status (1)

Country Link
CN (1) CN111523661B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN108200005A (zh) * 2017-09-14 2018-06-22 国网浙江省电力公司宁波供电公司 基于非监督学习的电力二次***网络流量异常检测方法
CN109961138A (zh) * 2017-12-14 2019-07-02 北京中科寒武纪科技有限公司 神经网络训练方法及相关产品
CN110163389A (zh) * 2019-05-27 2019-08-23 上海电气泰雷兹交通自动化***有限公司 运用于预见性维护管理中的神经元网络方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932480B (zh) * 2018-06-08 2022-03-15 电子科技大学 基于1d-cnn的分布式光纤传感信号特征学习与分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法
CN108200005A (zh) * 2017-09-14 2018-06-22 国网浙江省电力公司宁波供电公司 基于非监督学习的电力二次***网络流量异常检测方法
CN109961138A (zh) * 2017-12-14 2019-07-02 北京中科寒武纪科技有限公司 神经网络训练方法及相关产品
CN110163389A (zh) * 2019-05-27 2019-08-23 上海电气泰雷兹交通自动化***有限公司 运用于预见性维护管理中的神经元网络方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于粒子群算法的通信基站空调能效比参数辨识;郭会芳;《中国优秀硕士学位论文全文数据库》;20130615;全文 *

Also Published As

Publication number Publication date
CN111523661A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN110580496A (zh) 一种基于熵最小化的深度迁移学习***及方法
CN110707763B (zh) 一种基于集成学习的交直流配电网负荷预测方法
CN109766992B (zh) 基于深度学习的工控异常检测及攻击分类方法
CN111160620B (zh) 一种基于端到端记忆网络的短期风电功率预测方法
CN107636691A (zh) 用于识别图像中的文本的方法和设备
Chen et al. Deep neural network quantization via layer-wise optimization using limited training data
CN104217258B (zh) 一种电力负荷条件密度预测方法
CN112381316B (zh) 一种基于混合神经网络模型的机电设备健康状态预测方法
CN106778796A (zh) 基于混合式协同训练的人体动作识别方法及***
CN108446766A (zh) 一种快速训练堆栈自编码深度神经网络的方法
Xie et al. Imitation and transfer Q-learning-based parameter identification for composite load modeling
CN110866640A (zh) 一种基于深度神经网络的电力负荷预测方法
CN109359815A (zh) 基于生成对抗网络的智能电网深度学习训练样本生成方法
CN113988449A (zh) 基于Transformer模型的风电功率预测方法
US20180137409A1 (en) Method of constructing an artifical intelligence super deep layer learning model, device, mobile terminal, and software program of the same
CN105138976A (zh) 一种遗传小波神经网络的输电线路覆冰厚度识别方法
CN116307291B (zh) 一种基于小波分解的分布式光伏发电预测方法及预测终端
CN112365009A (zh) 一种基于深度学习网络的二次设备异常诊断方法
Ren et al. DLformer: A dynamic length transformer-based network for efficient feature representation in remaining useful life prediction
CN110991729A (zh) 一种基于迁移学习和多头注意力机制的负荷预测方法
CN111523661B (zh) 基于信息熵、自期望的电力安全作业神经元网络优化方法
Ballı et al. An application of artificial neural networks for prediction and comparison with statistical methods
CN117192378A (zh) 一种注意力机制耦合贝叶斯网络的锂电池soh估计方法
CN109325594A (zh) 一种改进cbr的电力通信现场运维辅助诊断方法
CN115293023A (zh) 一种基于深度信念网络的新能源出力场景生成方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant