CN111191559A - 基于时间卷积神经网络的架空线预警***障碍物识别方法 - Google Patents

基于时间卷积神经网络的架空线预警***障碍物识别方法 Download PDF

Info

Publication number
CN111191559A
CN111191559A CN201911356149.2A CN201911356149A CN111191559A CN 111191559 A CN111191559 A CN 111191559A CN 201911356149 A CN201911356149 A CN 201911356149A CN 111191559 A CN111191559 A CN 111191559A
Authority
CN
China
Prior art keywords
neural network
layer
input
output
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911356149.2A
Other languages
English (en)
Other versions
CN111191559B (zh
Inventor
田权
林岚
刘建锋
游雪芳
章忠
陆柏羽
周小娜
樊礼
偶晨
谢旭峰
周宇翔
杨佳欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Taishun Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Taishun Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, Taishun Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority to CN201911356149.2A priority Critical patent/CN111191559B/zh
Publication of CN111191559A publication Critical patent/CN111191559A/zh
Application granted granted Critical
Publication of CN111191559B publication Critical patent/CN111191559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于时间卷积神经网络的架空线预警***障碍物识别方法，包括以下步骤：构建的时间卷积模块，并采用ImageNet图像数据集对卷积网络模块进行预训练；构建双层长短期记忆神经网络模块，并将时间卷积神经网络模块的输出结果，输入到长短期记忆神经网络模块；利用Adam优化算法，求解长短期记忆神经网络模块权值与阀值，使模型达到收敛；利用网格搜索法进行神经网络超参数优化；将障碍物照片输入训练完成的神经网络，进行障碍物识别。本发明的优点是：通过上述方法，可以自动识别障碍物的种类，减少误报几率，判断是否为障碍物，极大的减少调度人员、巡线人员工作量，提高电网安全稳定性。

Description

基于时间卷积神经网络的架空线预警***障碍物识别方法
技术领域
本发明涉及基于时间卷积神经网络的架空线预警***障碍物识别方法。
背景技术
近年来我国经济持续快速发展，输电电压等级不断提高，电网的分布也越来越广，电力安全问题也表现的尤为突出。架空线路架设在地面之上，架设及维修比较方便，成本较低，但容易受到气象和环境(如大风、雷击、污秽、冰雪等)的影响而引起故障。对于长期暴露于空气中的部分架空线路，在植被茂盛区域穿行，时常因树木、鸟粪、鸟巢等导致单相接地、相间短路等现象时有发生，引起停电故障。
我国现在大力提倡提高电网自动化，减少工人工作量。我国现有的调度自动化***，具有高精度的通讯技术、高速准确的对策显示技术，使信息的收集和传输在精度、速度和可靠性方面都有很大提高，同时调度中心能正确、迅速且经济地在故障发生后采取决策。这种实时的监测数据上报和远传功能、快速的故障处理能力，为线路自动预警提供了用武之地。
当探测器发现线路安全距离内出现障碍物，则需要判断障碍物具体类型，以便调度通讯中心进一步制定安全方案，通知巡线工人有效处理障碍物。但目前预警***多采用激光测距，单纯测量线路安全距离，无法自动辨识障碍物类型，且仅根据距离无法有效判断障碍物是否切实危及线路安全，如飞鸟飞过和鸟类筑巢会产生相似距离，但对线路危害程度相差甚远。且当春季等动植物快速生长季节，预警***报警频率上升，误报警率提升。故若能自动判别障碍物类型，提高判别是否存在障碍物能力，可以极大减小调度人员、巡线工人工作量，提高电网安全稳定性，具有极强的现实意义。
发明内容
本发明的目的在于提供基于时间卷积神经网络的架空线预警***障碍物识别方法，能够有效解决现有方式无法识别架空线上障碍物的种类，造成多种误报的问题。
为了解决上述技术问题，本发明是通过以下技术方案实现的：基于时间卷积神经网络的架空线预警***障碍物识别方法，包括以下步骤：
步骤1：构建的时间卷积模块，并采用ImageNet图像数据集对卷积网络模块进行预训练；
步骤2：构建双层长短期记忆神经网络模块，并将步骤1中的时间卷积神经网络模块的输出结果，输入到长短期记忆神经网络模块；
步骤3：利用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值与阀值，使模型达到收敛；
步骤4：利用网格搜索法进行步骤3中神经网络超参数优化；
步骤5：将障碍物照片输入步骤4中训练完成的神经网络，进行障碍物识别。
优选的，所述步骤1中，时间卷积模块架构及预训练过程如下：
首先将一张输入图片按像素转化为矩阵，矩阵的元素为对应的像素值；将矩阵输入时间卷积模块，卷积层为对输入矩阵做卷积操作；输入矩阵输入卷积层，输出为：
Figure BDA0002335983770000031
式1中，Yij表示输出矩阵的第i行、第j列的元素，其中i∈(1,I)、j∈(1,J)；I,J表示输出矩阵的行数、列数；
Figure BDA00023359837700000313
表示激活函数，为已设定的超参数；B表示偏移值；Wn,m表示卷积核第n行、第m列的权值元素，其中n∈(1,N)、m∈(1,M)；N,M表示卷积核的行数、列数，为已设定的超参数；Xn+l,m+k表示输入矩阵第n+l行、第m+k列元素；
当输入矩阵经过卷积层处理后，使用权值规范化的方法，权值规范化把权重向量
Figure BDA0002335983770000032
分解为标量参数g和向量参数
Figure BDA0002335983770000033
Figure BDA0002335983770000034
式2中，g表示向量
Figure BDA0002335983770000035
的模值；
Figure BDA0002335983770000036
表示
Figure BDA0002335983770000037
的同向向量；
Figure BDA0002335983770000038
表示
Figure BDA0002335983770000039
的欧几里得范数；故是
Figure BDA00023359837700000310
与向量
Figure BDA00023359837700000311
同方向的单位向量；
当输入数据经过权值规范化处理后，采用激活层，选择ReLu函数为激活函数，激活函数ReLu计算公式如下：
ReLu(x)＝max(0,x) (3)
采用最大池化层进行下采样，降低卷积得到的特征图的数据量，池化层计算公式如下：
Figure BDA00023359837700000312
式4中，p,q分别为池化窗行、列数，t为池化窗移动步长是已设定的超参数，
Figure BDA0002335983770000041
为若干个被池化窗选中的输入矩阵元素，yij为输出矩阵第i行、第j列元素；
最后，将输入数据依次流经残差模块，进行对应处理完成时间卷积模块预训练。
优选的，所述步骤2中，构建双层长短期记忆神经网络模块，其过程如下：
首先将步骤1中输出结果输入第一层长短期记忆神经网络，长短期记忆神经网络具有独特的记忆模式，记忆单元的读取和修改通过对输入门、遗忘门和输出门的控制来实现，它们一般采用sigmoid或tanh函数进行描述；
记忆单元的工作流程如下：每一个时刻，记忆单元通过3个门接收当前状态xt和上一时刻网络的隐藏状态ht-1这2类外部信息的输入；此外，每一个门还接收一个内部信息输入，即记忆单元的状态ct-1；接收输入信息后，每一个门将对不同来源的输入进行运算，并且由其逻辑函数决定其是否激活；输入门的输入经过非线性函数的变换后，与遗忘门处理过的记忆单元状态进行叠加，形成新的记忆单元状态ct；最终，记忆单元状态ct通过非线性函数的运算和输出门的动态控制形成记忆单元的输出ht；各变量之间的计算公式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi) (5)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf) (6)
ct＝ftct-1+tanh(Wxcxt+Whcht-1+bc) (7)
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo) (8)
ht＝ottanh(ct) (9)
式中：Wxc、Wxi、Wxf、Wxo为连接输入信号xt的权重矩阵；Whc、Whi、Whf、Who为连接隐含层输出信号ht的权重矩阵；Wci、Wcf、Wco为连接神经元激活函数输出矢量ct和门函数的对角矩阵；bi、bf、bc、bo为阀值向量；σ为激活函数，为tanh函数；
当输入数据流经第一层长短期记忆神经网络，采用Dropout层对模型进行处理，采用Dropout层的计算公式如下：
Figure BDA0002335983770000051
公式10中，Bernoulli函数为伯努利二项分布函数，随机生成一个概率为p的0、1向量rij，Xij为输入矩阵的第i行、第j列元素，Wij为权值矩阵的第第i行、第j列元素，Bij为阀值矩阵的第i行、第j列元素，yij为输出矩阵第i行、第j列元素；
第二层长短期记忆神经网络与第一层原理相同，仅超参数不同。
优选的，所述步骤3中，使用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值和阀值，Adam优化算法通过以下三个步骤求解模型：
1)网络初始化：
用ωie表示输入层节点i到记忆单元节点e的权值，vie表示记忆单元节点i到Dropout层或Dropout层到输出层e的权值；用Ai表示第一、第二长短期记忆神经网络层第i个神经元的阈值，用Bk表示Dropout层神经元的阈值；给各权值分别赋一个区间[-1，1]内的随机数，设误差函数为e，计算精度值ε和最大学习次数M；
2)中间所有层输出函数计算：
设输入变量S＝(s1,s2,...,sa)，中间所有层，即Dropout层、第一长短期记忆神经网络层和第二长短期记忆神经网络层，其变量依次为Η＝(h1,h2,...,ht)，输出变量Ι＝i，期望输出变量O＝o，则节点输出为
Figure BDA0002335983770000052
式11中：t所有中间层的节点数；fi为激活函数；
3)输出计算：
根据中间层输出Η、连接权值vie和阈值b，计算神经网络预测输出I；计算公式为：
Figure BDA0002335983770000061
分类误差MSE的计算，计算公式为：
Figure BDA0002335983770000062
式12中：m为输出层节点数；N为训练样本数：
Figure BDA0002335983770000063
为神经网络实际输出值；
Figure BDA0002335983770000064
为神经网络期望输出值；
4)权值更新和阈值更新：
计算出误差后根据误差反向传播，不断调整权值和阈值，使误差不断地减少，直到MES<ε时，训练结束。
优选的，所述步骤4中，采用网格搜索法优化步骤3的模型的超参数，其过程如下：
1)网格搜索
将n个超参数所有可能的取值进行排列组合，列出所有可能的组合结果生成“网格”，然后将所有组合依次用于步骤3中求解长短期记忆神经网络模块权值和阀值；
2)K折交叉验证
为保证对一组超参数评分的有效性，交叉验证利用N组输入数据对一组超参数进行N次评价，并取N次评价的平均值作为对该组的最终评价，首先将总数据集分为K份，第一次评价采用第K份作为验真数据，其余为训练数据，第二次评价采用第K-1份作为验真数据，其余为训练数据，依次进行，共对一组超参数进行K次评价，最终评价公式如下：
Figure BDA0002335983770000071
式14其中Ai为第i次评价得分，计算公式如下：
Figure BDA0002335983770000072
式15其中，TP为预测图片为当前类，实际图片为当前类的次数；FP为预测图片为当前类，实际图片不为当前类的次数；TN为预测图片不为当前类，实际图片不为当前类的次数；FN为预测图片不为当前类，实际图片为当前类的次数；TP、TN皆为预测正确，FP、FN皆为预测错误。
优选的，所述步骤5中，基于步骤4中已经优化完成的模型，进行障碍物辨识，其过程如下：
首先对障碍物定义，障碍物共分4类—人类活动、植物生长、动物活动、误警报；为使计算机进行计算，对4类障碍物进行编码，即使用(1，0，0，0)，(0，1，0，0)，(0，0，1，0)，(0，0，0，1)分别代指4类障碍物，然后将预警***拍摄的障碍物图片输入步骤4中已经优化完成的模型，计算出对应标签，辨识出障碍物类型。
与现有技术相比，本发明的优点是：通过上述方法，可以自动识别障碍物的种类，减少误报几率，判断是否为障碍物，极大的减少调度人员、巡线人员工作量，提高电网安全稳定性。
附图说明
图1是时间卷积模块架构图；
图2是权值规范化结构图；
图3是池化操作原理图；
图4是记忆单元结构图；
图5是长短期记忆神经网络模块结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
一种基于改进时间卷积神经网络的架空线预警***障碍物识别方法，包括以下步骤：
步骤1：构建的时间卷积模块，并采用ImageNet图像数据集对卷积网络模块进行预训练；
步骤2：构建双层长短期记忆神经网络模块，并将步骤1中的时间卷积神经网络模块的输出结果，输入到长短期记忆神经网络模块；
步骤3：利用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值与阀值，使模型达到收敛；
步骤4：利用网格搜索法进行步骤3中神经网络超参数优化；
步骤5：将障碍物照片输入步骤4中训练完成的神经网络，进行障碍物识别。
所述步骤1中，时间卷积模块架构及预训练过程如下：
首先将一张输入图片按像素转化为矩阵，矩阵的元素为对应的像素值。将矩阵输入时间卷积模块。时间卷积模块架构如图1所示，其中卷积层为对输入矩阵做卷积操作。输入矩阵输入卷积层，输出为：
Figure BDA0002335983770000081
式1中，Yij表示输出矩阵的第i行、第j列的元素，其中i∈(1,I)、j∈(1,J)；I,J表示输出矩阵的行数、列数；
Figure BDA0002335983770000091
表示激活函数，为已设定的超参数；B表示偏移值；Wn,m表示卷积核第n行、第m列的权值元素，其中n∈(1,N)、m∈(1,M)；N,M表示卷积核的行数、列数，为已设定的超参数；Xn+l,m+k表示输入矩阵第n+l行、第m+k列元素。
通过卷积层，模型可以提取出丰富的图形特征，同时将不重要的图形特征过滤，保证图形分类的有效性。当输入矩阵经过卷积层处理后，使用权值规范化的方法，加快模型收敛，提高模型泛化能力。权值规范化把权重向量
Figure BDA0002335983770000092
分解为标量参数g和向量参数
Figure BDA0002335983770000093
Figure BDA0002335983770000094
式2中，g表示向量
Figure BDA0002335983770000095
的模值；
Figure BDA0002335983770000096
表示
Figure BDA0002335983770000097
的同向向量；
Figure BDA0002335983770000098
表示
Figure BDA0002335983770000099
的欧几里得范数；故是
Figure BDA00023359837700000910
与向量
Figure BDA00023359837700000911
同方向的单位向量。权值规范化结构如图2所示，神经网络每个权重值要经过参数重写后再参与到下一个神经元的计算当中。
当输入数据经过权值规范化处理后，为提高模型非线性拟合能力，采用激活层，选择ReLu函数为激活函数。因为该函数不仅软饱和性显著，能降低sigmoid函数会产生梯度消失现象的发生概率，并且ReLu收敛速度比sigmoid更快。激活函数ReLu计算公式如下：
ReLu(x)＝max(0,x) (3)
当输入数据经过ReLu层处理后，为防止模型过拟合，采用最大池化层进行下采样，降低卷积得到的特征图的数据量。池化的操作如图3所示。池化层计算公式如下：
Figure BDA0002335983770000101
式4中，p,q分别为池化窗行、列数，t为池化窗移动步长是已设定的超参数，
Figure BDA0002335983770000103
为若干个被池化窗选中的输入矩阵元素，yij为输出矩阵第i行、第j列元素。
最后，将输入数据依次流经残差模块，进行对应处理，并在有监督学习下训练模型内部权值，完成时间卷积模块预训练。时间卷积模块超参数设置如表1。
Figure BDA0002335983770000102
所述步骤2中，构建双层长短期记忆神经网络模块，其过程如下：
首先将步骤1中输出结果输入第一层长短期记忆神经网络，长短期记忆神经网络具有独特的记忆模式，其记忆单元结构如图4所示。记忆单元的读取和修改通过对输入门、遗忘门和输出门的控制来实现，它们一般采用sigmoid或tanh函数进行描述。具体地，记忆单元的工作流程如下：每一个时刻，记忆单元通过3个门接收当前状态xt和上一时刻网络的隐藏状态ht-1这2类外部信息的输入。此外，每一个门还接收一个内部信息输入，即记忆单元的状态ct-1。接收输入信息后，每一个门将对不同来源的输入进行运算，并且由其逻辑函数决定其是否激活。输入门的输入经过非线性函数的变换后，与遗忘门处理过的记忆单元状态进行叠加，形成新的记忆单元状态ct。最终，记忆单元状态ct通过非线性函数的运算和输出门的动态控制形成记忆单元的输出ht。
各变量之间的计算公式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi) (5)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf) (6)
ct＝ftct-1+tanh(Wxcxt+Whcht-1+bc) (7)
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo) (8)
ht＝ottanh(ct) (9)
式中：Wxc、Wxi、Wxf、Wxo为连接输入信号xt的权重矩阵；Whc、Whi、Whf、Who为连接隐含层输出信号ht的权重矩阵；Wci、Wcf、Wco为连接神经元激活函数输出矢量ct和门函数的对角矩阵；bi、bf、bc、bo为阀值向量；σ为激活函数，为tanh函数。
当输入数据流经第一层长短期记忆神经网络，为防止模型过拟合，减小模型训练时间，采用Dropout层对模型进行处理。采用Dropout层的计算公式如下：
Figure BDA0002335983770000111
公式10中，Bernoulli函数为伯努利二项分布函数，随机生成一个概率为p的0、1向量rij，Xij为输入矩阵的第i行、第j列元素，Wij为权值矩阵的第第i行、第j列元素，Bij为阀值矩阵的第i行、第j列元素，yij为输出矩阵第i行、第j列元素。
第二层长短期记忆神经网络与第一层原理相同，仅超参数不同，双层长短期记忆神经网络模块结构如图5所示。
所述步骤3中，使用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值和阀值，其过程如下：
Adam优化算法
针对步骤2中长短期记忆神经网络模块权值和阀值求解，本方案采用Adam优化算法求解。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率(即alpha)更新所有的权重，学习率在训练过程中并不会改变。而Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
Adam算法通过以下三个步骤求解模型。
1)网络初始化。
用ωie表示输入层节点i到记忆单元节点e的权值，vie表示记忆单元节点i到Dropout层或Dropout层到输出层e的权值；用Ai表示第一、第二长短期记忆神经网络层第i个神经元的阈值，用Bk表示Dropout层神经元的阈值。给各权值分别赋一个区间[-1，1]内的随机数，设误差函数为e，计算精度值ε和最大学习次数M。
2)中间所有层输出函数计算。
设输入变量S＝(s1,s2,...,sa)，中间所有层，即Dropout层、第一长短期记忆神经网络层和第二长短期记忆神经网络层，其变量依次为Η＝(h1,h2,...,ht)，输出变量Ι＝i，期望输出变量O＝o，则节点输出为
Figure BDA0002335983770000121
式11中：t所有中间层的节点数；fi为激活函数。
3)输出计算。
根据中间层输出Η、连接权值vie和阈值b，计算神经网络预测输出I。计算公式如下所示。
Figure BDA0002335983770000122
分类误差MSE的计算，计算公式为：
Figure BDA0002335983770000131
式12中：m为输出层节点数；N为训练样本数：
Figure BDA0002335983770000132
为神经网络实际输出值；
Figure BDA0002335983770000133
为神经网络期望输出值。
4)权值更新和阈值更新。
计算出误差后根据误差反向传播，不断调整权值和阈值，使误差不断地减少，直到MES<ε时，训练结束。
所述步骤4中，采用网格搜索法优化步骤3的模型的超参数，其过程如下：
网格搜索法：
本方案中模型初始超参数为按照经验设置，为进一步提高模型有效性，需要进行参数优化。网格搜索法主要由网格搜索和交叉验证组成，该算法的求解思路：首先在已设定的参数范围内，使用穷举法将所选参数全部运行一次，然后通过既定的评分方式，使用交叉验证确定最优一组超参数。
1)网格搜索
将n个超参数所有可能的取值进行排列组合，列出所有可能的组合结果生成“网格”，然后将所有组合依次用于步骤3中求解长短期记忆神经网络模块权值和阀值。
2)K折交叉验证
为保证对一组超参数评分的有效性，交叉验证利用N组输入数据对一组超参数进行N次评价，并取N次评价的平均值作为对该组的最终评价。首先将总数据集分为K份，第一次评价采用第K份作为验真数据，其余为训练数据，第二次评价采用第K-1份作为验真数据，其余为训练数据，依次进行，共对一组超参数进行K次评价。最终评价公式如下：
Figure BDA0002335983770000141
式14其中Ai为第i次评价得分，计算公式如下：
Figure BDA0002335983770000142
式15其中，TP为预测图片为当前类，实际图片为当前类的次数；FP为预测图片为当前类，实际图片不为当前类的次数；TN为预测图片不为当前类，实际图片不为当前类的次数；FN为预测图片不为当前类，实际图片为当前类的次数。易知，TP、TN皆为预测正确，FP、FN皆为预测错误。经网格搜索法，超参数优化结果如表2：
Figure BDA0002335983770000143
所述步骤5中，基于步骤4中已经优化完成的模型，进行障碍物辨识，其过程如下：
首先对障碍物定义，障碍物共分4类—人类活动、植物生长、动物活动、误警报。为使计算机进行计算，对4类障碍物进行编码，即使用(1，0，0，0)，(0，1，0，0)，(0，0，1，0)，(0，0，0，1)分别代指4类障碍物。
然后将预警***拍摄的障碍物图片输入步骤4中已经优化完成的模型，计算出对应标签，辨识出障碍物类型。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (6)

1.基于时间卷积神经网络的架空线预警***障碍物识别方法，其特征在于：包括以下步骤：
步骤1：构建的时间卷积模块，并采用ImageNet图像数据集对卷积网络模块进行预训练；
步骤2：构建双层长短期记忆神经网络模块，并将步骤1中的时间卷积神经网络模块的输出结果，输入到长短期记忆神经网络模块；
步骤3：利用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值与阀值，使模型达到收敛；
步骤4：利用网格搜索法进行步骤3中神经网络超参数优化；
步骤5：将障碍物照片输入步骤4中训练完成的神经网络，进行障碍物识别。
2.如权利要求1所述的基于时间卷积神经网络的架空线预警***障碍物识别方法，其特征在于：
所述步骤1中，时间卷积模块架构及预训练过程如下：
首先将一张输入图片按像素转化为矩阵，矩阵的元素为对应的像素值；将矩阵输入时间卷积模块，卷积层为对输入矩阵做卷积操作；输入矩阵输入卷积层，输出为：
Figure FDA0002335983760000011
式1中，Yij表示输出矩阵的第i行、第j列的元素，其中i∈(1,I)、j∈(1,J)；I,J表示输出矩阵的行数、列数；
Figure FDA0002335983760000012
表示激活函数，为已设定的超参数；B表示偏移值；Wn,m表示卷积核第n行、第m列的权值元素，其中n∈(1,N)、m∈(1,M)；N,M表示卷积核的行数、列数，为已设定的超参数；Xn+l,m+k表示输入矩阵第n+l行、第m+k列元素；
当输入矩阵经过卷积层处理后，使用权值规范化的方法，权值规范化把权重向量
Figure FDA0002335983760000013
分解为标量参数g和向量参数
Figure FDA0002335983760000014
Figure FDA0002335983760000021
式2中，g表示向量
Figure FDA0002335983760000022
的模值；
Figure FDA0002335983760000023
表示
Figure FDA0002335983760000024
的同向向量；
Figure FDA0002335983760000025
表示
Figure FDA0002335983760000026
的欧几里得范数；故是
Figure FDA0002335983760000027
与向量
Figure FDA0002335983760000028
同方向的单位向量；
当输入数据经过权值规范化处理后，采用激活层，选择ReLu函数为激活函数，激活函数ReLu计算公式如下：
ReLu(x)＝max(0,x) (3)
采用最大池化层进行下采样，降低卷积得到的特征图的数据量，池化层计算公式如下：
Figure FDA0002335983760000029
式4中，p,q分别为池化窗行、列数，t为池化窗移动步长是已设定的超参数，xi*t+r,j*t+s为若干个被池化窗选中的输入矩阵元素，yij为输出矩阵第i行、第j列元素；
最后，将输入数据依次流经残差模块，进行对应处理完成时间卷积模块预训练。
3.如权利要求1所述的基于时间卷积神经网络的架空线预警***障碍物识别方法，
其特征在于：所述步骤2中，构建双层长短期记忆神经网络模块，其过程如下：首先将步骤1中输出结果输入第一层长短期记忆神经网络，长短期记忆神经网络具有独特的记忆模式，记忆单元的读取和修改通过对输入门、遗忘门和输出门的控制来实现，它们一般采用sigmoid或tanh函数进行描述；
记忆单元的工作流程如下：每一个时刻，记忆单元通过3个门接收当前状态xt和上一时刻网络的隐藏状态ht-1这2类外部信息的输入；此外，每一个门还接收一个内部信息输入，即记忆单元的状态ct-1；接收输入信息后，每一个门将对不同来源的输入进行运算，并且由其逻辑函数决定其是否激活；输入门的输入经过非线性函数的变换后，与遗忘门处理过的记忆单元状态进行叠加，形成新的记忆单元状态ct；最终，记忆单元状态ct通过非线性函数的运算和输出门的动态控制形成记忆单元的输出ht；各变量之间的计算公式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi) (5)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf) (6)
ct＝ftct-1+tanh(Wxcxt+Whcht-1+bc) (7)
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo) (8)
ht＝ottanh(ct) (9)
式中：Wxc、Wxi、Wxf、Wxo为连接输入信号xt的权重矩阵；Whc、Whi、Whf、Who为连接隐含层输出信号ht的权重矩阵；Wci、Wcf、Wco为连接神经元激活函数输出矢量ct和门函数的对角矩阵；bi、bf、bc、bo为阀值向量；σ为激活函数，为tanh函数；
当输入数据流经第一层长短期记忆神经网络，采用Dropout层对模型进行处理，采用Dropout层的计算公式如下：
Figure FDA0002335983760000031
公式10中，Bernoulli函数为伯努利二项分布函数，随机生成一个概率为p的0、1向量rij，Xij为输入矩阵的第i行、第j列元素，Wij为权值矩阵的第第i行、第j列元素，Bij为阀值矩阵的第i行、第j列元素，yij为输出矩阵第i行、第j列元素；
第二层长短期记忆神经网络与第一层原理相同，仅超参数不同。
4.如权利要求1所述的基于时间卷积神经网络的架空线预警***障碍物识别方法，其特征在于：所述步骤3中，使用Adam优化算法，求解步骤2中的长短期记忆神经网络模块权值和阀值，Adam优化算法通过以下三个步骤求解模型：
1)网络初始化：
用ωie表示输入层节点i到记忆单元节点e的权值，vie表示记忆单元节点i到Dropout层或Dropout层到输出层e的权值；用Ai表示第一、第二长短期记忆神经网络层第i个神经元的阈值，用Bk表示Dropout层神经元的阈值；给各权值分别赋一个区间[-1，1]内的随机数，设误差函数为e，计算精度值ε和最大学习次数M；
2)中间所有层输出函数计算：
设输入变量S＝(s1,s2,...,sa)，中间所有层，即Dropout层、第一长短期记忆神经网络层和第二长短期记忆神经网络层，其变量依次为Η＝(h1,h2,...,ht)，输出变量Ι＝i，期望输出变量O＝o，则节点输出为
Figure FDA0002335983760000041
式11中：t所有中间层的节点数；fi为激活函数；
3)输出计算：
根据中间层输出Η、连接权值vie和阈值b，计算神经网络预测输出I；计算公式为：
Figure FDA0002335983760000042
分类误差MSE的计算，计算公式为：
Figure FDA0002335983760000043
式12中：m为输出层节点数；N为训练样本数：
Figure FDA0002335983760000044
为神经网络实际输出值；
Figure FDA0002335983760000045
为神经网络期望输出值；
4)权值更新和阈值更新：
计算出误差后根据误差反向传播，不断调整权值和阈值，使误差不断地减少，直到MES<ε时，训练结束。
5.如权利要求1所述的基于时间卷积神经网络的架空线预警***障碍物识别方法，其特征在于：所述步骤4中，采用网格搜索法优化步骤3的模型的超参数，其过程如下：
1)网格搜索
将n个超参数所有可能的取值进行排列组合，列出所有可能的组合结果生成“网格”，然后将所有组合依次用于步骤3中求解长短期记忆神经网络模块权值和阀值；
2)K折交叉验证
为保证对一组超参数评分的有效性，交叉验证利用N组输入数据对一组超参数进行N次评价，并取N次评价的平均值作为对该组的最终评价，首先将总数据集分为K份，第一次评价采用第K份作为验真数据，其余为训练数据，第二次评价采用第K-1份作为验真数据，其余为训练数据，依次进行，共对一组超参数进行K次评价，最终评价公式如下：
Figure FDA0002335983760000051
式14其中Ai为第i次评价得分，计算公式如下：
Figure FDA0002335983760000052
式15其中，TP为预测图片为当前类，实际图片为当前类的次数；FP为预测图片为当前类，实际图片不为当前类的次数；TN为预测图片不为当前类，实际图片不为当前类的次数；FN为预测图片不为当前类，实际图片为当前类的次数；TP、TN皆为预测正确，FP、FN皆为预测错误。
6.如权利要求1所述的基于时间卷积神经网络的架空线预警***障碍物识别方法，其特征在于：所述步骤5中，基于步骤4中已经优化完成的模型，进行障碍物辨识，其过程如下：
首先对障碍物定义，障碍物共分4类—人类活动、植物生长、动物活动、误警报；为使计算机进行计算，对4类障碍物进行编码，即使用(1，0，0，0)，(0，1，0，0)，(0，0，1，0)，(0，0，0，1)分别代指4类障碍物，然后将预警***拍摄的障碍物图片输入步骤4中已经优化完成的模型，计算出对应标签，辨识出障碍物类型。
CN201911356149.2A 2019-12-25 2019-12-25 基于时间卷积神经网络的架空线预警***障碍物识别方法 Active CN111191559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356149.2A CN111191559B (zh) 2019-12-25 2019-12-25 基于时间卷积神经网络的架空线预警***障碍物识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356149.2A CN111191559B (zh) 2019-12-25 2019-12-25 基于时间卷积神经网络的架空线预警***障碍物识别方法

Publications (2)

Publication Number Publication Date
CN111191559A true CN111191559A (zh) 2020-05-22
CN111191559B CN111191559B (zh) 2023-07-11

Family

ID=70709361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356149.2A Active CN111191559B (zh) 2019-12-25 2019-12-25 基于时间卷积神经网络的架空线预警***障碍物识别方法

Country Status (1)

Country Link
CN (1) CN111191559B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626203A (zh) * 2020-05-27 2020-09-04 北京伟杰东博信息科技有限公司 一种基于机器学习的铁路异物识别方法及***
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN112418003A (zh) * 2020-11-05 2021-02-26 湖南中联重科智能高空作业机械有限公司 工作平台障碍物识别方法、***及防撞方法、***
CN112637003A (zh) * 2020-12-04 2021-04-09 重庆邮电大学 一种用于汽车can网络的报文传输时间预估方法
CN112793797A (zh) * 2021-02-03 2021-05-14 东航技术应用研发中心有限公司 一种飞机着陆弹跳预警方法和***
CN113409252A (zh) * 2021-05-31 2021-09-17 国电南瑞科技股份有限公司 一种架空输电线路巡检机器人障碍物检测方法
CN114386367A (zh) * 2022-03-24 2022-04-22 苏州浪潮智能科技有限公司 一种非线性延迟电路***的仿真方法、***及介质
WO2022193681A1 (zh) * 2021-03-15 2022-09-22 河海大学 一种基于时间卷积网络的防洪调度方案优选方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN106570516A (zh) * 2016-09-06 2017-04-19 国网重庆市电力公司电力科学研究院 一种利用卷积神经网络cnn的障碍物识别方法
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别***及方法
CN108764460A (zh) * 2018-05-16 2018-11-06 华中科技大学 一种基于时间卷积和lstm的时间序列预测方法
CN109924194A (zh) * 2019-03-14 2019-06-25 北京林业大学 一种驱鸟装置及驱鸟方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN106570516A (zh) * 2016-09-06 2017-04-19 国网重庆市电力公司电力科学研究院 一种利用卷积神经网络cnn的障碍物识别方法
CN107944412A (zh) * 2017-12-04 2018-04-20 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路自动识别***及方法
CN108764460A (zh) * 2018-05-16 2018-11-06 华中科技大学 一种基于时间卷积和lstm的时间序列预测方法
CN109924194A (zh) * 2019-03-14 2019-06-25 北京林业大学 一种驱鸟装置及驱鸟方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626203A (zh) * 2020-05-27 2020-09-04 北京伟杰东博信息科技有限公司 一种基于机器学习的铁路异物识别方法及***
CN111626203B (zh) * 2020-05-27 2021-11-16 北京伟杰东博信息科技有限公司 一种基于机器学习的铁路异物识别方法及***
CN111738329A (zh) * 2020-06-19 2020-10-02 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN111738329B (zh) * 2020-06-19 2021-07-13 中南大学 一种面向时间序列遥感影像的土地利用分类方法
CN112418003A (zh) * 2020-11-05 2021-02-26 湖南中联重科智能高空作业机械有限公司 工作平台障碍物识别方法、***及防撞方法、***
CN112418003B (zh) * 2020-11-05 2023-09-29 湖南中联重科智能高空作业机械有限公司 工作平台障碍物识别方法、***及防撞方法、***
CN112637003A (zh) * 2020-12-04 2021-04-09 重庆邮电大学 一种用于汽车can网络的报文传输时间预估方法
CN112637003B (zh) * 2020-12-04 2022-03-29 重庆邮电大学 一种用于汽车can网络的报文传输时间预估方法
CN112793797A (zh) * 2021-02-03 2021-05-14 东航技术应用研发中心有限公司 一种飞机着陆弹跳预警方法和***
WO2022193681A1 (zh) * 2021-03-15 2022-09-22 河海大学 一种基于时间卷积网络的防洪调度方案优选方法
CN113409252A (zh) * 2021-05-31 2021-09-17 国电南瑞科技股份有限公司 一种架空输电线路巡检机器人障碍物检测方法
CN113409252B (zh) * 2021-05-31 2022-08-26 国电南瑞科技股份有限公司 一种架空输电线路巡检机器人障碍物检测方法
CN114386367B (zh) * 2022-03-24 2022-05-24 苏州浪潮智能科技有限公司 一种非线性延迟电路***的仿真方法、***及介质
CN114386367A (zh) * 2022-03-24 2022-04-22 苏州浪潮智能科技有限公司 一种非线性延迟电路***的仿真方法、***及介质

Also Published As

Publication number Publication date
CN111191559B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN111191559B (zh) 基于时间卷积神经网络的架空线预警***障碍物识别方法
CN113094357B (zh) 一种基于时空注意力机制的交通缺失数据补全方法
Liu et al. Accurate prediction scheme of water quality in smart mariculture with deep Bi-S-SRU learning network
Lin et al. A non-linear rainfall-runoff model using radial basis function network
CN112241814A (zh) 一种基于强化时空图神经网络的交通预测方法
CN111815033A (zh) 一种基于rcnn和气象时序特征的海上风电功率预测方法
CN110288046B (zh) 一种基于小波神经网络与隐马尔科夫模型的故障预测方法
CN113126676B (zh) 一种畜禽舍养殖环境参数智能控制***
CN113031555B (zh) 一种畜禽舍环境有害气体智能净化***
CN114792158B (zh) 基于时空融合图神经网络的多风电场短期功率预测方法
CN115630101B (zh) 水文参数智能化监控与水资源大数据管理***
CN112215446A (zh) 一种基于神经网络的单位动态火灾风险评估方法
CN116562514B (zh) 基于神经网络的企业生产状况即时分析方法及***
Zou et al. Short-term traffic flow prediction based on PCC-BiLSTM
CN114357670A (zh) 一种基于bls和自编码器的配电网用电数据异常预警方法
CN116612664A (zh) 基于改进时空图注意力神经网络的船舶交通流量预测方法
Li et al. Short-term traffic flow prediction based on recurrent neural network
Cheng et al. Research on prediction method based on ARIMA-BP combination model
Mohamed et al. Adaptive trainer for multi-layer perceptron using artificial gorilla troops optimizer algorithm
CN113837443A (zh) 基于深度BiLSTM的变电站线路负载预测方法
Bento et al. An Overview Of The Latest Machine Learning Trends In Short-Term Load Forecasting
Zúñiga et al. Probabilistic multistep time series forecasting using conditional generative adversarial networks
CN112906856A (zh) 一种基于云平台的畜禽舍环境温度检测***
Zhou et al. Research on prediction model for icing thickness of transmission lines based on bp neural network optimized with improved fruit fly algorithm
CN117198066A (zh) 基于门控循环图卷积注意力网络的路网交通流量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant