CN110472545B - 基于知识迁移学习的航拍电力部件图像的分类方法 - Google Patents
基于知识迁移学习的航拍电力部件图像的分类方法 Download PDFInfo
- Publication number
- CN110472545B CN110472545B CN201910721060.5A CN201910721060A CN110472545B CN 110472545 B CN110472545 B CN 110472545B CN 201910721060 A CN201910721060 A CN 201910721060A CN 110472545 B CN110472545 B CN 110472545B
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- learning
- convolutional
- ***net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013526 transfer learning Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000004088 simulation Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 239000012212 insulator Substances 0.000 claims abstract description 8
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 239000010410 layer Substances 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 22
- 230000005284 excitation Effects 0.000 claims description 21
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 239000002346 layers by function Substances 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 28
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Probability & Statistics with Applications (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
Abstract
本发明涉及人工智能中深度学习和机器视觉相结合的领域，基于知识迁移学习的航拍电力部件图像的分类方法，按照如下的步骤进行，建立卷积神经网络GoogLeNet；对卷积神经网络GoogLeNet进行调优，在卷积神经网络GoogLeNet的基础上，将卷积神经网络GoogLeNet的最后三层用一个全连接层、一个softmax层和分类输出层所代替，进行优化设置；在训练网络时，网络参数是结合多次仿真实验和贝叶斯优化算法获取的；将采集到的电力部件图像经过归一化预处理后输入步骤二获得且设置好的新的深度卷积神经网络进行学习，按照绝缘子、金具、杆塔等类别进行分类；进行仿真实验进行验证。
Description
技术领域
本发明涉及人工智能中深度学习和机器视觉相结合的领域，其应用在电力***中输电线路巡检过程中电力部件的分类识别，进而确保输电线路安全运行。
背景技术
输电线路是电网***中的一个至关重要的组成部分，其作为电网***的主干线路，对整个电网是否可靠、长期、安全稳定运行起到了决定性的作用，并且电网***长期有效的运行直接关系到国家经济的健康发展。随着输电网建设工程的实施，输电线路急剧增加，线路巡检工作量剧增，地理环境复杂、气候条件多变等情况，使传统人工巡检作业更加危险，巡检效率和准确率不高。相对于传统的巡检方式，直升机巡检和无人机巡检方式效率高、巡线方式灵活、获取图像周期短、不受自然环境影响等优势，逐渐成为输电线路巡检的主流方式。在电力巡检目标中，在电力传输网络中电力部件类型多，数量大，并且部分部件容易损坏。在长期的运行中，受到强风、雷雨、冰霉、覆冰等恶劣天气的影响，尤其是绝缘子等容易受到损坏，进一步影响电力***输电网络的正常运行，严重的会造成大面积停电事故的发生。飞行器巡检方式是通过直升机或者无人机稳定的速度和相对固定的角度沿着输电线路拍摄采集图像，在拍摄过程中会经过各种地貌，如山川，河流，草地，房屋，耕地等，也可能是在各种气象条件下(雨、雪、雾靈等)，这些不同地貌和不同气候环境形成的不同背景和噪声对于输电线的检测和故障检测的适用性和鲁棒性是个极大的挑战。随着，航拍输电线路、电力部件图像数据的猛增，其数据量是巨大的，并且数据冗余度也比较大，对于航拍电力部件图像的分类提出了更高地要求。
在机器视觉领域中，一个重要的研究方向是图像特征的提取、分类、检测和识别，早期的图像特征的提取与分类识别都是通过人类手动提取目标图像的特征，这样需要耗费大量的时间和工作量。人工智能中的人工神经网络技术的发展给机器视觉领域带来新的动力和活力，特别是在图像分类与识别领域。而目前，机器学习中的深度学习分支发展迅猛，其中卷积神经网络在图像分类方面具有非常好的效果。使用深度学习，不需要像传统数字图像算法那样手动提取图像特征，卷积神经网络具有自动学习特征。
发明内容
本发明所要解决的技术问题是：如何解决由于航拍电力部件图像的背景复杂，拍摄角度不定，数据量庞大，电力部件实现准确分类、精确定位困难的问题。
本发明所采用的技术方案是：基于知识迁移学习的航拍电力部件图像的分类方法，按照如下的步骤进行
步骤一、建立卷积神经网络GoogLeNet；
步骤二、对卷积神经网络GoogLeNet进行调优，在卷积神经网络GoogLeNet的基础上，将卷积神经网络GoogLeNet的最后三层用一个全连接层、一个softmax层和分类输出层所代替，进而获得新的深度神经网络，然后在原有卷积神经网络GoogLeNet设置基础上，进行优化设置；在训练网络时，网络参数是结合多次仿真实验和贝叶斯优化算法获取的；
步骤三、将采集到的电力部件图像经过归一化预处理后输入步骤二获得且设置好的新的深度卷积神经网络进行学习，按照绝缘子、金具、杆塔等类别进行分类；
步骤四、进行仿真实验进行验证。
卷积神经网络GoogLeNet具有144个单层，其中有22个具有学习权重的功能层，包括21个卷积层和1个全连接层，第一层卷积层采用64个7×7卷积核，步长stride为2的结构，填充padding＝[3 3 3 3]的结构，卷积后得到64维的特征，第一层卷积层特征输出为112×112×64，第一层卷积层后直接输入到激励层，激励函数选择通用的ReL∪函数，第一层卷积层采用3×3核的池化层，池化采用最大池化max pool的方式，通过池化后特征向量变为56×56×64维，随后加入norm层；第二层卷积采用192个3×3的卷积核，步长stride为1的结构，填充padding＝[1 1 1 1]的结构，特征向量变为56×56×192，激励层和池化层输出特征为28×28×192维。
split分支运算，采用1×1、3×3、5×5卷积核，包含4个分支，使用64个1×1的卷积核，padding＝[0 0 0 0]，同样采用ReL∪函数作为激励层，因此输出28×28×64维向量；先使用96个1×1的卷积核将特征向量压缩到28×28×96维，经过激励层后再使用128个3×3的卷积核，padding＝[1 1 1 1]，通过激励层得到28×28×128维向量；先使用16个1×1卷积核将数据压缩到28×28×16，进行激励层后再进行5×5的卷积运算，选择padding＝[2 22 2]，最后输出28×28×32维向量；先进行max pool进行池化，然后使用1×1的卷积窗得到28×28×32维向量；分类输出层将四个节点输出的特征向量进行拼接。
随后进行下一步的inception module使用同样的方法以此类推。
参数优化设置包括，采用动量的随机梯度下降算法，动量设置为0.9；小批量算法设置为10，小批量算法是随机梯度下降算法和批量算法的混合形式；最大轮数设置为3；L2参数正则化(权重衰减)设置为0.00055，正则化策略通过向目标函数添加一个正则项，使权重更加接近原点；学习率为10-4；验证频率为15。
本发明的有益效果是：GoogLeNet不仅将网络的层次做到更深，它还增加了网络的宽度，实现多尺度特征的聚合，让网络的分类效果更好。Inception模块就是为实现网络宽度的增加而提出来的一种结构，它有两个重要的创新点，一是使用1×1的卷积核来对上层输入进行降维，从而降低计算的复杂度；二是将多个不同尺度的卷积层和池化层并联，然后把得到的不同特征拼接起来，从而提高特征的表达能力。
本发明充分发挥深度学习中的卷积神经网络的优势，特别是自动学习图像特征的功能。同时，利用迁移学习的特点，对GoogLeNet网络结构进行合理调整，并通过仿真实验和贝叶斯优化算法获取最佳训练参数，完成新网络的训练，最终对电力部件图像(绝缘子、杆塔、金具)进行分类识别，进而为电力部件状态检测提供依据，保证电网安全运行。
附图说明
图1是inception模型图；
图2是本发明流程示意图；
图3是训练过程图。
具体实施方式
通过无人机航拍输电线路，对线路进行巡检，在提升巡检效率的同时，也会采集到大量的电力部件图像。对于传统的数字图像处理算法来说，对于背景复杂、电力部件类型多、拍摄环境复杂、拍摄角度不固定、电力不同类型部件之间相互粘连等因素，其对于不同电力部件的分类检测效果不好、适用性弱。本发明充分利用深度学习中的卷积神经网络的优势，利用迁移学习的特点，发挥经典卷积神经网络的成功经验，对采集到的电力部件图像进行分类。首先建立电力部件图像的样本库，随后利用迁移学习创建一种基于GoogLeNet的卷积神经网络，设计网络训练参数，进行网络训练，验证网络的有效性，根据训练和验证结果，适当地调整网络参数。具体算法介绍如下：
一、卷积神经网络GoogLeNet的特点
ILSVRC2014的冠军是GoogLeNet，它是基于网中网的思想提出的一种新型网络结构。GoogLeNet在网络设计上属于深层次网络，具有144个单层，其中有22个具有学习权重的功能层，包括21个卷积层和1个全连接层。GoogLeNet在设计上最大的创新点就是使用多尺度卷积，将稀疏矩阵运算进行局部稠密化，并行处理特征然后进行特征拼接。
由网络结构可知首先对原始输入图像的尺寸固定为224×224×3的RGB图像。
第一层卷积层采用64个7×7卷积核，步长stride为2的结构，填充padding＝[3 33 3]的结构，这样通过卷积后得到64维的特征，因此本层特征输出为112×112×64。卷积层后直接输入到激励层，激励函数选择通用的ReLU函数，然后是3×3核的池化层，池化采用最大池化(max pool)的方式，可以计算出通过池化后特征向量变为56×56×64维。随后GoogLeNet在网络设计上加入了norm层。
第二层卷积采用192个3×3的卷积核，步长stride为1的结构，填充padding＝[1 11 1]的结构，这样特征向量变为56×56×192，同样随后进行激励层和池化层输出特征为28×28×192维。
随后是GoogLeNet的创新之处，其进行split分支运算，作者提出inception的概念，为了计算方便，采用1×1、3×3、5×5卷积核，包含4个分支如图1所示：
(1)使用64个1×1的卷积核，padding＝[0 0 0 0]，同样采用ReLU函数作为激励层，因此输出28×28×64维向量。
(2)先使用96个1×1的卷积核将特征向量压缩到28×28×96维，经过激励层后再使用128个3×3的卷积核，padding＝[1 1 1 1]，通过激励层得到28×28×128维向量。
(3)先使用16个1×1卷积核将数据压缩到28×28×16，进行激励层后再进行5×5的卷积运算，选择padding＝[2 2 2 2]，最后输出28×28×32维向量。(4)
先进行max pool进行池化，然后使用1×1的卷积窗得到28×28×32维向量。最后将四个节点输出的特征向量进行拼接，由于进行卷积的时候是有选择的使用卷积核，因此在这里可以直接进行特征相加。随后进行下一步的inception module使用同样的方法以此类推。
二、对GoogLeNet网络进行知识迁移学习
知识迁移学习是通过对其他领域训练样本的学习，从中抽取相关的知识用于本领域的学习。通过迁移学习，机器便会提高利用以前学到知识的能力，更好地实现增量学习。知识迁移学习的最大的特点是利用相关领域的知识来帮助完成目标领域中的学习任务。
GoogLeNet模型中存在丰富的权重和偏置，能保证迁移学习可以调整不同的目标样本库，且GoogLeNet网络复杂度低，准确率高，非常适合迁移学习这类算法。故本发明将基于GoogLeNet网络进行迁移，迁移通俗来说，就是举一反三、触类旁通，也可以按照移花接木理解。最终目的是缩短网络训练时间，提高网络利用率。
迁移学习是将原来可以做1000类的GoogLeNet的最后三层全连接网络重新根据航拍电力部件图像的类别作为新的分类数目进行重新调优，继续保留原始网络的前面部分。最后三层将用一个全连接层、一个softmax层和分类输出层所代替，进而获得新的深度神经网络。本发明设置全连接层的分类数目为5，权重学习率因子为30，偏置学习率因子为30。接下来，进行新网络训练参数设置，主要参数设置具体如下：
(1)采用动量的随机梯度下降算法，动量设置为0.9，此算法计算每一个训练数据的误差并随机调整权重。基于动量的梯度下降算法旨在加速学***均，并且继续沿该方向移动。
(2)小批量算法设置为10，小批量算法是随机梯度下降算法和批量算法的混合形式。首先，它选出一部分数据集，然后，用批量算法训练这个数据集。这样的话，它就是用选出的数据集来计算一次权重更新值，然后再用平均权重来调整该神经网络。
(3)最大轮数设置为3，轮数是全部训练数据都参与训练的循环次数。对于小批量算法，每一轮训练的次数取决于每个小批量数据点个数的选择。
(4)L2参数正则化(权重衰减)设置为0.00055，正则化策略通过向目标函数添加一个正则项，使权重更加接近原点。正则化是对学习算法的修改，旨在减少泛化误差而不是训练误差。
(5)学习率为10-4，学习率是随机梯度下降算法的重要参数之一。学习率太小那么学习过程很缓慢，学习可能会卡在一个相当高的代价值。学习率太大，学习曲线会剧烈振荡，代价函数值通常会明显增加。学习率可通过试验和误差来选取。
(6)验证频率为15，验证频率是验证度量的评估之间的迭代次数，表征迭代次数中网络验证的频率。
本发明的网络参数值是通过多次仿真实验结果并结合贝叶斯优化算法来设置的，以便获得最佳网络参数。贝叶斯优化算法是一种非常适合优化分类和回归模型的内部参数的算法，它可以优化不可区分，不连续且耗时的函数来进行评估。该算法在内部利用目标函数的高斯过程模型，并使用目标函数评估来训练该模型。贝叶斯优化过程中利用了著名的“贝叶斯定理”：
其中，f表示未知目标函数；D1：t＝{(x1，y1)，(x2，y2)，…，(xt，yt)}表示已观测集合；xt表示决策向量；yt＝f(xt)+εt表示观测值；εt表示观测误差；P(D1：t|f)表示y的似然分布，由于观测值存在误差，故也称为“噪声”；P(f)表示f的先验概率分布，其对未知目标函数状态的假设；P(D1：t)表示边际化f边际似然分布或者“证据”，其主要用于优化超参数；P(f|D1：t)表示f的后验概率分布，其描述通过已观测数据集对先验进行修正后未知目标函数的置信度。贝叶斯优化是一个迭代过程，优化框架主要包括概率代理模型(包含先验概率模型和观测模型)和采集函数。先验概率模型为P(f)。观测模型描述观测数据生成的机制，也就是似然分布P(D1：t|f)，更新概率代理模型将得到包括更多数据信息的后验概率分布P(f|D1：t)。采集函数是由后验概率分布构造的，可以通过最大化采集函数来选择下一个最佳的评估点。同时，有效的采集函数保证选择的评估点系列使得总损失最小。贝叶斯优化主要包括三个步骤：1.根据最大化采样函数来选择最佳评估点xt；2.根据选择的评估点xt评估目标函数值yt＝f(xt)+εt；3.把新得到输入观测值{xt，yt}添加到历史观测集D1：t-1中，并更新概率代理模型，为迭代做准备。
本发明基于贝叶斯算法优化参数的步骤大致如下：
(1)确定训练集和验证集图像数据；
(2)选择优化参数，本发明重点对最佳学习率、随机梯度下降的动量值、L2正则化强度参数进行优化；
(3)设定贝叶斯优化算法的变量；为了贝叶斯优化器定义目标函数，目标函数将图像训练集和验证集作为输入，目标函数训练一个卷积神经网络并返回对验证集的分类误差。将目标函数传递给贝叶斯采集函数，采集函数使交叉验证损失最小。
(4)进行网络结构参数设置和网络训练。卷积神经网络结构为输入层→卷积层→批量归一化→修正线性单元→最大池化层→卷积层→批量归一化→修正线性单元→最大池化层→卷积层→批量归一化→修正线性单元(ReLU)→最大池化层→全连接层→softmax层→分类层。网络训练主要参数为：采用动量的随机梯度下降算法，动量为0.95，最大轮数为10，学习率为10-3，L2参数正则化为0.000001。
(5)在网络训练中，使用数据增强方法，沿垂直轴随机翻转训练图像，并在水平方向和垂直方向上将图像随机平移最多四个像素。数据增强有助于防止网络过拟合和记忆训练图像的具体细节。
(6)预测测试集的标签，计算测试误差，通过最小化验证集上的分类错误来执行贝叶斯优化，进而获得最佳网络和验证准确度，最终优化参数。
三、数据集
航拍电力部件图像背景非常复杂，拍摄角度和图像质量极易受到外部环境影响尤其是恶劣天气和不利地理条件，并且电力部件图像还存在相互粘连的情况(如杆塔中存在绝缘子、金具，输电线路中有金具等)较多，有时会存在被参天大树等物体遮挡，故给航拍电力部件图像进行精确分类带来了比较大的困难。目前，没有标准的电力部件图像库，本发明自建电力部件数据库。本发明所采用的数据集共有932副图像，其中绝缘子720副图像，杆塔86副图像，金具55副图像(网上下载)，车道线39副图像，道路标志32副图像。数据库中增加了一些车道线和道路标志图像是为了证明网络的分类抗噪能力和鲁棒能力。同时，利用Ground Truth Labeler APP工具箱对177副图像进行绝缘子、金具、杆塔三种类别进行标签。所有图像经过归一化等预处理，分辨率统一为800*600。同时，按照7∶3(训练集和验证集)比例分配。
四、训练分类结果
本发明的仿真实验的硬件环境为：CPU i5-7200，主频2.7GHz，内存8G，是以单CPU进行训练，选择不同数量的数据集在Matlab平台进行仿真，其分类结果如下表：
表1不同样本数据集的分类情况表
| 样本图像数量(副) | 运行时间(分) | 分类准确率 |
| 262 | 32 | 96％ |
| 632 | 381 | 97.8％ |
| 932 | 419 | 97.83％ |
表1列出了随机选取不同样本图像数据量时候，所需要的运行时间和分类准确率。分类结果显示，利用迁移学习的方法，可以避免采集巨大的图像数据量，利用一定的图像数据量，发挥GoogLeNet网络的性能，达到航拍电力部件的图像分类。图2为流程图。图3为训练过程之一图。
Claims (3)
1.基于知识迁移学习的航拍电力部件图像的分类方法，其特征在于：按照如下的步骤进行
步骤一、建立卷积神经网络GoogLeNet；
步骤二、对卷积神经网络GoogLeNet进行迁移，在卷积神经网络GoogLeNet的基础上，将卷积神经网络GoogLeNet的最后三层用一个全连接层、一个softmax层和分类输出层所代替，进而获得新的深度神经网络，然后在原有卷积神经网络GoogLeNet设置基础上，进行参数优化设置；在训练网络时，网络参数是结合多次仿真实验和贝叶斯优化算法获取的，其中，split分支运算，采用1×1、3×3、5×5卷积核，包含４个分支，使用64个1×1的卷积核，padding=[0 0 0 0]，同样采用ReLU函数作为激励层，因此输出28×28×64维向量；先使用96个1×1的卷积核将特征向量压缩到28×28×96维，经过激励层后再使用128个3×3的卷积核，padding=[1 1 1 1]，通过激励层得到28×28×128维向量；先使用16个1×1卷积核将数据压缩到28×28×16，进行激励层后再进行5×5的卷积运算，选择padding=[2 2 2 2]，最后输出28×28×32维向量；先进行max pool进行池化，然后使用1×1的卷积窗得到28×28×32维向量；分类输出层将四个节点输出的特征向量进行拼接，随后进行下一步的inception module使用同样的方法以此类推；
步骤三、将采集到的电力部件图像经过归一化预处理后输入步骤二获得且设置好的新的深度卷积神经网络进行学习，按照绝缘子、金具、杆塔类别进行分类；
步骤四、进行仿真实验进行验证。
2.根据权利要求1所述的基于知识迁移学习的航拍电力部件图像的分类方法，其特征在于：卷积神经网络GoogLeNet具有144个单层，其中有22个具有学习权重的功能层，包括21个卷积层和1个全连接层，第一层卷积层采用64个7×7卷积核，步长stride为2的结构，填充padding=[3 3 3 3]的结构，卷积后得到64维的特征，第一层卷积层特征输出为112×112×64，第一层卷积层后直接输入到激励层，激励函数选择通用的ReLU函数，第一层卷积层采用3×3核的池化层，池化采用最大池化max pool的方式，通过池化后特征向量变为56×56×64维，随后加入norm层；第二层卷积采用192个3×3的卷积核，步长stride为1的结构，填充padding=[1 1 1 1]的结构，特征向量变为56×56×192，激励层和池化层输出特征为28×28×192维。
3.根据权利要求1所述的基于知识迁移学习的航拍电力部件图像的分类方法，其特征在于：参数优化设置包括，采用动量的随机梯度下降算法，动量设置为0.9；小批量算法设置为10，小批量算法是随机梯度下降算法和批量算法的混合形式；最大轮数设置为3；L2参数正则化权重衰减设置为0.00055，正则化策略通过向目标函数添加一个正则项，使权重更加接近原点；学习率为10-4；验证频率为15。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910721060.5A CN110472545B (zh) | 2019-08-06 | 2019-08-06 | 基于知识迁移学习的航拍电力部件图像的分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910721060.5A CN110472545B (zh) | 2019-08-06 | 2019-08-06 | 基于知识迁移学习的航拍电力部件图像的分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110472545A CN110472545A (zh) | 2019-11-19 |
| CN110472545B true CN110472545B (zh) | 2022-09-23 |
Family
ID=68510679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910721060.5A Active CN110472545B (zh) | 2019-08-06 | 2019-08-06 | 基于知识迁移学习的航拍电力部件图像的分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110472545B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930392A (zh) * | 2019-11-26 | 2020-03-27 | 北京华医共享医疗科技有限公司 | 基于GoogLeNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质 |
| CN111027709B (zh) * | 2019-11-29 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 信息推荐方法、装置、服务器及存储介质 |
| CN111104877B (zh) * | 2019-12-06 | 2023-04-07 | 中国人民解放军陆军炮兵防空兵学院 | 通用动量方法、基于通用动量方法的目标检测与识别方法 |
| CN112949669A (zh) * | 2019-12-10 | 2021-06-11 | 中国科学院深圳先进技术研究院 | 估计数字图像中高斯低通滤波参数的方法 |
| CN111523401B (zh) * | 2020-03-31 | 2022-10-04 | 河北工业大学 | 一种识别车型的方法 |
| CN111611924B (zh) * | 2020-05-21 | 2022-03-25 | 东北林业大学 | 一种基于深度迁移学习模型的蘑菇识别方法 |
| CN112202510B (zh) * | 2020-09-27 | 2022-09-16 | 广州大学 | 基于正则化流神经网络的信号检测方法 |
| CN113762304B (zh) * | 2020-11-26 | 2024-02-06 | 北京京东乾石科技有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN112668498B (zh) * | 2020-12-30 | 2024-02-06 | 西安电子科技大学 | 空中辐射源个体智能增量识别方法、***、终端及应用 |
| CN113052388A (zh) * | 2021-04-01 | 2021-06-29 | 北京工商大学 | 一种时间序列预测方法及装置 |
| CN113094181A (zh) * | 2021-05-06 | 2021-07-09 | 苏州联电能源发展有限公司 | 面向边缘设备的多任务联邦学习方法及装置 |
| CN113537353B (zh) * | 2021-07-19 | 2022-09-20 | 天津工业大学 | 一种绝缘子图像数据的小样本学习方法 |
| CN113569940B (zh) * | 2021-07-23 | 2023-06-06 | 中山大学 | 一种基于知识迁移和概率校正的少样本目标检测方法 |
| CN113569737A (zh) * | 2021-07-28 | 2021-10-29 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 |
| CN114005002B (zh) * | 2021-11-26 | 2024-07-19 | 中国科学院沈阳自动化研究所 | 基于核操作的核全连接神经网络的图像识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018163790A1 (ja) * | 2017-03-06 | 2018-09-13 | ソニー株式会社 | 情報処理装置 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** |
| CN108985134A (zh) * | 2017-06-01 | 2018-12-11 | 重庆中科云丛科技有限公司 | 基于双目摄像机的人脸活体检测及刷脸交易方法及*** |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN109344815A (zh) * | 2018-12-13 | 2019-02-15 | 深源恒际科技有限公司 | 一种文档图像分类方法 |
| CN109426759A (zh) * | 2017-08-22 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 物品的可视化文件归档的方法、装置和电子设备 |
| CN109961034A (zh) * | 2019-03-18 | 2019-07-02 | 西安电子科技大学 | 基于卷积门控循环神经单元的视频目标检测方法 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
-
2019
- 2019-08-06 CN CN201910721060.5A patent/CN110472545B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018163790A1 (ja) * | 2017-03-06 | 2018-09-13 | ソニー株式会社 | 情報処理装置 |
| CN108985134A (zh) * | 2017-06-01 | 2018-12-11 | 重庆中科云丛科技有限公司 | 基于双目摄像机的人脸活体检测及刷脸交易方法及*** |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN109426759A (zh) * | 2017-08-22 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 物品的可视化文件归档的方法、装置和电子设备 |
| CN108596213A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学（武汉） | 一种基于卷积神经网络的高光谱遥感图像分类方法及*** |
| CN109344815A (zh) * | 2018-12-13 | 2019-02-15 | 深源恒际科技有限公司 | 一种文档图像分类方法 |
| CN109961034A (zh) * | 2019-03-18 | 2019-07-02 | 西安电子科技大学 | 基于卷积门控循环神经单元的视频目标检测方法 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Design and Implementation of Deep Neural Network for Edge Computing";Junyang Zhang;《IEICE Transactions on Information and Systems》;20180801;第E101-D卷(第8期);第1982-1996页 * |
| "GoogleNet论文笔记";Eminem1147;《https://zhuanlan.zhihu.com/p/56530853》;20190301;第1-6页 * |
| "基于卷积神经网络的遥感图像目标检测与识别";赵旭江;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615(第06期);第I140-708页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110472545A (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472545B (zh) | 基于知识迁移学习的航拍电力部件图像的分类方法 | |
| CN106355151B (zh) | 一种基于深度置信网络的三维sar图像目标识别方法 | |
| CN111914728B (zh) | 高光谱遥感影像半监督分类方法、装置及存储介质 | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN109614968B (zh) | 一种基于多尺度混合图像风格化的车牌检测场景图片生成方法 | |
| CN108764308A (zh) | 一种基于卷积循环网络的行人重识别方法 | |
| CN108764298B (zh) | 基于单分类器的电力图像环境影响识别方法 | |
| CN111414953B (zh) | 点云分类方法和装置 | |
| CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
| CN106295613A (zh) | 一种无人机目标定位方法及*** | |
| CN111160268A (zh) | 一种基于多任务学习的多角度sar目标识别方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| Yang et al. | Ultra-lightweight CNN design based on neural architecture search and knowledge distillation: A novel method to build the automatic recognition model of space target ISAR images | |
| CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
| CN111192240B (zh) | 一种基于随机接入记忆的遥感图像目标检测方法 | |
| CN115880497A (zh) | 基于自编码器结合多层感知机的翼型结冰冰形预测方法 | |
| CN114998688A (zh) | 一种基于YOLOv4改进算法的大视场目标检测方法 | |
| CN114170446A (zh) | 一种基于深层融合神经网络的温度、亮度特征提取方法 | |
| CN116826734A (zh) | 一种基于多输入模型的光伏发电功率预测方法及装置 | |
| CN115616570A (zh) | 基于半监督生成对抗网络的sar目标识别方法 | |
| CN114202746B (zh) | 路面状态识别方法、装置、终端设备及存储介质 | |
| CN113537228B (zh) | 一种基于深度特征的实时图像语义分割方法 | |
| CN113657290A (zh) | 一种螺类采集与细分类识别*** | |
| CN114973177A (zh) | 车位检测方法、装置、车辆及存储介质 | |
| CN114595641A (zh) | 组合优化问题的求解方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |