CN107944412A - 基于多层卷积神经网络的输电线路自动识别***及方法 - Google Patents

Abstract

本发明公开了一种基于多层卷积神经网络的输电线路自动识别***及方法，包括：设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物***置信息；目标跟踪模块：根据检测到的物***置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。本发明有益效果：深度学习可以自动学习到反映目标的良好特征,无需人工设计，也无需重新设计，一次训练，到处执行，只需模型调优和多次离线训练。

Description

基于多层卷积神经网络的输电线路自动识别***及方法

技术领域

本发明属于电力***运行和故障诊断技术领域，具体涉及一种基于多层卷积神经网络的输电线路自动识别***及方法。

背景技术

目前，电力***针对传统输电线路的图像数据库存在类别少、数量不足、结构和场景单一等问题，仅能针对特定任务进行识别。线上障碍物千差万别，尺度变化极大，光照影响非常明显。尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，输电线路上可靠的图像识别技术仍存在许多悬而未决的问题，距实际应用仍有很大差距，尤其是针对线路缺陷此类高发性事件。因此如何面向巡检实际需求建立图像的高效表示和分类方法，实现图像的准确识别，尤其是基于图像的故障诊断具有重要意义。

传统的特征表达通过手工设计的特征来实现PAST、LOG、HOG、SIFT、SURF、HARRIS特征提取算子几乎都只着眼于底层特征。缺点是费时费力,需要根据具体问题和任务的不同而重新设计。

发明内容

本发明的目的就是为了解决上述问题，提出了一种基于多层卷积神经网络的输电线路自动识别***及方法，该***及方法利用GPU的强大协同并行计算能力，结合多层卷积神经网络模型在训练中的并行特点，实现快速高效的架空输电线路视觉分析***，利用GPU强大的计算能力，巡检机器人在运行过程中其视觉***能够实现实时目标识别效果以及体现实时分析能力。

为了实现上述目的，本发明采用如下技术方案：

基于多层卷积神经网络的架空输电线路自动识别***，包括：

设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；

目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物***置信息；

目标跟踪模块：根据检测到的物***置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；

目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。

进一步地，所述设备图片数据库中的图像或者视频要求能够从不同方位以及不同光线情况下反映设备的状态。

进一步地，包括：

在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物***置信息；

根据检测到的物***置信息，辅以检测目标结构化的先验信息，采用基于检测的跟踪方法实现对目标的在线跟踪；

采用多层卷积神经网络模型，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别。

进一步地，在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物***置信息时，采用多层卷积神经网络模型的目标检测方法。

进一步地，采用多层卷积神经网络模型的目标检测方法具体为：

(1)将输入图片划分为S*S的网格，每个网格给出B个边界盒判决，每个边界盒判决五元组数据，5个信息元分别为:x，y，w，h，object_prb,其中x和y为边界盒的中心坐标，w和h为box的长宽，object_prob为边界盒内存在物体的概率Pr(Object)；

(2)每个小网格给出有物体存在时的C个分类的条件概率Pr(Class|Object)，从而得到整体图片中各个小网格内的各分类概率Pr(类别)＝Pr(Class|Object)*Pr(目标)；

设置判决阈值，高于判决阈值的就是识别出的目标分类；(3)根据各个小网格中的已识别目标分类，及每一个目标分类对应的边界盒信息，计算出各个目标的整个分割区域位置信息，从而在图像或视频中标记出来；

(4)计算最终的IOU为预测边界盒与物体真实区域的交集面积。

进一步地，挑选大量被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化情况的样本进行深度学习；假设每一个视频帧彼此独立，根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。

进一步地，采用基于检测的跟踪方法实现对目标的在线跟踪时，根据前一帧的物***置信息来检测当前帧中的全部的扫描子窗口，检测到目标可能出现的一个或者多个位置；根据检测结果给出当前帧中是否存在目标以及目标的位置信息。

进一步地，采用基于检测的跟踪方法实现对目标的在线跟踪时，假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。

进一步地，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别时，利用深度学习的方法提取图片的特征算子；离线状态下，在现有设备图像数据库的基础上实现多层卷积神经网络的训练，得到稳定的分类器；将巡检机器人实时获取的线路信息与分类器中的信息进行对比，搜索设备状态，实现架空输电线路上障碍物的自动识别。

进一步地，多层卷积神经网络模型包括：输入层、卷积层、全连接层和输出层；

输入层将经过预处理的图像送入卷积神经网络的卷积层进行卷积；

进行降采样/池化：将Pooling窗口中的所有值组合，以最大值作为采样值；

全连接层的投影矩阵以及阈值通过随机梯度下降的方式更新优化；

输出层即分类器，由欧式径向基函数单元组成，每个输出RBF单元计算输入向量x和参数向量c之间的欧式距离，取欧式距离最大值作为最终输出结果。

本发明有益效果：

1.本发明采用深度学习算法，可以自动学习到反映目标的良好特征,无需人工设计，也无需重新设计，一次训练，到处执行，只需模型调优和多次离线训练。经验证训练好的模型对于图像识别正确率极高且鲁棒性良好。

2.GPU强大的运行能力解决了大规模数据训练与测试的实时性问题。

附图说明

图1为采用多层卷积神经网络模型进行输电线路识别示意图；

图2为多层卷积神经网络模型的两级特征提取过程示意图；

图3为架空输电线整体构架示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步的说明。

针对传统的PAST、LOG、HOG、SIFT、SURF、HARRIS等方法提取特征算子费时费力的问题，卷积神经网络(CNN)主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。

卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

本发明提出一种基于多层卷积神经网络的架空输电线路自动识别***，包括：

设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；传统人工巡检和直升机巡检的方法拍摄有大量导地线、金具、绝缘子、杆塔图片，将这些图片分类保存并用labelimg软件对图片进行标记。由于线上障碍物千差万别，尺度变化极大，光照影响非常明显，尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，设备图片数据库中的图片要求能够从不同方位以及不同光线情况反映设备的状态。

目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物***置信息；

目标跟踪模块：根据检测到的物***置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；

目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。

本发明提出一种基于多层卷积神经网络的架空输电线路自动识别新方法，开发并完善大规模多类别多模态输电线路线上设备图像数据库，通过模式识别、深度学习和GPU并行计算框架，根据人脑视皮层视觉信号传导通路和处理机制，建立多层卷积神经网络计算模型，对于输电线路线上设备与金具图像特征进行获取并分析、识别，最终得到一个多模态多类别的图像分析***。利用GPU的强大协同并行计算能力，结合目标图像多层卷积神经网络模型在训练中的并行特点，实现快速高效的深度卷积神经网络训练，得到巡检机器人视觉***在线运行的实时目标识别效果。

具体实现方案如图1所示，包括：

第一步，依据现有信息建立设备图片数据库。传统人工巡检和直升机巡检的方法拍摄有大量导地线、金具、绝缘子、杆塔图片，将这些图片分类保存并用labelimg软件对图片进行标记。由于线上障碍物千差万别，尺度变化极大，光照影响非常明显，尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，图片数据库要求能够从不同方位以及不同光线情况反映设备的状态。

第二步，提取特征算子。利用深度学习的方法提取图片的特征算子，深度学习可以自动学习到反映目标的良好特征,无需人工设计，也无需重新设计，一次训练，到处执行。只需模型调优和多次离线训练，模型可以通过层级映射提取从边缘、纹理等底层特征到高层抽象语义特征等一系列不同层次的特征表示。图2给出了多层卷积神经网络模型的两级特征提取过程。

第三步，训练分类器。离线状态下，在现有设备图像数据库的基础上实现卷积神经网络的训练，得到稳定的分类器。

第四步，识别。将巡检机器人实时获取的线路信息与分类器中的信息进行对比，搜索设备状态。采用算法为基于GPU/CUDA计算框架的多尺度的多层卷积神经网络的识别器。这需要对检测模块进行修改，在输出层使用卷积层替代检测模块的全连接层，联合使用物体检测标注数据和精确的物体分类标注数据训练目标检测模型。

基于多层卷积神经网络的架空输电线路自动识别新方法集成于架空输电线路视觉自动识别模块，架空输电线路视觉自动识别模块属于非接触式视觉图像处理模块。该模块集成如下三类子模块：目标检测模块、目标跟踪模块、与目标识别模块。三类子模块相互衔接相互支持，在功能上相辅相成的作用。其中目标检测模块的功能为在视频图像中定位出具体线上障碍物如绝缘子串的目标，并为目标跟踪模块提供当前帧的物***置信息。采用算法为基于GPU/CUDA计算框架的多尺度的多层卷积神经网络的检测器。目标跟踪模块的功能在于利用目标检测模块所提供的物***置信息，辅以检测目标少量结构化的先验信息来实现对目标的长期在线跟踪。采用算法为基于检测的***(tracking by detection)。在运行中检测模块会根据前一帧的物***置信息来检测当前帧中的全部的扫描子窗口，检测到目标可能出现的一个或者多个位置。并根据跟踪结果和检测结果给出当前帧中是否存在目标以及目标的位置等信息。在目标识别模块：自动识别模块需要能够实现在不同尺度、背景、光照、角度下的各类线上设备类型识别。采用算法为基于GPU/CUDA计算框架的多尺度的多层卷积神经网络的识别器。

A目标检测模块

该模块功能为在视频图像中定位出具体线上障碍物如绝缘子串的目标，并为目标跟踪模块提供当前帧的物***置信息。采用算法为基于GPU/CUDA计算框架的多尺度多层卷积神经网络的检测器。相对比其它主流检测方法，其主要特点为：

(1)采用简单的回归方法，输入图像经过一次推演，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。而其它主流检测方法如rcnn/fast rcnn/faster rcnn将检测结果分为两部分求解：物体类别(分类问题)，物***置即bounding box(回归问题)。因此该方法要比主流深度卷积学习网络快，比其它实时***的精度高。

(2)对图片进行全局预测，而不像R-CNN局部容易误判背景，背景误判降低一半。

(3)学习的是目标物体的更通用表征，比DPM方法(deformable parts models)和R-CNN模型有更高的预测准确度。

(4)快速识别定位，以时间换精度。

目标检测算法的步骤简介如下：

(1)将输入图片划分为S*S的网格(grid cell)，每个网格给出B个边界盒(bounding box)判决，每个边界盒判决五元组数据，5个信息元分别为(x，y，w，h，object_prb),其中x和y为box的中心坐标，w和h为box的长宽，object_prob为box内存在物体的概率Pr(Object)。

(2)每个小网格给出有物体存在时的C个分类的条件概率Pr(Class|Object)，从而可以得到整体图片中各个小网格内的各分类概率Pr(类别)＝Pr(Class|Object)*Pr(目标)，

设置合适的判决阈值，高于判决阈值的就是识别出的目标分类。如果该单元中不存在目标，则置信分数应为零。

(3)根据各个小网格中的已识别目标分类，及对应的边界盒信息，可以计算出各个目标的整个分割区域位置信息，坐标、长宽等，从而在图像或视频中标记出来。

(4)计算最终的IOU(intersection over union)为预测bounding box与物体真实区域的交集面积(以像素为单位，用真实区域的像素面积归一化到[0,1]区间)。

IOU指的是检测评估函数；边界盒指的是物***置；真实区域即步骤3中计算得出的每个bounding box中值比较高的部分的聚集区。从而根据最终的IOU预测出边界盒与物体真实区域交集的面积。目标检测算法的卷积网络模型如下：

(1)模型来源于通用多层卷积神经网络CNN。整体由24个卷积层和2个全连接层组成，如Figure 3所示。其中卷积层用来提取图像特征，全连接层用来预测图像位置和类别概率值。

(2)最后一层有7x7＝49个输出，每一个输出是30维，其中30＝20(分类)+5x2(回归的边界盒即bounding box)。20为预定分类数。可根据数据库实际情况进行设定。

(3)预训练。使用Google的ImageNet 1000类数据训练网络的前20个卷积层和1个average池化层和1个全连接层。训练图像分辨率需要调整到224x224。

(4)正式训练。用预训练得到的前20个卷积层网络参数来初始化模型前20个卷积层的网络参数，然后用VOC20类标注数据进行模型训练。为提高图像精度，在训练检测模型时，将输入图像分辨率调整到448x448。

(5)最终测试。使用分好类的线上图像数据库进行测试，得到结果。

在训练过程中，模型的损失函数使用均方和误差来优化模型参数，即网络输出的S*S*(B*5+C)维向量与真实图像的对应S*S*(B*5+C)维向量的均方和误差。函数定义如下：

其中，loss表示模型损失函数，coordError表示坐标均方误差，iouError表示检测评价函数误差，classError表示分类误差。

最后整个的损失函数如下所述：

其中，第一个方框内表示坐标均方误差；第二个方框内表示IOU误差，其中第一部分为含object的boxde confidence预测，第二部分为不含object的boxde confidence预测；第三个方框内表示分类误差。

B目标跟踪模块

对于长时间跟踪而言，一个关键的问题是：当目标重新出现在相机视野中时，***应该能重新检测到它，并开始重新跟踪。但是，长时间跟踪过程中，被跟踪目标将不可避免的发生形状变化、光照条件变化、尺度变化、遮挡等情况。传统的跟踪算法，前端需要跟检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种方法有一个致命的缺陷，即当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败。因此，对于长时间跟踪，或者被跟踪目标存在形状变化情况下的跟踪，需要采用检测的方法来代替跟踪(tracking by detection)或采用在线学习的方法来进行跟踪(tracking by learning)。其中在线学习的跟踪方法虽然在某些情况下可以改进跟踪效果，但是算法效果与在线学习的效率紧密相关。换言之，如果在线学习的性能因硬件或软件出现瓶颈，那么跟踪就会失败。

在线学习的另一个尚未解决的问题是跟踪飘移(drifting)。基于在线学习的视觉跟踪一般需要将跟踪问题转换成关于目标与背景的二分类问题，即通过判别式的学习过程来进行跟踪。然而在目标出现较长时间低形变和较为剧烈的光照遮挡时，判别式模型会逐渐学习噪声部分而非目标本身，其结果是跟踪框出现漂移(从跟踪目标变成跟踪背景)。相比之下，基于检测的方法简单可靠，计算开销较少。但它需要一个离线的学习过程。即在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。此问题可以通过使用深度学习来进行大规模的线下训练得到解决。

综合考虑以上因素，本发明采用的是基于检测的跟踪算法。运行机制由检测模块和跟踪模块互补干涉之间并行进行处理。首先，跟踪模块假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。如果目标在相机视野中消失，将造成跟踪失败。检测模块假设每一个视帧都是彼此独立的，并且根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。

C跟踪算法的先验知识

研究发现，如直接应用传统目标跟踪算法在线上进行视觉跟踪时，算法往往因为特征表示单一、背景信息利用不足而造成跟踪鲁棒性较差。事实上，在基于视觉的目标跟踪算法中，目标的先验知识至关重要，线上目标因自身结果和电气特性往往带有结构化的外观。如能通过样本统计学习得到可靠的结构性目标先验视觉信息，就可以对目标进行高效表示，在目标跟踪中通过充分利用这些先验知识来提高跟踪精度。因此，了解输电线路上固定障碍物及其结构特性有助于构建先验知识。在电力输送过程中，架空高压输电线通过金属部件固定在杆塔上，杆塔附件成为巡线机器人完成巡检任务的主要障碍物。针对所研究的110KV/220KV电压等级、导线规格为LGJ-185的输电线路而言，其部件分布情况如图3所示，主要部件与先验知识如下：

杆塔：用来支承架空线路导线和架空地线，并使导线之间、导线与架空地线之间有足够的安全距离。主要有直线杆塔和耐张杆塔两种，其中直线杆塔用来固定直线段输电线路，而耐张杆塔用来固定带有转弯或导线接续的线路段。杆塔的支撑特性据定了它的结构形状为多级树杈型，在摄像机成像平面的投影为多交叉直线聚合体。因此对于杆塔的检测可以认为基于直线或线段几何基元先验知识的检测算法能够起到较好的辅助效果。

间隔棒：在双***或多***架空线路中使用，起到固定衔接多***导线、防震效果，通常有一字型和十字型两种，间隔棒在摄像机成像平面的投影为单一直线或十字型。因此对于间隔棒的检测可以认为基于直线或线段几何基元先验知识的检测算法能够起到较好的辅助效果。

防震锤：用其来吸收风振能量，以达到减轻架空线振动的效果，一般分布在平行于杆塔，根据防震要求在杆塔两侧分别安装1～3个。防震锤长度约50cm，高度约15cm，与杆塔线夹之间距离在70～100cm左右，防震锤在摄像机成像平面的投影为正面圆形或侧面哑铃形。因此对于防震锤的检测，可通过正面的圆形基元检测或侧面沿导地线两侧搜索。

悬垂线夹：用来将导线固定在直线杆塔的悬垂绝缘子串上，或将架空地线悬挂在直线杆塔的架空地线支架上。悬垂线夹为月牙形，长度约为20cm。因此对于悬垂线夹的检测，可通过侧面沿导地线两侧搜索弧形几何基元来进行。

耐张线夹：用来将导线或架空地线固定在耐张绝缘子串上，主要起锚固作用，主要用于耐张杆塔上。耐张线夹有螺栓式、压缩型、楔型三类，其中螺栓式耐张线夹是借U型螺丝的垂直压力与线夹的波浪形线槽所产生的摩擦效应来固定导线的，这是高压输电线路中最为常见的一种耐张线夹，其他两种线夹的结构相对简单，在设计中只考虑螺栓式线夹。这种线夹采用靴式结构，其长度约为60cm。耐张线夹在摄像机成像平面的投影一般为正面圆形或侧面哑铃形因此对于悬垂线夹的检测，可通过侧面沿导地线两侧搜索弧形几何基元来进行。

接续金具：用于导线的接续及架空地线的接续，用在耐张杆塔上，一般采用压接管或多个铝并沟线夹连接，其总长度不超过50cm。

引流跳线：用于连接承力杆塔(耐张、转角和终端杆塔)两侧导线的引线，由于安装过程中的差异，其下垂弧度存在很大不同，在检测***设计中暂考虑跳线最大下垂弧度为1m。可通过侧面沿导地线下方搜索长弧形几何基元来进行检测。

D目标识别模块

目标检测模块可以快速对输入图像或视频流来实时检测是否存在待检物体。主要原因在于模型将物体检测作为回归问题进行求解，同时整个检测网络流水线结构简单。在保证检测准确率的前提下，可以达到超过30帧的检测速度，同时背景误检率低。然而，识别物***置精准性差和识别物体准确率差是检测模块的通用缺点。因此，需要加入目标识别模块来进一步实现在不同尺度、背景、光照、角度下的各类线上设备类型和缺陷识别，为下一步的目标表征分析模块提供类型信息。采用算法为基于GPU/CUDA计算框架的多尺度的多层卷积神经网络的识别器，这需要对检测模块进行修改，在输出层使用卷积层替代检测模块的全连接层，联合使用物体检测标注数据和精确的物体分类标注数据训练目标检测模型。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于多层卷积神经网络的架空输电线路自动识别***，其特征在于，包括：

设备图片数据库：用于分类存储输电线路上障碍物的图像或者视频信息，并对图像或者视频进行标记；

目标检测模块：用于在视频或者图像中定位出线上障碍物的目标，并提供当前帧的物***置信息；

目标跟踪模块：根据检测到的物***置信息，辅以检测目标结构化的先验信息来实现对目标的在线跟踪；

目标识别模块：用于实现在不同尺度、背景、光照、角度下的各类线上设备类型的识别。

2.如权利要求1所述的一种基于多层卷积神经网络的架空输电线路自动识别***，其特征在于，所述设备图片数据库中的图像或者视频要求能够从不同方位以及不同光线情况下反映设备的状态。

3.基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，包括：

在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物***置信息；

根据检测到的物***置信息，辅以检测目标结构化的先验信息，采用基于检测的跟踪方法实现对目标的在线跟踪；

采用多层卷积神经网络模型，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别。

4.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，在视频或者图像中定位出输电线路上障碍物的目标，并提供当前帧的物***置信息时，采用多层卷积神经网络模型的目标检测方法。

5.如权利要求4所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，采用多层卷积神经网络模型的目标检测方法具体为：

(1)将输入图片划分为S*S的网格，每个网格给出B个边界盒判决，每个边界盒判决五元组数据，5个信息元分别为:x，y，w，h，object_prb,其中x和y为边界盒的中心坐标，w和h为box的长宽，object_prob为边界盒内存在物体的概率Pr(Object)；

(2)每个小网格给出有物体存在时的C个分类的条件概率Pr(Class|Object)，从而得到整体图片中各个小网格内的各分类概率Pr(类别)＝Pr(Class|Object)*Pr(目标)；

设置判决阈值，高于判决阈值的就是识别出的目标分类；(3)根据各个小网格中的已识别目标分类，及每一个目标分类对应的边界盒信息，计算出各个目标的整个分割区域位置信息，从而在图像或视频中标记出来；

(4)计算最终的IOU为预测边界盒与物体真实区域的交集面积。

6.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，挑选大量被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化情况的样本进行深度学习；假设每一个视频帧彼此独立，根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。

7.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，采用基于检测的跟踪方法实现对目标的在线跟踪时，根据前一帧的物***置信息来检测当前帧中的全部的扫描子窗口，检测到目标可能出现的一个或者多个位置；根据检测结果给出当前帧中是否存在目标以及目标的位置信息。

8.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，采用基于检测的跟踪方法实现对目标的在线跟踪时，假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。

9.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，实现不同尺度、背景、光照以及角度下的输电线路上设备类型的识别时，利用深度学习的方法提取图片的特征算子；离线状态下，在现有设备图像数据库的基础上实现多层卷积神经网络的训练，得到稳定的分类器；将巡检机器人实时获取的线路信息与分类器中的信息进行对比，搜索设备状态，实现架空输电线路上障碍物的自动识别。

10.如权利要求3所述的基于多层卷积神经网络的架空输电线路自动识别方法，其特征在于，多层卷积神经网络模型包括：输入层、卷积层、全连接层和输出层；

输入层将经过预处理的图像送入卷积神经网络的卷积层进行卷积；

进行降采样/池化：将Pooling窗口中的所有值组合，以最大值作为采样值；

全连接层的投影矩阵以及阈值通过随机梯度下降的方式更新优化；

输出层即分类器，由欧式径向基函数单元组成，每个输出RBF单元计算输入向量x和参数向量c之间的欧式距离，取欧式距离最大值作为最终输出结果。