CN109961460A - 一种基于改进YOLOv3模型的多目标巡检方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOv3模型的多目标巡检方法，属于线路维护技术领域，包括：设计一种适应电力无人机巡检目标视觉特性的YOLOv3网络结构，对无人机巡检场景下的目标进行动态跟踪及检测识别；构建基于深度学习模型的视频信息提取、分析与目标检测模型；针对高速运动条件下的目标，对相邻帧图像的识别结果进行关联分析；利用目标有效特征，采用匹配算法在序列图像中寻找与目标模板最相似的图像位置，为下一步的目标巡检提供可靠数据来源。本发明还公开了实现上述方法的步骤、设备及存储介质，本发明示例的技术方案，用于输电线线路无人机实时巡检，实时性高、结果准确，比起目前采用的人工巡检，大大降低了成本。

Description

一种基于改进YOLOv3模型的多目标巡检方法

技术领域

本发明属于电力线路运维技术领域，尤其涉及输电线路的巡检，具体的说是一种基于深度学习的图像处理技术。

背景技术

架空输电线路无人机巡检***与其他无人飞行器在应用需求上存在明显区别，各项技术指标要求存在较大差异，检测项目和检测方法等尚属空白，目前无人机主要应用在平原、丘陵等地形环境，尚未涉及在高寒、高海拔、无人区等复杂地形的应用研究。

国内单位对架空输电线路无人机巡检作业相关研究，主要侧重于应用可行性验证方面，在嵌入式多目标识别跟踪等方面的技术研究涉及较少。从近年各单位的研究、应用情况来看，无人机巡检作业仍然存在以下突出问题：

(1)无人机巡检后台处理实时性不足，巡检效率低

无人机巡检场景下采集的数据分析多为后台离线处理，实时性不足，针对多目标、复杂背景下的输电线路目标缺陷异常缺乏在线初步诊断。同时无人机巡检缺乏输变电设备目标实时检测，导致采集到的很多视频图像数据不是目标区域，产生大量冗余数据，降低巡检效率。

(2)无人机多目标巡检无法实现

无人机在巡检过程中，对采集的所有图像进行目标缺陷检测的时候，无法有效的同时识别出多缺陷位置，容易造成漏报，缺乏智能化辅助手段，对巡检结果的有效性造成较大影响。

(3)巡检无人机针对导线、小金具等小目标检测能力不足

由于巡检无人机所采集的图像都是较远距离所拍摄的，而小金具等细粒度缺陷很难快速检测出来，目前的常规深度学习模型同样对小尺寸目标检测能力较差，无法满足无人机实时巡检的要求。

随着人工智能、嵌入式图像处理与识别的发展，结合现阶段无人机巡检的业务需求，开展无人机巡检在线检测、目标诊断与智能控制技术研究与应用，为上述问题提供合理的解决方案，从而提高巡检效率，保障巡检安全。

发明内容

为解决上述现有技术中的不足，本发明的目的在于提供一种基于改进 YOLOv3模型的多目标巡检方法，该方法及系以无人机和直升机待在嵌入式FPGA 芯片为载体，在输电线路多目标缺陷巡检中进行实时检测识别，同时可在农业、矿业、交通基础设施、勘测和公共安全等场景开展推广应用。

本发明所采用的技术方案为：

一方面，提供了一种基于改进YOLOv3模型的多目标巡检方法，包括：

对基于YOLOv3模型的多目标检测与SURF特征点的运动状态下多目标跟踪技术相结合；

进一步的，通过YOLOv3模型进行巡检多目标检测，利用目标有效特征，使用适当匹配算法，在序列图像中寻找与目标模板最相似的图像位置，根据目标图像的SURF特征点集进行运动状态下的多目标跟踪。

将改进的YOLOv3模型烧制在FPGA芯片上；

进一步的，将通过YOLOv3训练出的缺陷检测模型优化后烧制在智能芯片中，满足低功耗、高速度、高精准的识别效果。

将改进的YOLOv3模型多目标巡检方法应用在电力无人机视觉巡检上；

对无人机巡检场景下的目标进行动态跟踪及检测识别；

进一步的，所述采集原始图像通过安装在线路***中的成像单元进行。

进一步的，对巡检图像进行预处理，得到目标图像：

采用基于边缘检测加权引导滤波算法对构建的缺陷样本数据库进行去噪、去雾等处理。

进一步的，对目标图像进行数据集增广，采用图像去中心化、RGB扰动、随机噪声等方法进行处理。

归一化数据库的图像大小；

通过分类，均衡数据库不同缺陷类型的样本数量，构建合理的训练集和测试集。

进一步的，对目标图像进行anchors值计算：

通过kmeans算法计算数据库各类缺陷训练样本的anchors；

根据目标图像中缺陷类别和尺寸大小情况计算出合适的9个anchors值。

进一步的，初始化YOLOv3模型参数：

设置合理的模型训练迭代次数以及分步学习率；

修改anchors值和损失函数。

进一步的，训练目标缺陷检测模型：

通过Tensorflow框架中的可视化界面Tensorboard实现对模型训练过程中的参数优化；

直到模型的loss值降到很低的稳定值，才会停止模型训练；

通过AP(Average Precision)脚本计算模型在测试集上面的AP以及mAP(meanAverage Precision)值，如果结果没有达到预期，则分析原因，重新构建数据集。

进一步的，所述多目标巡检跟踪包括：

识别模型训练结果之后，就可以将模型烧制FPGA,之后将FPGA模块加载到巡检无人机；

在所述目标像素点的邻域确定目标窗口；

用所述目标窗口中所有像素点的灰度值的中值代替所述目标像素点的灰度值，得到滤波后图像。

提取目标图像中目标区域特征图向量，并输出；

读取目标区域与高纬特征图，按提取区域中出现目标物体的概率进行排序，并输出高概率特征图区域；

根据区域筛选层输出，对于区域目标进行分析、分类，根据分类要求对于像素、区域进行分类标记；

无人机巡检过程中，探测器会将图片传入图像识别模块，通过模型检测之后，输出的结果是模型预测的缺陷类型和缺陷位置坐标。

进一步的，通过模型预测目标的位置，提取目标的SURF特征点集，并计算出SURF特征点的映射矩阵。

进一步的，将SURF特征点的映射矩阵用一个列向量等价表示，通过映射矩阵的列向量可以调节神经网络的权值系数。

进一步的，通过粒子滤波，将神经网络计算出的最大粒子置信度作为结果输出，如果该粒子不是局部的最优粒子，则利用均值漂移让粒子向局部的最优点移动，最终可获得目标估计位置。

另一方面，本发明提供的一种基于改进YOLOv3模型的多目标巡检方法还包括：

成像单元，配置用于采集原始图像；

预处理单元，配置用于对原始图像进行预处理，得到目标图像；

运算单元，配置用于得出输电线路的缺陷类型；

输出单元，配置用于输出缺陷类型和定位信息；

其中，运算单元包括运算模块和数据库模块，所述数据库模块用于存储和输出线路实际缺陷类型好定位信息。

与现有技术相比，本发明的有益效果为：

1、本发明示例的一种基于改进YOLOv3模型的多目标巡检方法，针对无人机相对高速运动状态下目标易丢失、易漏检、诊断精度较低等问题，采用YOLOv3 模型与SURF特征点跟踪的无人机巡检多目标识别模型，结合嵌入式低功耗的智能芯片，实现无人机载荷受限情况下的巡检现场多目标识别诊断，提高了输电线路无人机巡检故障诊断及时性，经试验验证结果准确度高，方案可行性强。

2、本发明示例的基于改进YOLOv3模型的多目标巡检方法，对原始图片进行预处理，消除原始图片中的噪声，提高原始图片的清晰度，同时对原始图像进行数据增广，提高模型训练效果，直接提高巡检结果的准确性。

3、本发明示例的基于改进YOLOv3模型的多目标巡检方法，所采用嵌入式 FPGA等智能芯片前端识别技术，降低无人机图片存储量和图片传输压力，直接在前端将缺陷识别结果传输给后台***，有效提高了无人机巡检效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的流程图；

图2为本发明的多目标巡检算法框架图；

图3为本发明的训练模型算法流程图；

图4为本发明实施例改进YOLOv3网络参数图；

图5为本发明实施例的图像预处理和增广流程图；

图6为本发明的灰度示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，本发明的一个实施例提供了一种基于改进YOLOv3模型的多目标巡检方法，包括：

S1：通过无人机机载巡检探测器对目标区域图像进行采集；

S2：对所采集的图像进行预处理和部分数据增广；

S3：初始化改进的YOLOv3模型参数；

S4：将采集的缺陷数据进行分类模型训练，并进行参数优化，确保输出模型效果最优；

S5：将训练好的各类缺陷检测模型烧录机载FPGA芯片；

S6：机载巡检设备根据前端识别模型检测所采集图像中的缺陷位置和类型；

S7：对采集的目标图像进行SURF特征点跟踪，实时给予缺陷巡检模型反馈，并将识别结果传输回后台***。

S1中，通过机载成像设备对巡检区域进行图像的实时采集，前期采集的数据通过人工标注和校验后用于缺陷巡检模型的训练，当各类缺陷模型训练完成后将对机载设备采集的图像进行智能识别分析。

S2中，对采集的用于缺陷检测的图像进行预处理操作，流程如图5所示。通过基于边缘检测加权引导滤波算法对构建的缺陷样本数据库进行去噪、去雾、增广等处理；归一化数据库的图像大小，通过分类，均衡数据库不同缺陷类型的样本数量，构建合理的训练集和测试集。

S3中，采用图4的网络结构图和参数，通过kmeans算法计算数据库各类缺陷训练样本的anchors，设置合理的模型训练迭代次数以及分步学习率，初始化模型参数，开始在Tensorflow框架上训练基于YOLOv3的多目标缺陷检测模型，优化损失函数，实现端对端的训练和检测，克服对相互离的很近的物体以及小群体检测效果差的缺点，提高检测位置的准确性。

改进的YOLOv3损失函数：

其中，公式(1)、(2)是对缺陷坐标的预测，公式(3)是对含目标对象的box的置信度预测，公式(4)是对不含目标对象的box的置信度预测，公式 (5)是对目标缺陷类别的预测。

S4中，采用图3的训练流程，通过Tensorflow框架中的可视化界面 Tensorboard实现对模型训练过程中的参数优化，直到模型的loss值降到很低的稳定值，才会停止模型训练；通过AP(Average Precision)脚本计算模型在测试集上面的AP以及mAP(mean AveragePrecision)值，如果结果没有达到预期，则分析原因，重新构建数据库。

在该深度学习架构中，输入端为原始输电线巡检视频图像，输出端为电力目标检测结果。其中输入图像不经过经验模型分析，直接通过深度卷积层提取高纬度特征图。输出特征图用于支持三方面功能：

(1)目标区域提取层根据特征图向量提取特征图中潜在的目标区域，并将目标区域输出；

(2)区域筛选层提取读取目标区域提取曾输出与高维特征图，按提取区域中出现目标物体的概率进行排序，并输出高概率特征图区域；

(3)目标分析层根据区域筛选层输出，对于区域目标进行分析、分类，可根据分类要求对于像素、区域进行分类标记。

该深度学习网络中目标区域提取层、区域筛选层与目标分析层基于深度学习网络层开发，与已有卷积层、全连接层相连。端到端深度学习网络架构经由大量图像进行训练，其中目标区域提取层与筛选层根据标记结果区域训练网络层参数，卷积层与目标分析层根据标记结果损失函数进行调整。

S5中，识别模型训练结果之后，就可以将模型烧制FPGA,之后将FPGA模块加载到巡检无人机。

S6中，无人机巡检过程中，探测器会将图片传入图像识别模块，通过模型检测之后，输出的结果是模型预测的缺陷类型和缺陷位置坐标。

S7中，在跟踪巡检过程中，多目标巡检技术将SURF特征与线下训练获得的高层特征结合起来，利用SURF特征的尺度不变性，提高所提算法对尺度变化的目标跟踪的准确性，之后通过均值漂移跟踪算法验证和修正粒子滤波的跟踪结果。

(1)改进的BP神经网络特征学习

改进的BP神经网络用于计算粒子置信度，通过对神经网络的微调，最终可以得到最大的粒子置信度。第一帧中的目标可以通过S6的目标检测算法得到模型的预测目标位置，从而可以得到目标样本和背景样本并初始化神经网络。在跟踪过程中，如果粒子的最大置信度小于阈值，则重新采样背景模板，并使用新的模板集重新训练神经网络。提取当前帧的SURF特征点集，并与第一帧的目标SURF特征点集进行匹配，将匹配到的SURF特征点集计算SURF特征点映射矩阵。在SURF特征点矩阵中，如果某一点是SURF特征点，则把矩阵中对应的元素值设为0.3；否则，设为0。0.3这个值是通过实验经验获得的，相比较其他值效果更佳。然后，根据SURF特征点映射矩阵微调神经网络第一隐层与输入层之间的权重，第一隐层的激活函数如公式(6)、(7)表示。

h(x)＝f(x)*((W₀+W_s)*x+b) (7)

其中，x表示输入，h表示输出，b表示偏置值，W0为输入层与第一隐层之间的初始化权重，WS为列向量表示的SURF特征点映射矩阵。

(2)多目标巡检跟踪技术

在多目标的巡检跟踪过程中，无人机巡检传来的新的一帧通过采样粒子输入到神经网络中，得到其置信度，具体过程如下：

用X表示采样粒子，用(W,b)＝(W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾,...,W⁽⁶⁾,b⁽⁶⁾)表示BP神经网络各层之间的权重和偏置参数集，第一隐层的输出的计算公式如下：

a⁽¹⁾＝f(W⁽¹⁾X+b⁽¹⁾) (8)

其中，W⁽¹⁾和b⁽¹⁾分别表示第一隐层和输入层之间的权重和偏置， W⁽¹⁾＝W₀ ⁽¹⁾+W_s，f(·)表示激活函数，计算公式如公式(6)。

对于第2隐层至第5隐层，第m层的输出是第m+1层的输入，进行前向传播计算，计算公式如公式(9)所示：

a^(m)＝f(W^(m)*a^(m-1)+b^(m)) (9)

对于输出层，输出结果为对应粒子的置信度，计算公式如下所示：

c＝f(W⁽⁶⁾*a⁽⁵⁾+b⁽⁶⁾) (10)

最终的目标跟踪结果是拥有最大置信度的粒子，再根据均值漂移来验证该粒子是否是局部最优的粒子，如果不是，则将该粒子中心作为均值漂移的起点中心，进行迭代计算均值漂移向量，将粒子样本不断的向局部最优点靠近，直到获得更加准确的跟踪结果为止，多目标跟踪算法步骤如下。

初始化：通过2.1节的目标检测算法得到模型的预测目标位置，从而可以得到目标样本T和背景样本B，并初始化BP神经网络。

1)建立第一帧F1的目标模板T1；

2)提取F1的SURF特征点集P1，计算SURF特征点映射矩阵，并根据公式(7) 对BP神经网络权重进行微调；

3)针对第i帧Fi：

(a)根据粒子滤波理论获得采样粒子；

(b)根据公式(8)-(10)，使用BP神经网络计算每个粒子的置信度，最终获得置信度最大的粒子q_i ^max；

(c)根据均值偏移理论，通过迭代最终获得更加精确的跟踪结果result_i；

(d)将result_i作为Fi的最终跟踪结果并输出。

4)如果需要更新，则重新采样并初始化BP神经网络并训练，返回第2步；否则，i＝i+1，返回第3步。

基于不同的神经网络的目标检测算法性能对比如表1所示，可以看出，本专利提出的一种基于改进YOLOv3模型的多目标巡检方法在单张图片识别时间和识别率以及多目标检测中均有较好的效果。

表1基于不同的神经网络的目标检测算法性能对比

从试验结果中可以看出，一种基于改进YOLOv3模型的多目标巡检方法对输电线路缺陷的准备检测率均大于80％，平均响应时间均在250ms以内，满足无人机巡检实时性和准确性要求。通过该试验，基本验证了本发明示例的基于改进YOLOv3模型的多目标巡检方法的可行性。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。

Claims (10)

1.一种基于改进YOLOv3模型的多目标巡检方法，其特征是，包括：

对基于YOLOv3模型的多目标检测与SURF特征点的运动状态下多目标跟踪技术相结合；

将改进的YOLOv3模型多目标巡检方法应用在电力无人机视觉巡检上；

将改进的YOLOv3模型烧制在FPGA芯片上；

对无人机巡检场景下的目标进行动态跟踪及检测识别；

根据多目标识别模型，对相邻帧序列采用上下文帧间匹配技术进一步提高准确度；

将无人机缺陷检测结果传回后台***；

其中，在运动目标检测的基础上，利用目标有效特征，使用匹配算法，不仅提供目标的运动轨迹和准备定位，还为下一步的目标行为分析与理解提供可靠的数据来源。

2.根据权利要求1所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，对卷积运算模块、抽样运算模块、激活函数模块进行针对性设计。

3.根据权利要求2所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，将目标检测问题转化为回归问题，实现端对端的训练和检测。

4.根据权利要求1所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，对实时采集到的图像进行尺寸416*416的归一化处理和基于边缘检测加权的引导滤波去雾去噪处理，将预处理后的图像输送到模型识别模块，得出模型的预测缺陷类型以及预测位置。

5.根据权利要求1所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，采用多目标跟踪技术将SURF特征与线下训练获得的高层特征结合起来进行巡检跟踪。

6.根据权利要求1所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，提取当前帧的SURF特征点集，并与第一帧的目标SURF特征点集进行匹配，将匹配到的SURF特征点集计算SURF特征点映射矩阵。

7.根据权利要求1所述的基于改进YOLOv3模型的多目标巡检方法，其特征是，目标跟踪结果是拥有最大置信度的粒子，再根据均值漂移来验证该粒子是否是局部最优的粒子，如果不是，则将该粒子中心作为均值漂移的起点中心，进行迭代计算均值漂移向量，将粒子样本不断的向局部最优点靠近，直到获得更加准确的跟踪结果为止。

8.一种基于改进YOLOv3模型的多目标巡检方法，包括：

成像单元，配置用于无人机采集原始图像；

预处理单元，配置用于对原始图像进行预处理，得到目标图像；

运算单元，配置用于得出输电线路缺陷信息；

输出单元，配置用于输出输电线路缺陷类型、定位点的结果；

其中，运算单元包括运算模块和数据库模块，所述数据库模块用于存储和输出线路实际缺陷类型和定位点信息。

9.一种设备，其特征是，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-8任一所述的基于改进YOLOv3模型的多目标巡检方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征是，该程序被处理器执行时实现如权利要求1-8任一所述的基于改进YOLOv3模型的多目标巡检方法。