CN113536896A - 基于改进Faser RCNN的小目标检测方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种基于改进Faser RCNN的小目标检测方法，由处理器执行一改进Faser RCNN算法指令实现，包括：接收包含小目标的场景图片并提取第一特征图F；根据所述第一特征图F₁获得预测锚点框a(x,y,w,h)；根据所述第一特征图F₁、所述预测锚点框a(x,y,w,h)获得与所述第一特征图F₁尺寸相同的第二特征图F₂；根据所述第二特征图F₂和所述预测锚点框a(x，y,w,h)获得所述场景图片的检测结果。本发明通过基于Faser RCNN算法框架进行修改，将其下的RPN网络替换为自适应锚点框网络，使生成的锚点框能够与不同尺度目标更加匹配，进而避免因锚点框尺寸不合理而造成漏检，提高检测准确率。

Description

基于改进Faser RCNN的小目标检测方法、装置及存储介质

技术领域

本发明涉及目标识别识别领域，具体涉及一种基于改进Faser RCNN的小目标检测方法。同时，本发明还涉及一种基于改进Faser RCNN的小目标检测装置及存储介质。

背景技术

目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个***的一项重要能力。

目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点。近些年机器学习，尤其是深度学习的蓬勃发展为目标检测实现低成本、高效率提供了可能。

目前优秀的深度学习模型大致可以分为两类：第一类属于两阶段目标检测算法(two-stage)，如R-CN、SPP-Net、Fast-RCNN、Faster-RCNN等，这类算法首先从目标图像的区域候选框(RPN)中提取目标信息,然后利用检测网络对候选框中的目标进行位置的预测以及类别的识别；第二类属于一阶段(one-stage)目标检测算法，如SSD、YOLO等，这类算法不需要建立RPN网络，而是直接在图像上进行目标的预测以及类别的识别。

然而，在现实应用中，目标检测的结果往往出现小目标的检测效果远不如大目标和中目标。这是由于小目标检测存在两个问题：①信息量匮乏，即目标在图像中占比非常小，对应区域的像素所能反映出的信息量非常有限；②数据量稀缺，即数据集中含有小目标的图像少，导致了整个训练集的类别不均衡，致使小目标物体检测的准确率远低于中等和大型物体。目前，针对小目标检测效果差的问题，有如下几类方法：

①进行图像数据扩增，将图像放大，从而将小目标变大。然而这种方法简单粗暴，操作复杂，计算量太大，实际意义不强。

②利用GAN模型将小目标放大再检测，这种方法与图像数据扩增思想一致，但同样有操作复杂的缺点。

③修改模型训练的参数，如设置参数stride为1，但这种方法效果也一般。

CN 111985540 A公开了一种基于过采样faster-RCNN提高小目标检测率的方法，涉及目标识别领域，包括步骤1：获取目标图片数据集，并将该数据集划分为训练集和测试集；步骤2：根据步骤1中的训练集得到训练集的子集为过采样集；步骤3：构建faster-RCNN模型；步骤4：利用训练集和过采样集对faster-RCNN模型进行训练；步骤5：用测试集对训练后的faster-RCNN模型进行测试，若测试结果低于平均精确率AP阈值，则修改参数，再次进行步骤4后对训练结果进行测试，直至测试结果达到AP阈值；步骤6：输入需要检测的图片，利用训练后的faster-RCNN模型进行小目标检测。本发明通过对小目标进行过采样，从而提高小目标的检测率。

CN 111986160 A公开了一种基于faster-RCNN提高小目标检测效果的方法，属于目标检测领域。本发明包括：获取数据集，并按照相应比例划分成训练集及测试集；构建faster-RCNN模型；利用训练集对模型进行训练，在训练时，若在第n次迭代中，小目标的loss值达到了预设条件，则在第n+1次迭代中，将多张图片进行缩小，然后拼接成原图大小，再进行训练；在训练结束后，利用测试集对模型进行测试，得到AP值，若小于设定的阈值，则修改相应参数，重新训练，直到模型的小目标AP值达到设定的阈值；利用训练好的模型进行小目标的检测。本发明能够使小目标的分布更加均匀，进而提高小目标训练的充分度，从而提高小目标的检测精度。

CN 111898668 A公开了一种基于深度学习的小目标物体检测方法，该检测方法可以克服现有的小目标物体检测方法中检测效率不足和准确率低等问题。首先，基于COCO数据集提取出不包含小目标物体的图像，对图像尺寸进行调整后进行拼接，将拼接图像和COCO数据集中含有小目标对象的图像组成新的数据集，并按4：1的比例将数据集分成训练集和测试集；然后，修改Faster-RCNN的基础特征提取网络进行特征融合；接着，将进行融合之后的每层级融合特征通过RPN网络进行候选区域选择；再用训练集对改进后的网络进行训练，得到训练模型；最后，将测试集输入到训练好的模型进行目标检测。

CN 111368769 A提供一种基于改进锚点框生成模型的船舶多目标检测方法，包括：获取SAR船舶图像；构建低复杂度网络架构，并将图像放入低复杂度网络中，生成特征映射空间；采用基于形状相似度的聚类方法生成初始锚点框；以生成的初始锚点框为基础，采用滑窗机制在低复杂度特征空间中生成新的候选框，对候选框进行回归训练，用于船舶多目标检测。本发明解决了因网络复杂、候选框质量差造成的算法效率和检测质量低的问题，具有较好的准确性。由于采用低复杂度网络架构进行检测，因此从统计分析角度而言，数据采集量越大，也即检测次数越多，检测的效果越好。

上述专利申请的目标检测方法均属于基于Faster-RCNN的两阶段目标检测算法，其分别通过对小目标进行过采样、提高小目标训练的充分度、改进模型或模型训练过程、采用滑窗机制在低复杂度特征空间中生成新的候选框来提高小目标的检测精度。Faster-RCNN的主要步骤如下：首先，卷积层用于提取输入图片的特征图(feature maps)；其次，RPN网络用于生成区域(proposals)；再次，Roi Pooling层根据feature maps和proposals，提取区域特征图(proposal feature maps)；最后，分类层根据proposal feature maps计算proposal的类别，同时再次进行边框回归(bounding box regression)获得检测框最终的精确位置。但是，若proposals的设置尺寸不合理，容易造成漏检的问题，尤其对于两目标尺度相差较大的情况下，极易造成小尺度目标漏检的问题，从而降低了检测准确率。

发明内容

本发明目的在于提供一种基于改进Faser RCNN的小目标检测方法，该方法能够生成与目标尺寸更加匹配的锚点框，降低小尺度目标的漏检率，提高检测准确率。

本发明提供的技术方案是一种基于改进Faser RCNN的小目标检测方法，由处理器执行一改进Faser RCNN算法指令实现，包括：接收包含小目标的场景图片；使用所述FaserRCNN其第一卷积模块提取所述场景图片的第一特征图F₁；使用所述Faser RCNN其第二卷积模块根据所述第一特征图F₁获得预测锚点框中心位置a(x,y)和预测锚点框尺寸a(w,h)并根据所述预测锚点框中心位置a(x,y)和所述预测锚点框尺寸a(w,h)获得预测锚点框a(x,y,w,h)；使用所述Faser RCNN其第三卷积模块根据所述第一特征图F₁、所述预测锚点框a(x,y,w,h)获得与所述第一特征图F₁尺寸相同的第二特征图F₂；使用所述Faser RCNN其第四卷积模块根据所述第二特征图F₂和所述预测锚点框a(x,y,w,h)获得所述场景图片的检测结果。

进一步的，所述第一卷积模块的主干部分采用ResNet的卷积结构。

进一步的，所述第一卷积模块的主干部分采用ResNet50的卷积结构。

进一步的，所述ResNet50的卷积结构包括多层Deform ResNet50残差块结构，所述Deform ResNet50残差块结构其第二卷积层替换为深度可分离卷积层。

进一步的，所述第一卷积模块包括通道注意力机制模块，所述通道注意力机制模块被配置为根据所述场景图片获得特征权重S_c；所述第二卷积模块被配置为根据所述第一特征图F₁和所述特征权重S_c获得所述预测锚点框中心位置a(x,y)并根据所述预测锚点框中心位置a(x,y)获得所述预测锚点框a(x,y,w,h)。

进一步的，所述第二卷积模块的主干部分采用自适应锚点框网络结构。

进一步的，所述自适应锚点框网络根据所述第一特征图F₁获得得分特征图F_P，后根据所述得分特征图F_P获得所述预测锚点框中心位置a(x,y)；并根据所述预测锚点框中心位置a(x,y)和所述预测锚点框尺寸a(w,h)获得所述预测锚点框a(x,y,w,h)。

进一步的，所述自适应锚点框网络包括自适应调整模块，所述自适应调整模块被配置为根据所述预测锚点框a(x,y,w,h)和所述第一特征图F₁获得自适应预测锚点框a'(x,y,w,h)；所述第三卷积模块被配置为根据所述第一特征图F₁、所述自适应预测锚点框a'(x,y,w,h)获得与所述第一特征图F₁尺寸相同的第二特征图F₂。

同时，本发明还提供一种基于改进Faser RCNN的小目标检测装置，包括：

处理器；和

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述算法结构的程序指令，以实现上述基于改进Faser RCNN的小目标检测方法。

此外，本发明还提供一种基于改进Faser RCNN的小目标检测方法的计算机存储介质，当所述计算机存储介质中的指令由基于改进Faser RCNN的小目标检测装置的处理器执行时，使得所述基于改进Faser RCNN的小目标检测装置能够执行上述基于改进Faser RCNN的小目标检测方法。

本发明的主要包括四个部分：第一部分是对所述场景图片进行特征提取的过程；第二部分是根据预测锚点框中心点得到预测锚点框形状并最终生成预测锚点框A(x,y,w,h)的过程；第三部分是生成与锚点框A(x,y,w,h)尺寸相同特征图的过程；第四部分是获得场景图片检测结果的过程。

本发明的有益效果：

1、本发明通过基于Faser RCNN算法框架进行修改，将Faser RCNN算法框架下的RPN网络替换为自适应锚点框网络，使生成的锚点框能够与不同尺度目标更加匹配，进而避免因锚点框设置尺寸不合理而造成的漏检现象，最终达到提高检测准确率的目的。

2、本发明采用自适应锚点框网络，该网络主要由形状预测和位置预测两个分支，通过两个分支选择预测概率高于某个阈值的位置和每个选择位置的最可能形状来生成锚点框。通过上述的改进方式，能够得到尺寸合理的锚点框，避免造成漏检情况，提高了网络对目标的检测能力，有效的提高了检测性能。当应用于绝缘子检测时，通过对比本发明与现有的绝缘子检测算法得知，本发明的检测准确率大幅度提高。

3、当应用于绝缘子检测时，通过对比本发明与现有的绝缘子检测算法得知，本发明利用深度可分离卷积代替常规卷积减少了网络的参数量，大大提高了检测速度。

4、本发明在特征提取网络中对残差网络进行改进，添加通道注意力机制结构，使得特征图中各通道相互连接并且加强各通道中的重要特征信息，一方面更有助于后续的场景图片小目标检测过程，另一方面能够提高检测结果准确率。

附图说明

图1为本发明实施例1中基于改进Faser RCNN的小目标检测方法中DeformResNet50残差块结构示意图；

图2为本发明实施例1中基于改进Faser RCNN的小目标检测方法中深度可分离卷积的原理示意图；

图3为本发明实施例1中基于改进Faser RCNN的小目标检测方法中自适应锚点框网络结构示意图；

图4为本发明实施例1中基于改进Faser RCNN的小目标检测方法中改进FaserRCNN的网络训练流程图；

图5为本发明实施例1中基于改进Faser RCNN的小目标检测方法中改进FaserRCNN的网络框架图；

图6为本发明实施例1中绝缘子缺陷的检测流程图；

图7为本发明实施例2中正常绝缘子的缺陷检测结果图；

图8为本发明实施例2中缺陷绝缘子的缺陷检测结果图。

具体实施方式

绝缘子是架空输电线路中重要的组成部分，用来支持和固定母线与带电导体、并使带电导体间或导体与大地之间有足够的距离和绝缘。由于架空输电线路长期暴露在自然环境中，受到自然或者人为因素的影响,存在线路老化和破坏等问题，如果不对这些问题进行定期检查和检修可能引起重大安全事故发生。本领域技术人员知晓，绝缘子缺陷包括有侵蚀、开裂、破碎、芯棒外露等，但是绝缘子缺陷和绝缘子的尺度差异性较大。因此，在绝缘子缺陷检测中，漏检率相对较高。

下面将结合附图并以绝缘子检测为例对本发明提供技术方案及相应技术效果进行详细说明。

实施例1

本实施例提供一种基于改进Faser RCNN的小目标检测方法，是一种对所述场景图片进行特征提取、基于锚点框中心位置生成锚点框并最终获得检测结果的方法。为方便理解，本实施例通过以下步骤100至600对具体过程表述，这些步骤在实际实施中并不代表时间的先后顺序，在实现各步骤的实施准备条件的前提下，变更顺序的实施也是本发明的不同实施方式。

步骤100，预处理用于学习的原始输电线路图像样本图片，即为场景图片。

本实施例中，在预处理中，每张样本图片被调整为同一的尺寸，并进行数据增强。示范的，本实施例中，每张样本图片被使用双线性插值的方法调整为900×600大小，训练时使用的数据增强方式将收集到的样本图片利用旋转、裁剪、增加对比度等数据增强的方法对数据集进行扩充，数据增强方式具体参数如表1所示。本步骤获得包含小目标的场景图片数据集。具体的，本实施例中，样本图片在RGB三个通道分量展开后，一张场景图片使用一个的900×600×3的张量表示。

表1数据增强方式

利用LabelImg软件对得到的数据集进行人工标注，将绝缘子和绝缘子缺陷分别设置标签名为Insulator和defect，将其制作成可供检测网络训练的VOC格式。随机选定80％的场景图片数据集作为训练集，用于优化网络模型、20％的场景图片数据集作为测试集，用于评定模型效果。

步骤200，构建由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、通道注意力机制模块组成的改进Faser RCNN(如图5所示)。本实施例中，对本发明使用的Faser RCNN更具体的结构设置和作用，可以从以下对其工作原理说明中获得。本实施例的神经网络构建包括4个主要部分：第一部分为卷积层，第二部分为自适应锚点框网络，第三部分为ROI Pooling层，第四部分为分类和回归层。具体如下

第一部分：卷积层(conv layers)，用于提取图片的特征，输入为经预处理后得到的张量(224*224*3)，输出为提取出的特征，简称为第一特征图F₁。在这一部分的其中一种具体实施方式中，我们采用ResNet的卷积结构对场景图片进行特征提取，得到第一特征图F₁。优选的，第一神经网络第一卷积模块的主干部分采用ResNet50的卷积结构，即将张量(224*224*3)输入到ResNet50的特征提取层中。Resnet 50网络是由若干个残差块组成的，结构图如表2所示。

表2 Resnet 50网络结构

首先，输入的图像经过一个64维的7x7卷积，卷积核的步长为2，然后经过卷积核尺寸为3x3、步长为2的最大池化进行下采样，最后经过一系列残差块之后，对其做全局平均池化和1000维度的全连接层，并输出到softmax分类器进行分类处理。Resnet 50的主干网络结构并未做改进，此处不再赘述。经过特征提取后，得到第一特征图F₁。

作为本实施例的一种优选，对Resnet 50网络的残差块进行改进，由此形成Deform_Resnet 50主干特征提取网络。所述ResNet50的卷积结构包括多层DeformResNet50残差块结构，每个残差块结构包括三个卷积层(1x1+3x3+1x1)，中间的3x3卷积层首先在一个降维1x1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。

示范的，本实施例的其中一种具体实施方式为：所述Deform ResNet50残差块结构其第二卷积层(即3x3卷积层)替换为深度可分离卷积层，对于Deform_Resnet 50残差块的构建方式如图1所示。深度可分离卷积包括逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。首先将输入的C通道的图像生成对应的C个特征图，然后通过逐点卷积的方式将生成的特征图重新进行组合形成新的特征图。其中，逐点卷积的卷积核的尺寸为1x1xM，M为上一层的通道数。深度可分离卷积原理图如图2所示。相同输入的情况下，深度可分离卷积的参数个数大幅下降，大大减少了计算的复杂程度。

示范的，本实施例的另一种具体实施方式为：所述第一神经网络其第一卷积模块包括通道注意力机制模块。具体到本实施例中，在残差块的分支部分(如图1右侧分支所示)加入通道注意力机制模块，即在将张量(112*112*3)输入到ResNet50的特征提取层中，即调用通道注意力机制模块。将尺寸为W×H×C的图像输入到检测网络中，其中W、H、C分别为图像的宽、高、通道数，首先对其的C个通道进行全局平均池化(Global pooling)起到降维的作用，将其转换成1×1×C的向量，用1个全连接层(FC)减少向量的通道维度，随后经过ReLU层对函数进行激活，再经过一个FC层恢复原始的维度，最后利用Sigmoid函数激活得到特征权重。然后将输入的图像与该特征权重进行乘积运算：

F_scale(u_c,s_c)＝u_c×s_c

其中：u_c为输入特征图，s_c为激发操作得到的权值。

示范的，整个通道注意力机制模块可以用以下公式表达：

其中，

δ为激活函数，Q₁、Q₂表示为两个全连接层的权重值。

第二部分：自适应锚点框网络。

基于概率公式P(x，y,w,h|F)＝P(x，y|F)*P(w，h|x,y,F)可知，影响当中心点位置(x，y)不同时对应的预测框的概率是不同的，记为P(x，y|F)。当中心点位置(x,y)确定时，不同尺寸预测框的发生概率是不同的，记为P(w,h|x,y,F)。因此说明影响一组锚点框是有位置以及形状尺寸因素所影响。因此本实施例的自适应锚点框网络有位置预测模块和形状预测模块两个分支。

位置预测模块：首先经过第一神经网络其第一卷积模块获得的第一特征图F₁，该第一特征图F₁可以用四个参数(x，y，w，h)表示，其中(x，y)表示预测锚点框的中心点坐标，(w,h)表示预测锚点框形状的宽度和高度。然后将该第一特征图F₁经过一个1x1的卷积操作并由激活函数Sigmoid激活，生成一个与之对应的且尺度相同的得分特征图F_p，其中各点所表示的为每个像素点存在物体的得分。然后将该得分与得分阈值τ比较，阈值经实验取0.6。若F_p中的特征值得分大于阈值τ，对应的该点像素表示为目标的中心点，标记为锚点框中心位置a(x,y)。

形状预测模块：首先通过位置预测确定了锚点框a(x,y,w,h)的中心位置a(x,y)，之后需要利用中心位置所对应的最近真实框B'来确定锚点框a的形状即a(w,h)。由于利用回归运算得出a(w,h)的值是很困难的，因此采用对w、h采样近似的方法。本发明w:h有0.5、1.0、2.0三种取值。通过锚点框a与某个真实框B的最大交并比vIOU,得到与a具有最大交并比的B'(x',y',w',h'),以及此时的a(w,h)，即经过形状预测分支所输出的结果为a(w,h)。由于该数字范围较大不稳定，因此需要对于预测框的宽度和高度经过公式：W＝μ·S·e^dW，H＝μ·S·e^dH的调整，其中，S为步长、μ为经验因子(一般取值为8)。将待学习的参数范围从[1,1000]调整到[-1,1]，达到简化网络训练的目的。根据形状预测分支输出的所述锚点框中心位置a(x,y)和位置预测分支输出的所述锚点框尺寸a(w,h)，最终获得锚点框a(x,y,w,h)。

作为本实施例其中一种更优的实施方式，所述自适应锚点框网络包括自适应调整模块，所述自适应调整模块被配置为根据所述锚点框a(x,y,w,h)和所述第一特征图F₁获得自适应锚点框a'(x,y,w,h)，特征的自适应化的具体操作公式如下所示：

f_i'＝D(f_i，W_i，H_i)

其中，通过f_i是生成的第i个锚点框所映射在输入第一特征图F₁上的特征值，D(·)由3x3的可变形卷积组成，即图3中所述的Offset field。f_i'为调整后的特征值，即对第i个位置的特征及宽高进行处理。根据f_i'得到自适应锚点框a'(x,y,w,h)。自适应锚点框网络结构图如图3所示，输入为第一特征图F₁，输出为预测锚点框a(x,y，w,h)。图3中，W×H×1和W×H×2均为第一特征图F₁的尺寸表示，其中，W、H分别对应第一特征图F的宽、高，1、2代表的是通道数。如图3所示，第一特征图F₁首先经过位置定位预测，获得锚点框中心位置a(x，y)，其次经过形状预测，获得预测锚点框a(x,y，w，h)；最后，经过特征的自适应化调整得到自适应锚点框a'(x,y,w,h)。

第三部分：ROI Pooling，该层收集输入的第一特征图F₁和预测锚点框a(x,y,w,h)，综合这些信息后，得到与所述第一特征图F₁尺寸相同的第二特征图F₂，第二特征图F₂为固定尺寸的feature map，然后送入后续全连接层。优选的，该层收集输入的第一特征图F₁和自适应锚点框a'(x,y,w，h)，综合这些信息后，得到与所述第一特征图F₁尺寸相同的第二特征图F₂，

第四部分：分类和回归(Classification and regression)，这一层的输入为第二特征图F₂，输出是目标的边界框和缺陷类别置信度。利用Softmax Loss(探测分类概率)和Smooth L1Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练，从而得到目标的边界框和缺陷类别置信度(如图6所示)。

步骤300，配置损失函数并对卷积神经网络训练。

本实施例中，神经网络整个训练过程为端到端的训练，损失函数主要包括锚点定位损失函数L_loc、锚点形状预测损失函数L_shape、目标分类损失函数L_cls、回归损失函数L_reg组成：

L_loss＝λ₁L_loc+λ₂L_shape+L_cls+L_reg

其中，λ₁＝1和λ₂＝0.1

第一，对于定位损失函数L_loc，该损失函数是用来控制锚点框对应数量以达到在目标中心放置更多的锚点框，在非中心坐标放置更少的锚点框，以防止生成锚点框中正负样本不平衡。而对于位置的确定就是所保留的锚点框的中心位置。即，当中心点是负样本也就是简单分类时，预测得分y会接近于1，因此代入公式对应的权重就会变得更加小，由此，对该中心点放置的锚点框数量就会减少。由于生成的锚点框数量庞大，并且包含负样本的锚点框占据大多数。因此，为平衡锚点中所包含的正负样本，采用Focal Loss来训练位置分支。Focal loss的公式如下：

其中，y表示该锚点框位置中心预测为样本的得分，y‘表示该位置中心在预标记的实际标签值，正样本设置为1，负样本设置为0。α的值来控制正负锚点框的权重，一般α∈(0,0.5)，本文设置为0.25。γ为专注力参数，当γ＝0时，该损失函数为传统的交叉熵损失函数，因此一般γ≥0，本文γ取值为2。(1-y')^γ为调制系数，用来控制易分类和难分类样本的权重。

对于位置预测，首先将每个框分为三种类型的区域：中心区域；忽略区域；负样本区域。三种具体的区域是根据真实边框映射到所对应的特征图上所对应的位置信息所界定的，即(x₀,y₀,w₀,h₀)。因此对应的中心区域表示为

忽略区域表示为

对于其他边界区域定义为负样本区域。其中，

用来调节生成锚点框的数量，一般为

由此确定其锚点框的中心位置。

第二，对于形状预测损失函数

首先通过位置预测确定了锚点框a(x,y,w,h)的中心位置(x,y)，之后需要利用中心位置所对应的最近真实框B'来确定锚点框a的形状即a(w,h)。由于利用回归运算得出a(w,h)的值是很困难的，因此采用对w、h采样近似的方法，本发明w:h有0.5、1.0、2.0三种取值。通过锚点框a与某个真实框B的最大交并比vIOU,得到与a具有最大交并比的B'(x',y',w',h'),以及此时的a(w,h)。形状预测的损失函数为：

其中，L₁为平滑函数：

第三，对于分类损失函数

分类部分的损失函数使用的是二元交叉熵函数，公式如下所示：

其中：p_i为锚点框(anchor)预测为目标的概率，

为背景真实的概率，

的规定如下：

第四，对于回归损失函数L_reg

回归损失函数L_reg如下式所述：

其中，t_i＝{t_x,t_y,t_w,t_h}表示锚点框的的4个参数，分别为锚点框的中心位置坐标以及宽、高。

是与positiveanchor对应的groundtruth的4个坐标参数。R为smoothL1函数：

本实施例中，神经网络整个训练过程为端到端的训练，在第一神经网络第一卷积模块得到的是第一特征图F₁，在第二神经网络第一卷积模块得到的首先是锚点框中心位置的预测结果，其次得到的是锚点框中心尺寸的预测结果，最终得到的是锚点框的预测结果，将场景图片转换为目标的边界框和缺陷类别置信度。

步骤400，训练模型。

训练过程(如图4所示)中采用梯度下降对反向传播阶段进行优化，训练的批量大小batch-size设置为16，采用动量值(momentum)为0.9，权重衰减以指数形式衰减，学习率设置为0.004，设置参数num_classes为3(代表绝缘子、绝缘子缺陷和背景)，采用warmup训练策略。epoch设置为40000，每3000个epoch保存一次模型并且保存最后一次模型，最终选取loss最低的模型用于检测。

步骤500，模型应用。

在通过上面的训练过程后可以得到多个模型，选取其中最优的模型(损失函数值最小)用于应用，此时图片数据处理在这里不需要数据增强，只需要把图像调整到900*600大小，并且归一化即可作为模型的输入。整个的网络模型的参数都固定不动，只要输入图像数据并向前传播即可。依次得到第一特征图F、预测锚点框a(x,y,w,h)、第二特征图F₂，经过整个模型可以直接得到检测结果。当需要测试大量原始输电线路图像时候，可以将所有图整合为一个数据文件，如采用数据表存储各图片RGB数值时可以使用lmdb格式文件，方便一次性读取所有图片。

本实施例中，基于改进Faser RCNN网络架构中的带有通道注意力机制的ResNet50作为特征提取网络，进行场景图片的特征提取；基于改进Faser RCNN网络架构中的自适应锚点框网络作为预测锚点框网络，进行目标锚点的预测生成；最终基于改进Faser RCNN网络架构中ROI Pooling层、分类即回归层，最终输出类别置信度和类别边界框。

步骤500，模型验证

为验证本实施例的有效性将Aut-Faster RCNN检测方法与Fast RCNN、FasterRCNN、SSD、YOLO v3、YOLO v4方法在绝缘子数据集上进行训练，对比其运行速度和mAP，结果如表3所示。

表3六种检测方法在绝缘子数据集上的对比结果

根据实验分析结果可以得出，本实施例的Aut-Faster RCNN算法的平均精度(mAP)为93.67％，较当前主流检测网络相比有着较高的准确率。

本发明实施方式还包括一种计算机可读存储介质，所述计算机可读存储介质存储实现本发明方法的程序指令和/或通过本发明方法训练获得的模型参数。

本发明实施方式还包括一种基于改进Faser RCNN的小目标检测装置，其包括存储器、处理器，所述存储器存储本发明方法实施例训练获得的模型参数，所述处理器读取实现本发明改进Faser RCNN所描述的算法结构的程序指令，并依据所述模型参数实现上述小目标检测。

实施例2

选取两张包含绝缘子的场景图片作为检测对象，利用本发明实施例1所提供的检测方法进行检测。检测过程如下。

实施例2.1

(1)将一张包含绝缘子的场景图片调整为900*600尺寸，后将张量为900×600×3输入实施例1的基于改进Faser RCNN的小目标检测装置。

(2)张量(900*600*3)经卷积层得到的为第一特征图F₁∈R^37×50×512。

(3)第一特征图F₁∈R^37×50×512经自适应锚点框网络得到的为自适应锚点框a'(-212，-419，183，359)。

(4)第一特征图F₁∈R^37×50×512和a'(-212，-419，183，359)经ROI Pooling层得到的为第二特征图F₂∈R^7×7×512.

(5)第二特征图F₂∈R^7×7×512和a'(-212，-419，183，359)经分类和回归层得到的分类类别和类别置信度，结果如图7所示。

实施例2.2

(1)将另一张包含缺陷绝缘子的场景图片调整为900*600尺寸，后将张量为900×600×3输入实施例1的基于改进Faser RCNN的小目标检测装置。

(2)张量(900*600*3)经卷积层得到的为第一特征图F₁∈R^37×50×512。

(3)第一特征图F₁∈R^37×50×512经自适应锚点框网络得到的为自适应锚点框a'(-415，-425，286，431)和自适应锚点框a'(-490，-652，83，135)。

(4)第一特征图F₁∈R^37×50×512和a'(-415，-425，286，431)、a'(-490，-652，83，135)经ROI Pooling层得到的为第二特征图F₂∈R^7×7×512.

(5)第二特征图F₂∈R^7×7×512和a'(-415，-425，286，431)、a'(-490，-652，83，135)经分类和回归层得到的分类类别和类别置信度，结果如图8所示。

需要说明的是，因为在锚点框的自适应生成过程中，并非单一的生成一个锚点框，而是在对应的ROI区域生成很多个锚点框，最后是对每一个锚点框做分类运算，用来区分是正常还是破损绝缘子。

图7为正常绝缘子的缺陷检测结果图，图8为缺陷绝缘子的缺陷检测结果图。根据图示可知，图7中仅包含一个绝缘子目标的边界框，于绝缘子目标的边界框的上方示出了绝缘子类别置信度。而图8中包含两个目标的边界框，其一为绝缘子目标的边界框，于绝缘子目标的边界框的上方示出了绝缘子类别置信度，其二为缺陷绝缘子目标的边界框，于缺陷绝缘子目标的边界框的上方示出了缺陷绝缘子类别置信度。

需要说明的是，为了更好地区分本实施例中绝缘子目标和缺陷绝缘子目标，故本发明专利申请在提交时，将图5、图7和图8以其他证明文件的形式同步提交。其中，图5对应其他证明文件中的证明材料1，两者除颜色不同外，其他因素全部相同；图7对应其他证明文件中的证明材料2，两者除颜色不同外，其他因素全部相同；图8对应其他证明文件中的证明材料3，两者除颜色不同外，其他因素全部相同。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均在本发明的保护范围之内。

Claims (10)

1.一种基于改进Faser RCNN的小目标检测方法，由处理器执行一改进Faser RCNN算法指令实现，其特征在于，包括：接收包含小目标的场景图片；使用所述Faser RCNN其第一卷积模块提取所述场景图片的第一特征图F；使用所述Faser RCNN其第二卷积模块根据所述第一特征图F₁获得预测锚点框中心位置a(x,y)和预测锚点框尺寸a(w,h)并根据所述预测锚点框中心位置a(x,y)和所述预测锚点框尺寸a(w,h)获得预测锚点框a(x,y,w,h)；使用所述Faser RCNN其第三卷积模块根据所述第一特征图F₁、所述预测锚点框a(x,y,w,h)获得与所述第一特征图F₁尺寸相同的第二特征图F₂；使用所述Faser RCNN其第四卷积模块根据所述第二特征图F₂和所述预测锚点框a(x,y,w,h)获得所述场景图片的检测结果。

2.根据权利要求1所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述第一卷积模块的主干部分采用ResNet的卷积结构。

3.根据权利要求2所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述第一卷积模块的主干部分采用ResNet50的卷积结构。

4.根据权利要求3所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述ResNet50的卷积结构包括多层Deform ResNet50残差块结构，所述Deform ResNet50残差块结构其第二卷积层替换为深度可分离卷积层。

5.根据权利要求1所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述第一卷积模块包括通道注意力机制模块，所述通道注意力机制模块被配置为根据所述场景图片获得特征权重S_c；所述第二卷积模块被配置为根据所述第一特征图F₁和所述特征权重S_c获得所述预测锚点框中心位置a(x,y)并根据所述预测锚点框中心位置a(x,y)获得所述预测锚点框a(x,y,w,h)。

6.根据权利要求1-5中任一项所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述第二卷积模块的主干部分采用自适应锚点框网络结构。

7.根据权利要求6所述的基于改进Faser RCNN的小目标检测方法，其特征在于，所述自适应锚点框网络根据所述第一特征图F₁获得得分特征图F_P，后根据所述得分特征图F_P获得所述预测锚点框中心位置a(x,y)；并根据所述预测锚点框中心位置a(x,y)和所述预测锚点框尺寸a(w,h)获得所述预测锚点框a(x,y,w,h)。

8.根据权利要求7所述的基于改进Faser RCNN的小目标检测方法，其特征在于：所述自适应锚点框网络包括自适应调整模块，所述自适应调整模块被配置为根据所述预测锚点框a(x，y，w，h)和所述第一特征图F₁获得自适应预测锚点框a'(x,y,w,h)；所述第三卷积模块被配置为根据所述第一特征图F₁、所述自适应预测锚点框a'(x，y，w，h)获得与所述第一特征图F₁尺寸相同的第二特征图F₂。

9.一种基于改进Faser RCNN的小目标检测装置，其特征在于，包括：

处理器；和

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述算法结构的程序指令，以实现如权利要求1至8中任一项所述的小目标检测方法。

10.一种基于改进Faser RCNN的小目标检测方法的计算机存储介质，其特征在于：当所述计算机存储介质中的指令由基于改进Faser RCNN的小目标检测装置的处理器执行时，使得所述基于改进Faser RCNN的小目标检测装置能够执行如权利要求1至8中任一项所述的小目标检测方法。

Images