CN110147837A - 基于特征聚焦的任意方向密集目标检测方法、***及设备 - Google Patents

Abstract

本发明公开了一种基于特征聚焦的任意方向密集目标检测方法、***及设备，方法包括四个步骤，一是对训练集中的目标特征进行聚焦，完成数据预处理，生成新的训练集；二是构建目标检测网络，训练模型的特征提取能力；三是从不同方向提取待检测图片中目标的特征进行检测；四是综合各方向的检测结果。本发明构建的模型充分聚焦了目标特征，实现特征的准确提取，实验结果表明，这种方法生成的检测模型在针对排布密集方向任意的目标检测时既提高了准确度，同时降低了漏检率。

Description

基于特征聚焦的任意方向密集目标检测方法、***及设备

技术领域

本发明涉及一种任意方向密集目标检测方法、***及设备，特别是涉及一种基于特征聚焦的任意方向密集目标检测方法、***及设备。

背景技术

信息的存在的类型多种多样，特别的，以图像形式存在的信息显得尤为重要，相对于文本、音频等信息，图像显得更加直观，包含更多的信息。充分提取图像的信息是未来信息处理的一个重要方向，传统的提取图像信息的方式主要是人工判读，效率低下，随着科技的发展，图像采集能力越来越强，图像数量呈指数级增长，人工的方式已经无法适应时代的发展和实际情况，亟需开展利用机器智能判读图像的研究，本专利的目标检测方法正是未来智能判读的探索和基础。

目前大部分学者研究目标检测的方向主要集中在利用主流的检测模型和检测算法，解决本领域的目标识别算法，在各自的领域开展大量试验调整参数，从而训练一个当前待检测对象集的模型，本质上讲，这些方法都是在研究主流检测模型的参数如何改进，而没有从模型的结构调整上开展研究。

现有的主流检测模型算法在应对排布密集、方向任意的目标时，尤其是面对一些外形长宽比较大的目标时，检测效果欠佳。在现实生活中有些目标(比如飞机)的外形趋于正方形，且分布较为分散，在检测时用正方形或对正方形进行微调就能很好的定位出目标的位置，从而成功检测出目标，但对于另外一些目标(比如舰船)，目标的长宽比往往非常大，并且排布密集、且方向任意，对于这些目标，主流的检测算法很难准确定位目标的具***置，给出的检测框往往会覆盖相邻的目标，检测框之间重叠现象严重、漏检多，从而检测效果欠佳。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于特征聚焦的任意方向密集目标检测方法、***及设备，克服了现有技术针对排布密集方向任意的目标检测中出现的重叠现象严重、漏检多等不足，充分聚焦了目标特征，实现特征的准确提取，实验结果表明，这种方法生成的检测模型在针对排布密集方向任意的目标检测时提高了准确度，降低了漏检率。

技术方案：本发明所述的基于特征聚焦的任意方向密集目标检测方法，包括以下步骤：

(1)对训练集中的目标进行特征聚焦；

(2)基于Faster R-CNN的主体架构构建目标检测网络，并利用步骤(1)中特征聚焦后的训练集进行训练，生成训练好的目标检测网络；

(3)利用步骤(2)中训练好的目标检测网络对待检测图像进行多个方向的目标检测，生成所有方向的检测结果；

(4)对步骤(3)中的所有方向的检测结果进行合并，保留置信度最高的检测结果。

进一步的，步骤(1)中特征聚焦的具体过程为：

(1)采用K-means算法对训练集图像中的目标方向进行聚类，聚类后形成K1个聚类方向；

(2)计算每个聚类方向中的目标数量，设定聚焦比例，选取目标数量不少于所述图像中目标总数量乘以聚焦比例的聚类方向，选取的聚类方向为K2个；

(3)根据步骤(2)中选取的K2个聚类方向，对所述图像进行按中心旋转，生成K2个图像和对应的标注文件；

(4)遍历训练集中的所有图像，重复上述步骤(1)至(3)。

进一步的，步骤(2)中所述的目标检测网络的架构包括残差网络ResNetXt、特征金字塔网络、候选框生成网络和回归输出层，所述特征金字塔网络的每一层对应残差网络ResNetXt的每个卷积阶段，所述候选框生成网络与特征金字塔网络的每一层相连。

进一步的，步骤(2)中的训练采用的损失函数包含两部分：一是预测框中是否包含目标，二是预测框与标注框的偏差，训练过程中通过误差反向传播和梯度下降法自动修正网络参数，不断降低损失函数，从而不断优化网络模型。

进一步的，步骤(3)中目标检测的方法是：

(1)对待检测图像进行若干次按中心旋转，每次旋转后保存图像；

(2)将上述旋转后的保存图像和原始待检测图像放入所述训练好的目标检测网络进行检测，生成检测结果，检测结果为检测框的位置和该检测框的置信度得分。

进一步的，步骤(4)具体为：

(1)将所述旋转后保存的图像按照旋转的角度反向旋转，将所述检测结果中的检测框映射在原始待检测图像上；

(2)计算任意两个检测结果之间的IOU，IOU为所述检测结果的检测框交集与并集的面积比；

(3)对于IOU高于设定阈值的检测结果，保留置信度得分高的检测结果，删除置信度低的检测结果；

(4)输出置信度得分高的检测结果；

本发明所述的基于特征聚焦的任意方向密集目标检测***，包括特征聚焦模块、目标检测网络训练模块、多方向检测模块和检测结果综合模块；

所述特征聚焦模块对训练集中的目标进行特征聚焦；

所述目标检测网络训练模块基于Faster R-CNN的主体架构构建目标检测网络，并利用所述特征聚焦模块特征聚焦后的训练集进行训练，生成训练好的目标检测网络；

所述多方向检测模块利用目标检测网络训练模块训练好的目标检测网络对待检测图像进行多个方向的目标检测，生成所有方向的检测结果；

所述检测结果综合模块对多方向检测模块生成的所有方向的检测结果进行合并，保留置信度最高的检测结果。

本发明所述的设备，包括计算机存储器和处理器，所述的存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得处理器执行上述基于特征聚焦的任意方向密集目标检测方法中任一项所述的方法。

有益效果：本发明采用特征聚焦的方式对训练集进行预处理，预测时从多个方向进行检测然后综合，其优点如下：

1、根据训练集中目标的分布方向，对每张图像按照聚类后的方向进行旋转，生成多张图像，旋转后的每张图像上参与训练的目标的方向规律整齐，有利于目标检测模型在训练时能准确提取目标特征；

2、对于待检测的图像，通过旋转的方式从多个角度进行检测，然后对各个方向的检测结果进行综合处理，去除冗余，提高了检测框的定位准确度，降低了漏检率；

3、在模型在检测排布密集方向任意的目标时，尤其是外形长宽比较大的目标，检测效果较主流的检测方法有明显的提升；

4、该方法给出了的目标检测方法，除了本专利中验证方法有效性时针对的舰船目标外，可以适用于不同的目标领域，比如车辆、桥梁等。

附图说明

图1是本发明实施例的流程图；

图2为现有方法对排布密集方向任意的目标检测效果图；

图3为本发明实施例对排布密集方向任意的目标检测效果图。

具体实施方式

本实施例结合武汉大学发布的DOTA数据集中舰船目标为例详细阐述本发明的实施方式，本实施例提供的方法如图1所示，具体步骤如下：

1)采用K-means聚类算法分析训练集中目标的方向，然后将图像按照主要方向旋转，并生成新的标注文件，实现特征的聚焦，具体过程为：

A)聚类分析训练集中目标方向

A1)将DOTA数据集中筛选包含舰船目标的图片，随机选择80％的图片构成训练集，共选取320张图片。选取训练集中一张图像，读取该图像对应的所有标注框信息，首先计算每个目标的长度和宽度，然后计算目标的方向(即目标长边的方向)，形成该图像中目标的原始方向集合S＝{θ_i|i＝1,2,3,…n}，其中i表示该图片中目标序号，n表示该图像中目标的总数，在不同的图像中，n的值也不同，单张图像中最少舰船目标数为3，最多的单张图像中包含1324个舰船目标。

A2)采用K-means算法对该图像原始方向集合S＝{θ_i|i＝1,2,3,…n}进行聚类分析，设置主要方向个数为K，聚类结果为S′＝{θ_j|j＝1,2,3,…K}，其中j表示类别序号，K表示方向总数，θ_j表示第j个方向的角度。K为正整数，K取值一般小于9，本实施例中K＝6。

B)目标特征聚焦

B1)统计S′＝{θ_j|j＝1,2,3,…K}中每个方向的目标数量，并按目标数量从多到少对K个方向进行排序，选取目标数量不少于该图片中目标数量5％的方向，筛选的方向数根据图片的不同，最终参与训练的方向数包含了1、2、3、4。

B2)对图片进行按中心旋转生成新的图像，同时对原始标注文件的坐标进行旋转变换后生成对应的标注文件，在新的标注文件中只保留该方向内目标的标注信息。对图像进行多次旋转，每旋转一次，生成一个新的图像和对应的标注文件。

C)遍历训练集中的所有图形，重复上述步骤A和步骤B的操作，完成对所有图像的特征聚焦。对于训练集中原始的320张图片，经过本发明的聚焦处理后，共计生成836张新的图片，构建新的训练集。

2)检测网络模型构建与训练模块完成标检测网络模型的构建，然后对步骤1中处理后的训练集进行模型训练，实现目标的特征提取，生成最终的目标检测模型，具体步骤如下：

2.1)选取网络架构：本方法中采用主流Faster R-CNN的主体架构，该架构包括特征提取网络、特征金字塔网络(FPN)、候选框生成网络(RPN)和回归输出层；

2.2)搭建特征提取网络：Faster R-CNN是一种架构，里面具体用什么网络是可以根据具体应用替换的，本专利中选用的是残差网络的改进型，即本方法中采用残差网络ResNet101的改进型结构ResNetXt，该架构支持多通道分组计算，实现并行计算，提高特征提取速率；

2.3)构建特征金字塔网络(FPN)、候选框生成网络(RPN)和回归输出层。FPN与RPN是整个架构中两个不同的子网络，FPN用于提取不同层次的卷积特征，用于检测同一张图片中不同大小的目标，RPN用于生成候选框。FPN网络的每一层对应特征提取网络的每个卷积阶段，FPN的每一层都与RPN相连。

2.4)利用步骤1中生成的新的训练集，训练目标检测网络。训练采用多任务损失函数，损失函数包含两部分：一是预测框中是否包含目标，二是预测框与标注框的偏差，网络训练通过误差反向传播和梯度下降法自动修正网络参数，不断降低损失函数，从而不断优化网络模型。

3)多方向检测模块中利用步骤2中得到的目标检测网络对待检测图像进行多个方向的目标检测，生成每个方向的检测结果，具体步骤如下：

3.1)将待检测图像进行若干次旋转，旋转次数和角度是可以修改的，可以根据应用场景中的数据一般规律来设置。本实施例中我们选8次，即8次按中心顺时针旋转，旋转角度分别是10度、20度、30度、...、80度，共得到8张新的图片，加上原图，一共有9张图片。

3.2)将步骤3.1中得到的9张图分别放入步骤3中训练好的目标检测网络中进行检测，分别记录下每张图片的结果，一个检测结果包含两类信息，分别是检测框的位置和该检测框的置信度得分。

4)检测结果综合模块中将步骤3中生成的多个方向的检测结果映射到待检测原始图片上，然后利用非最大值抑制算法对多个方向的检测结果进行合并处理，消除冗余，具体步骤如下：

4.1)将多方向的检测结果映射到待检测的原始图像上

将步骤3.2中的检测结果进行逆时针旋转，每个结果旋转角度与步骤3.1中的角度对应，计算出所有检测结果在原图上的坐标。

4.2)计算任意两个检测结果之间的IOU

对于步骤4.1生成的检测结果，计算两两之间的IOU(IOU指两个检测框交集与并集的面积比，是用来衡量两个检测框的重叠程度的)。

4.3)采用最大值抑制算法(NMS)进行合并

选取阈值0.75，对于IOU高于该阈值的两个检测框，保留置信度较高的检测框，去掉置信度较低的那个检测框。同样，这里阈值0.75是一种优选，可以根据实际应用场景中的要求灵活设置。

DOTA数据集上的舰船目标排布密集、方向任意，主流的检测模型对于停靠方向既非垂直也非水平的舰船目标给出的检测框定位不准，往往会出现相邻检测框之间交叉与重叠现象，同时漏检率较高，现有的检测方法检测效果图如图2所示。按照本发明专利上述步骤对舰船目标特征进行聚焦后再训练模型，最终形成的模型在测试集上的准确度和召回率都达到了96％以上，比主流的检测方法准确度提高了4.8％，同时漏检率降低了15.2％，本实施例的方法检测效果如图3所示。

本实施例所述的***，包括特征聚焦模块、目标检测网络训练模块、多方向检测模块和检测结果综合模块；

所述特征聚焦模块对训练集中的目标进行特征聚焦；

所述目标检测网络训练模块基于Faster R-CNN的主体架构构建目标检测网络，并利用所述特征聚焦模块特征聚焦后的训练集进行训练，生成训练好的目标检测网络；

所述多方向检测模块利用目标检测网络训练模块训练好的目标检测网络对待检测图像进行多个方向的目标检测，生成所有方向的检测结果；

所述检测结果综合模块对多方向检测模块生成的所有方向的检测结果进行合并，保留置信度最高的检测结果。

本发明的实施例还提供了一种设备，设备包括存储器和至少一个处理器、存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序、至少一条通讯总线。所述至少一个处理器执行所述计算机程序时实现上述基于特征聚焦的任意方向密集目标检测方法实施例中的步骤，或者，所述至少一个处理器执行所述计算机程序时实现上述基于特征聚焦的任意方向密集目标检测***实施例中各模块/单元的功能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (8)

1.一种基于特征聚焦的任意方向密集目标检测方法，其特征在于，包括以下步骤：

(1)对训练集中的目标进行特征聚焦；

(2)基于Faster R-CNN的主体架构构建目标检测网络，并利用步骤(1)中特征聚焦后的训练集进行训练，生成训练好的目标检测网络；

(3)利用步骤(2)中训练好的目标检测网络对待检测图像进行多个方向的目标检测，生成所有方向的检测结果；

(4)对步骤(3)中的所有方向的检测结果进行合并，保留置信度最高的检测结果。

2.根据权利要求1所述的基于特征聚焦的任意方向密集目标检测方法，其特征在于步骤(1)中特征聚焦的具体过程为：

(1)采用K-means算法对训练集图像中的目标方向进行聚类，聚类后形成K1个聚类方向；

(2)计算每个聚类方向中的目标数量，设定聚焦比例，选取目标数量不少于所述图像中目标总数量乘以聚焦比例的聚类方向，选取的聚类方向为K2个；

(3)根据步骤(2)中选取的K2个聚类方向，对所述图像进行按中心旋转，生成K2个图像和对应的标注文件；

(4)遍历训练集中的所有图像，重复上述步骤(1)至(3)。

3.根据权利要求1所述的基于特征聚焦的任意方向密集目标检测方法，其特征在于步骤(2)中所述的目标检测网络的架构包括残差网络ResNetXt、特征金字塔网络、候选框生成网络和回归输出层，所述特征金字塔网络的每一层对应残差网络ResNetXt的每个卷积阶段，所述候选框生成网络与特征金字塔网络的每一层相连。

4.根据权利要求1所述的基于特征聚焦的任意方向密集目标检测方法，其特征在于：步骤(2)中的训练采用的损失函数包含两部分：一是预测框中是否包含目标，二是预测框与标注框的偏差，训练过程中通过误差反向传播和梯度下降法自动修正网络参数，不断降低损失函数，从而不断优化网络模型。

5.根据权利要求1所述的基于特征聚焦的任意方向密集目标检测方法，其特征在于步骤(3)中目标检测的方法是：

(1)对待检测图像进行若干次按中心旋转，每次旋转后保存图像；

(2)将上述旋转后的保存图像和原始待检测图像放入所述训练好的目标检测网络进行检测，生成检测结果，检测结果为检测框的位置和该检测框的置信度得分。

6.根据权利要求5所述的基于特征聚焦的任意方向密集目标检测方法，其特征在于步骤(4)具体为：

(1)将所述旋转后保存的图像按照旋转的角度反向旋转，将所述检测结果中的检测框映射在原始待检测图像上；

(2)计算任意两个检测结果之间的IOU，IOU为所述检测结果的检测框交集与并集的面积比；

(3)对于IOU高于设定阈值的检测结果，保留置信度得分高的检测结果，删除置信度低的检测结果；

(4)输出置信度得分高的检测结果。

7.一种基于特征聚焦的任意方向密集目标检测***，其特征在于：包括特征聚焦模块、目标检测网络训练模块、多方向检测模块和检测结果综合模块；

所述特征聚焦模块对训练集中的目标进行特征聚焦；

所述目标检测网络训练模块基于Faster R-CNN的主体架构构建目标检测网络，并利用所述特征聚焦模块特征聚焦后的训练集进行训练，生成训练好的目标检测网络；

所述多方向检测模块利用目标检测网络训练模块训练好的目标检测网络对待检测图像进行多个方向的目标检测，生成所有方向的检测结果；

所述检测结果综合模块对多方向检测模块生成的所有方向的检测结果进行合并，保留置信度最高的检测结果。

8.一种设备，包括计算机存储器和处理器，所述的存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得处理器执行如权利要求1至6任一项所述的方法。