CN111914795A - 一种航拍图像中旋转目标检测方法 - Google Patents

Abstract

本发明采用深度学习方法，设计目标检测模型，用于检测高空航拍图像中的车辆、船舶、飞机等目标，同时进行目标旋转框的定位预测。该方法首先设计图像特征提取网络，用于获取输入的航拍图像的高维特征，同时采用FPN架构构建特征金字塔，实现不同分辨率下目标特征提取；然后采用聚类方法生成候选区域提取网络的基础锚点尺寸，针对训练图像中目标的尺寸分布信息实现对应锚点的尺寸调整，提高训练效率；接着设计了结合注意力机制的特征去噪检测器，用于对候选区域目标特征进行去噪操作；最后采用旋转角度误差优化方法，针对不同长宽比的目标框设计对应的权重因子，优化大长宽比目标的定位结果，实现航拍图像中多种目标的旋转框预测。

Description

一种航拍图像中旋转目标检测方法

技术领域

本发明涉及航拍图像目标检测算法，具体针对旋转目标检测，实现目标旋转框定位预测。

背景技术

目标检测是一项具有挑战性的计算机视觉任务，同时在诸多领域有应用前景，包含人脸识别、搜寻抢险、智能交通等等。传统的目标检测方法主要通过人为设计待检测目标的特征，从而实现目标检测，该方法非常繁琐，同时由于目标特征难提取、不稳定等特性，使得这种方式既低效、又缺乏鲁棒性。近年来随着深度学***框，经过非极大值抑制，会出现大量目标框被抑制的情况，导致检测结果中大量目标缺失，采用旋转框进行目标检测能够有效避免该问题，同时实现更加精准的定位预测，但旋转框预测，既需要对检测模型架构进行重新设计，包含预测参数、损失函数等等，又需要相关的图像数据和对应的旋转标签支持，保证模型正确收敛。

发明内容

本发明为实现对航拍图像中的小目标检测和旋转目标定位预测，提出了基于多尺度聚类、结合注意力机制的目标特征去噪以及角度误差优化方法，实现旋转目标精确定位预测。

本发明采用残差网络结构ResNet作为基础的特征提取架构提取输入图像的高维特征信息，设计特征金字塔结构实现高维特征与低维特征融合；之后采用多尺度聚类用于设置候选区域提出网络RPN的锚点参数，根据特征金字塔不同分辨率特征的感受野等特征，对每个特征层分配对应的锚点；然后根据RPN产生的候选区域结果，在对应的特征层上截取对应的特征图，结合提出的注意力去噪器对每个候选区域特征进行去噪；将去噪后的目标特征输入全连接层，进行最终的定位和分类预测。

本发明的航拍图像旋转目标检测方法的步骤如下所示：

步骤一：数据采集与标注。采用设备或利用网络资源获取航拍图像，如果利用无人机进行高空拍摄或利用谷歌地图等获取高分辨率图像，采集完图像后进行目标标注工作，标注方式不同于传统的水平外接矩形的标注，而是应采用旋转框方式标注，具体实现步骤如下：

步骤A：利用无人机或网络资源采集图像，构建大量的训练图像数据；

步骤B：利用标注工具进行目标框标注，采用4点法，即四边形四个顶点的标注方式；

步骤C：利用四边形最小矩形外接法完成旋转矩形框标注，形成标注文件：

步骤二：数据预处理。航拍图像具有非常高的图像分辨率，无论是训练还是实际检测过程中，直接输入原始图像都不现实，这会给设备带来极大负担，训练速度受到极大影响，因此应原始图像切割为小图像，再输入模型进行训练和预测，具体实现步骤为：

步骤A：对图像进行切割，根据设备能力和深度学习模型设置切割尺寸为800*800像素，考虑直接切割可能导致处于切割边缘的目标被截断，因此设置切割交叠区域，具体设置为200像素；

步骤B：目标标签数据重构，为每个切割生成的图像目标配置相应的标签数据，根据标签中心是否在切割图像中判断标签是否属于该图像；

步骤C：构造训练数据，根据切割的图像和标签数据，统一构造为训练数据张量，便于进行模型输入，在标签处理过程中，将四点法表示的标签转换为中心点、方框尺寸和旋转角度表示。

步骤三：模型设计，本发明的深度学习检测模型主要包含四个核心结构，即特征提取网络、候选区域生成网络、特征去噪结构、旋转目标预测器，在检测和训练过程中，输入数据依次通过该4个结构，最终产生预测结果，模型的具体实现步骤如下：

步骤A：采用残差网络ResNet作为特征提取器，获取输入图像的高维信息，之后采用从上到下的方式进行特征金字塔的构建，将高维的特征依次向下进行特征融合，生成多个特征图；

步骤B：采用聚类方式生成候选区域生成网络的锚点尺寸，首先统计训练数据的目标尺寸，设置聚类中心数量，采用K-means的方法进行聚类，生成对应数量的聚类中心，将这些中心点坐标作为锚点的宽高参数，用于配置候选区域生成网络的参数。候选区域根据特征图生成多组候选区域的分类和锚点定位偏移值；

步骤C：根据锚点定位偏移值截取特征金字塔对应特征层的特征图，产生感兴趣区域特征，结果经过多个卷积层构造去噪映射图，与感兴趣区域特征层逐个相乘得到去噪后的目标特征，在训练时则生成对应的注意力损失函数；

步骤D：将去噪后的目标特征输入全连接层，分别预测目标的分类信息和定位信息，分类信息即为目标种类的序号，定位信息则为目标中心、尺寸以及旋转角度，训练时根据目标长宽比设置旋转角度误差权重，实现角度误差优化；

步骤四：损失函数设计，损失函数设计主要包含三部分，既候选区域生成网络中的前后景分类误差和锚点偏移定位误差、注意力去噪中的注意力损失、最终预测结果的分类误差和旋转框定位误差。

附图说明

图1是本发明方法的旋转目标检测网络架构图。

图2是本发明步骤一中的部分航拍图像。

图3是本发明步骤二中的图像切割示意图。

图4是本发明步骤三的特征金字塔结构图。

图5是本发明步骤三的注意力去噪检测器。

图6是本发明步骤三的模型回归目标设计。

图7是本发明步骤三的注意力机制掩膜设计。

具体实施方式

结合图1说明本发明中模型设计的细节，实施方式的步骤如下：

步骤一：图像特征提取。对低维图像像素进行处理，提取出高维的特征信息（特征金字塔结构见图4），具体实现步骤为：

步骤A：采用残差网络ResNet50d作为骨干网络，对输入的图像，采用了4个残差块，对应生成4个不同分辨率的特征图{C₂,C₃,C₄,C₅}；

步骤B：对生成的特征图进行从上到下融合，首先由C₅通过卷积生成金字塔高层特征P₅，之后P₅将C₄与相加，得到P₄，依次向下融合，最终生成特征金字塔{P₂,P₃,P₄,P₅}；

步骤二：基于聚类方法生成锚点尺寸，同时将锚点分配到各个特征层进行预测，候选区域提取网络利用生成的特征金字塔预测目标相对于锚点的偏移值，具体实现步骤为：

步骤A：统计训练数据中目标尺寸信息，利用K-means聚类法进行聚类，设定聚类中心数量为35，最终生成35个聚类中心，对应35个锚点的尺寸，将每个锚点分配到对应的特征层：

步骤B：对生成的特征金字塔进行卷积操作，生成目标的前后景评分预测和相对锚点的偏移值，在前后景评分中模型输出2个值，分别表示前景和背景的评分，相对锚点偏移值则输出4个数值，分别表示中心偏移x, y和尺寸偏移w, h；

步骤三：结合注意力机制的特征去噪。首先根据候选区域对特征进行截取，之后对目标特征进行去噪，预测最终的目标分类和旋转框定位，具体实现步骤为：

步骤A：根据候选区域的锚点偏移和对应的锚点尺寸反解码得到真实尺寸；

步骤B：根据真实尺寸计算与输入图像尺寸的百分比；

步骤C：利用百分比裁减对应的特征层的特征图，得到感兴趣区域的特征图；

步骤D：将特征图输入注意力去噪生成器，生成与特征图尺寸一致的特征去噪图；

步骤E：将特征图与特征去噪图对应元素相乘，得到目标特征图；

步骤F：外接全连接蹭，预测目标种类和旋转框定位信息；

步骤四：损失函数设计，设计目标检测模型的损失函数，用于模型训练和收敛，具体步骤为：

步骤A：候选区域生成网络包含2部分损失，即前后景分类损失和冒点偏移值损失；

步骤B：注意力损失，构造目标的收敛掩膜目标，构造方式如图7所示，同时，在注意力去噪中，在生成特征去噪图时，生成注意力特征图，将注意力特征图和掩膜目标构造注意力损失函数；

步骤C：目标分类与定位损失，包含对目标的种类分类的损失以及预测的旋转框定位损失，在构造定位损失时，根据目标的长宽比设置对应的权重，避免大长宽比的目标的监督误差对最终预测结果产生过大影响；

步骤一实现细节为：首先根据残差网络生成特征图{C₂,C₃,C₄,C₅}，通过卷积计算P₅：

（1）

之后采用从上到下的方式进行融合得到P₂,P₃,P₄：

（2）

步骤二的锚点分配策略如下公式所示：

（3）

步骤三的掩膜生成细节为：首先根据标签对每个目标生成独立的掩膜：

（4）

其中，FillPoly表示像素填充，此处先构建与输入图像相同尺寸的零矩阵，再对目标区域的像素设置为目标的种类序号。构造完成后将所有目标掩膜进行拼接，构建高维矩阵：

（5）

根据候选区域生成网络的结果构建目标框回归的独热向量：

（6）

此处rois_assignments表示每个候选区域对应的目标框序号。与此同时，利用生成的候选区域结果对掩膜进行裁切：

（7）

此处ROI_Align表示裁切缩放操作，此处能将掩膜根据候选区域进行裁切，同时缩放至相同尺寸。最后，利用独热向量激活对应的掩膜：

（8）

步骤四损失函数构建分为三部分，整体的损失函数如下所示：

（9）

其中候选区域生成网络的损失函数定义如下：

（10）

目标预测损失定义如下：

（11）

注意力损失定义如下：

（12）

其中，λ_i用来控制各部分损失的权重，rp_n表示候选区域生成的前后景预测概率，rv_n表示候选区域生成的锚点偏移预测，gp_n表示真实前后景概率，前景为1，背景为0，gv_n表示真实锚点偏移值，Fp_n表示预测目标的分类结果，Fv_n表示预测的旋转框定位结果，Gp_n表示目标真实种类，Gv_n表示目标真实旋转框定位，R^h _n和R^w _n表示缩放后的注意力特征图尺寸，u_ij表示注意力特征图对应位置的数值，gu_ij表示真实的掩膜值，L_cls表示softmax交叉熵，L_reg和L_{reg_theta}表示平滑的L1损失，L_AD表示像素级的softmax交叉熵。

Claims (1)

1.本发明采用残差网络结构ResNet作为基础的特征提取架构提取输入图像的高维特征信息，设计特征金字塔结构实现高维特征与低维特征融合；之后采用多尺度聚类用于设置候选区域提出网络RPN的锚点参数，根据特征金字塔不同分辨率特征的感受野等特征，对每个特征层分配对应的锚点；然后根据RPN产生的候选区域结果，在对应的特征层上截取对应的特征图，结合提出的注意力去噪器对每个候选区域特征进行去噪；将去噪后的目标特征输入全连接层，进行最终的定位和分类预测，其特征在于实现步骤如下：

步骤一实现细节为：首先根据残差网络生成特征图{C₂,C₃,C₄,C₅}，通过卷积计算P₅：

（1）

之后采用从上到下的方式进行融合得到P₂,P₃,P₄：

（2）

步骤二的锚点分配策略如下公式所示：

（3）

步骤三的掩膜生成细节为：首先根据标签对每个目标生成独立的掩膜：

（4）

其中，FillPoly表示像素填充，此处先构建与输入图像相同尺寸的零矩阵，再对目标区域的像素设置为目标的种类序号，构造完成后将所有目标掩膜进行拼接，构建高维矩阵：

（5）

根据候选区域生成网络的结果构建目标框回归的独热向量：

（6）

此处rois_assignments表示每个候选区域对应的目标框序号，与此同时，利用生成的候选区域结果对掩膜进行裁切：

（7）

此处ROI_Align表示裁切缩放操作，此处能将掩膜根据候选区域进行裁切，同时缩放至相同尺寸，最后，利用独热向量激活对应的掩膜：

（8）

步骤四损失函数构建分为三部分，整体的损失函数如下所示：

（9）

其中候选区域生成网络的损失函数定义如下：

（10）

目标预测损失定义如下：

（11）

注意力损失定义如下：

（12）

其中，λ_i用来控制各部分损失的权重，rp_n表示候选区域生成的前后景预测概率，rv_n表示候选区域生成的锚点偏移预测，gp_n表示真实前后景概率，前景为1，背景为0，gv_n表示真实锚点偏移值，Fp_n表示预测目标的分类结果，Fv_n表示预测的旋转框定位结果，Gp_n表示目标真实种类，Gv_n表示目标真实旋转框定位，R^h _n和R^w _n表示缩放后的注意力特征图尺寸，u_ij表示注意力特征图对应位置的数值，gu_ij表示真实的掩膜值，L_cls表示softmax交叉熵，L_reg和L_{reg_theta}表示平滑的L1损失，L_AD表示像素级的softmax交叉熵。

Images