CN115984712A - 基于多尺度特征的遥感图像小目标检测方法及*** - Google Patents

Abstract

本发明公开了基于多尺度特征的遥感图像小目标检测方法及***；获取待检测的遥感图像；对待检测的遥感图像进行去雾处理和亮度增强处理；将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

Description

基于多尺度特征的遥感图像小目标检测方法及***

技术领域

本发明涉及目标检测技术领域，特别是涉及基于多尺度特征的遥感图像小目标检测方法及***。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

遥感影像因其较高的视角，包含丰富的位置信息、特征信息等。面对如此丰富的影像源，如何产生有效的社会效益是科研工作者面临的一个挑战，其中遥感影像目标检测领域的研究一直都是研究热点，其在环境监测、工程建设、农业生产、城市规划、军事侦察等领域均有涉及。在环境监测中，将遥感技术应用于林业可以执行监测、跟踪、灾害分析等工作中；在工程建设中，利用遥感技术进行预先检测，可以大大助益于工程设计。在农业生产中，农田与种植业使用遥感技术，可以对作物产量进行预估、对作物病害进行监测；在城市规划中，可以利用遥感技术来便利地获取城市水文信息；更进一步地，遥感技术的军事价值也被发掘出来，通过对军事目标的检测的识别，可以实现对监测地区地面条件的精确监控、对监测地区军事设施的有效侦察，以及对该地区所采取装备和部队动员信息的了解。

传统的遥感目标检测方法主要是基于特征提取算法和机器学习，其需要丰富的经验和完整的先验知识。例如基于梯度直方图(HOG)、尺度不变特征变换(SIFT)以及局部二值模式(LBP)等算法提取图像特征，并训练支持向量机(SVM)作为分类器进行目标检测。但这些方法大多数只在特定环境中有效，可扩展性和泛化能力较差。

随着计算机运算能力的不断提升，深度学习被广泛应用于目标检测。相较于传统的目标检测算法，深度学习模型通过模拟人脑的视觉感知***，直接从原始图像中提取特征，并逐层传递，以获得图像的高维信息。

目前深度学习检测模型大致可以分为两类：第一类模型将目标检测分为两阶段：候选框选取和目标分类，代表算法有R-CNN(Region-Convolutional Neural Networks)，Faster R-CNN；第二类为一阶段模型：将分类与定位看作回归任务来进行，典型的代表算法有YOLO(You Only Look Once)、Retina-Net网络。

遥感图像小目标检测作为计算机视觉领域研究的重点与难点，在安防、军事、制造等领域均具有很大应用价值。较之于常规目标，小目标具有特征弱、信息量少等特点，将其从相似背景或毗连目标中区分出来十分困难，当面临光照度低、阴影遮挡等复杂环境，则对遥感图像小目标检测提出更高挑战。

目前遥感图像中小目标检测所面临的困难主要体现在四个方面：

(一)目标表征能力弱。根据前述定义，小目标在一幅图像中的占比会比较小，其包含的有效特征也会很少，这导致小目标本身的表征能力不够，进一步影响后续的定位与识别；

(二)目标特征易丢失。现阶段的目标检测器在提取图像特征时往往会包含多次下采样的操作，导致小目标最终只剩下几个或者几十个像素用于后续检测；

(三)目标极易被复杂背景淹没。在大尺寸的遥感图像中，小目标本身包含的像素远少于遥感图像的背景像素，导致小目标容易淹没其中不易被检测器检测到；

(四)目标定位难。小目标的尺寸比较小，其边界框回归相对于大尺寸目标而言更加困难。

针对小目标检测问题，国内外学者提出了很多改进方法。Yu等人提出了尺度匹配策略，根据目标尺寸对物体进行裁剪，缩小不同物体之间的尺度差距，避免对图像进行下采样时丢失小目标信息。Zoph等人提出了一种自适应学习方法选择最佳的数据增强策略，在小目标检测上获得了一定的性能提升。除了进行数据增强外，还能够通过学习物体的上下文信息提升小目标检测性能。Chen等人提出一种层次上下文嵌入框架，通过挖掘上下文线索来增强候选区域的特征表达。Hong等人提出了尺度选择金字塔网络，通过构建多尺度的上下文信息避免不同层次特征的梯度计算不一致问题。此外，通过特征融合的方式结合深层语义信息和浅层细节信息能够增强小目标的特征表示。Nayan等人使用上采样和跳跃连接在训练过程中提取不同网络深度的多尺度特征，显著提高了小目标检测的检测精度与速度。Deng等人提出了一种扩展特征金字塔网络，使用额外的高分辨率金字塔专门用于小目标检测。

综上所述，现有的方法在复杂背景下的遥感图像中小目标检测方法问题上仍存在一些问题，缺乏有效的解决方案。现有方法大多重点关注于目标的上下文信息或者深层语义信息，而忽略了将上下文信息与目标的深层语义信息融合的重要作用，虽然可以通过其他方法如数据增强或不同层次和尺度之间的特征融合来获得良好的检测效果，但它们的鲁棒性不强，尤其是当小尺寸物体处于复杂场景中或尺寸为太小，无法提取有效特征并保证适当的检测精度。

发明内容

为了解决现有技术的不足，本发明提供了基于多尺度特征的遥感图像小目标检测方法及***；聚焦于小目标特征及上下文信息的保留提取，以此来解决遥感图像中小目标检测的空间信息丢失问题。

第一方面，本发明提供了基于多尺度特征的遥感图像小目标检测方法；

基于多尺度特征的遥感图像小目标检测方法，包括：

获取待检测的遥感图像；

对待检测的遥感图像进行去雾处理和亮度增强处理；

将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

第二方面，本发明提供了基于多尺度特征的遥感图像小目标检测***；

基于多尺度特征的遥感图像小目标检测***，包括：

获取模块，其被配置为：获取待检测的遥感图像；

处理模块，其被配置为：对待检测的遥感图像进行去雾处理和亮度增强处理；

检测模块，其被配置为：将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

第三方面，本发明还提供了一种电子设备，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

与现有技术相比，本发明的有益效果是：

本发明利用搭建的图像预处理以及多尺度特征提取框架和级联卷积神经网络的遥感图像小目标检测模型进行训练，用来增强小目标检测模型的特征提取能力，在改善复杂背景环境的同时提高了小目标的表征能力。

本发明可以在避免高层粗粒度特征图不准确位置信息对低层细粒度特征图准确位置信息干扰的同时来增强低层特征图的语义信息，可有效缓解遥感图像中复杂背景信息对目标特征的干扰，增强检测器分类能力。

本发明可以有效抑制遥感图像中背景信息的表达并对小目标细节信息进行再次增强，进而提升模型在遥感图像小目标检测任务上的表现能力。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是基于多尺度特征和级联结构的遥感图像小目标检测方法流程图；

图2是本发明的改进的特征金字塔网络的内部网络结构示意图；

图3(a)-图3(e)是本发明的测试结果图；

图4是基于IOU不同尺度比较的Precision-Recall图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。

实施例一

本实施例提供了基于多尺度特征的遥感图像小目标检测方法；

如图1所示，基于多尺度特征的遥感图像小目标检测方法，包括：

S101：获取待检测的遥感图像；

S102：对待检测的遥感图像进行去雾处理和亮度增强处理；

S103：将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：

对亮度增强处理后的遥感图像进行多尺度特征提取；

对提取的多尺度特征进行特征融合和特征增强，得到特征图；

对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；

将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

应理解地，所谓小目标指的是目标成像尺寸较小,通常有两种定义方式,一种是绝对尺寸大小,在COCO数据集(其格式为领域内通用目标检测格式)中,尺寸小于32×32像素的目标被认为是小目标；另一种是相对尺寸大小,根据国际光学工程学会定义,小目标为256×256像素的图像中成像面积小于80像素的目标,即若目标的尺寸小于原图的0.12％则可以认为是小目标。

进一步地，所述去雾处理，是采用基于中值滤波的大气散射模型来实现去雾处理。

进一步地，所述去雾处理，具体包括：

S101-1：基于暗原色先验理论，估计大气光强A；

S101-2：基于大气光强A，根据中值滤波原理，估计尘雾浓度V；

S101-3：基于尘雾浓度V，实现图像去雾。

进一步地，所述去雾处理，具体包括：

(1)采用中值滤波对M(x,y)进行平滑，平滑的同时能保留图像中的边界部分：

A(x,y)＝median_sv(M(x,y))

其中，sv是滤波的窗口大小，取值为图像中白色目标的最大尺寸。

(2)滤波之后的图像中仍然会存在一些纹理，而这些纹理可能没雾，不需要做去雾处理，所以用A(x,y)减去M(x,y)的局部标准差，这样确定留下来的都是属于雾的成分。

B(x,y)＝A(x,y)-median_sv(|M(x,y)-A(x,y)|)

对|M(x,y)-A(x,y)|进行中值滤波来估计M的局部标准差。

(3)B(x,y)遵守(1),(2)两个约束条件得：

V(x,y)＝max(min(pB(x,y),M(x,y)),0)

p控制去雾能能力，一般的取值是在0.9～0.95之间。现实中，空气中总会不可避免地包含一些杂质分子.如果彻底地移除雾的存在，图像会看起来不真实，并且深度感会丢失。所以引进常数p，有针对性地保留一部分覆盖遥远景物的雾。

应理解地，中值滤波是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。在中值滤波处理中，噪声成分很难被选上，所以可以在几乎不影响原有图像的情况下去除全部噪声。因此，在估计尘雾浓度过程中，利用中值滤波可以更好的估计尘雾的浓度。大气散射模型建立的目的是可以从有雾图像中恢复出清晰图像，对恢复后的图像通过改变图像的均值和标准差，改变图像的亮度。

示例性地，基于中值滤波的大气散射模型为：

I(x,y)＝J(x,y)t(x,y)+A[1-t(x,y)](0.1)

其中，I(x,y)是含雾图像，J(x,y)是恢复后的图像，A为大气光强，t(x,y)为介质传播函数，与景深有关，所以无法直接数据计算，需要估算。

第一步，由暗原色先验理论首先估计大气光强A，因为有雾图像的暗原色图像在雾气越浓的地方具有越高的像素亮度值，从视觉上看，暗原色图像的亮度对应于对雾气浓度的估计，在暗原色图像中，将各像素点亮度值递减排列，确定数值大小前0.1％的像素在暗原色图像中的位置，这些位置对应原有雾图像，在有雾图像中的最大灰度值作为大气光强A；

第二步，根据中值滤波原理做尘雾浓度V估计，公式如下：

M(x,y)＝min(I(x,y))(0.2)

其中图像I中每一个像素在RGB中的最小值，M是一个灰度级图像。

尘雾浓度V满足：0≤V(x,y)≤M(x,y)；

(1)0≤V(x,y)，因为所有的像素点都会受到大气光的影响。

(2)V(x,y)≤M(x,y)，因为有雾图像中的每个像素点的亮度值包含两部分，除了大气光之外还有景物本身反射的光，所以V(x,y)小于或者等于像素值在所有通道中的最小值。

进一步地，所述亮度增强处理，具体包括：

对去雾后的图像的直方图进行操作，改变直方图的均值和方差，以实现亮度增强处理。

示例性地，去雾后图像亮度调整，通过对图像的直方图进行操作，改变灰度图像直方图的均值和标准差：

其中，x_in为输入图像，x_out为输出图像，m₀表示图像像素分布的期望均值，s₀表示图像像素分布的期望标准差，m是原图像的均值，s是原图像的标准差。

进一步地，如图2所示，所述训练后的遥感图像小目标检测模型，其网络结构包括：

Res2Net网络和特征金字塔网络；

所述Res2Net网络，包括：由下而上依次连接的第一卷积块conv_1、第二卷积块conv_2、第三卷积块conv_3、第四卷积块conv_4和第五卷积块conv_5；第一卷积块conv_1的输出端输出特征图c1，第二卷积块conv_2的输出端输出特征图c2，第三卷积块conv_3的输出端输出特征图c3，第四卷积块conv_4的输出端输出特征图c4，第五卷积块conv_5的输出端输出特征图c5；

所述特征金字塔网络，包括：由上而下依次连接的上采样单元y1、加法器J1、上采样单元y2、加法器J2、上采样单元y3和加法器J3；上采样单元y1的输入端通过1*1的卷积层M1与第五卷积块conv_5的输出端连接；加法器J1的输入端通过1*1的卷积层M2与第四卷积块conv_4的输出端连接；加法器J2的输入端通过1*1的卷积层M3与第三卷积块conv_3的输出端连接；加法器J3的输入端通过1*1的卷积层M4与第二卷积块conv_2的输出端连接。

1*1的卷积层M1的输出端与3*3的卷积层L1的输入端连接；加法器J1的输出端与3*3的卷积层L2的输入端连接；加法器J2的输出端与3*3的卷积层L3的输入端连接；加法器J3的输出端与3*3的卷积层L4的输入端连接；

3*3的卷积层L1的输出端与连接器Q1的输入端连接；

3*3的卷积层L2的输出端与连接器Q2的输入端连接；

3*3的卷积层L3的输出端与连接器Q3的输入端连接；

3*3的卷积层L4的输出端与1*1的卷积层M8的输入端连接；

1*1的卷积层M8的输出端与下采样单元Z3的输入端连接，1*1的卷积层M8的输出端与3*3的卷积层L8的输入端连接；下采样单元Z3的输出端与连接器Q3的输入端连接。

连接器Q3的输出端与1*1的卷积层M7的输入端连接；

1*1的卷积层M7的输出端与3*3的卷积层L7的输入端连接；1*1的卷积层M7的输出端与下采样单元Z2的输入端连接；下采样单元Z2的输出端与连接器Q2的输入端连接；

连接器Q2的输出端与1*1的卷积层M6的输入端连接；

1*1的卷积层M6的输出端与3*3的卷积层L6的输入端连接；1*1的卷积层M6的输出端与下采样单元Z1的输入端连接；下采样单元Z1的输出端与连接器Q1的输入端连接；

连接器Q1的输出端与1*1的卷积层M5的输入端连接；1*1的卷积层M5的输出端与3*3的卷积层L5的输入端连接；

3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8用于输出特征图；3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8的输出端均与区域生成网络RPN的输入端连接；3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8的输出端均与ROI Pooling的输入端连接。

区域生成网络RPN的输出端分别与级联结构检测网络连接,级联结构检测网络输出检测结果；

卷积层L1的输出端输出特征图P5，卷积层L2的输出端输出特征图P4，卷积层L3的输出端输出特征图P3，卷积层L4的输出端输出特征图P2；

卷积层L5的输出端输出特征图N5，卷积层L6的输出端输出特征图N4，卷积层L7的输出端输出特征图N3，卷积层L8的输出端输出特征图N2；

第二卷积块conv_2的输出端还与上采样单元y1的输入端连接；

第二卷积块conv_2的输出端还与连接器Q1的输入端连接。

所述连接器Q1、连接器Q2和连接器Q3的作用是实现特征图的串联拼接。

进一步地，所述第一卷积块conv1包括一个卷积层；所述第二卷积块conv_2包括依次连接的一个下采样层和三个卷积子块；所述第三卷积块conv_3包括依次连接的一个下采样层和四个卷积子块、第四卷积块conv_4包括依次连接的一个下采样层和23个卷积子块，第五卷积块conv_5包括依次连接的一个下采样层和三个卷积子块；每个卷积子块，均包括：依次连接的1*1的第一卷积层、3*3的第二卷积层和1*1的第三卷积层，第一卷积层的输入端与第三卷积层的输出端进行残差连接。

示例性地，Res2Net:首先采用标准ResNet101网络；ResNet101网络包括五个级别的特征提取模块，但为了在获得深层语义信息的同时最大化保留浅层小目标的信息，将ResNet残差块内的特征映射分成多个通道组，并在不同的通道组之间设计一个类似残差的连接，使得网络在更细粒度的层次上提高多尺度表达能力。

每个卷积子块，在1×1的卷积层之后将特征图分为s个子集，分别用x_i表示，其中i∈{1，2，3，…,s}。每个特征图子集x_i具有相同的空间大小，但通道数是原输入特征图的

除x₁外每个x_i都有其对应的3×3卷积层，分别用K_i表示，x_i经过卷积层K_i后输出设为y_i，将特征图子集x_i经过K_i-1的特征图子集x_i-1相加后输入K_i得到输出y_i，其中y_i表达式定义如下：

由此，残差块中每一个3×3的卷积核K_i可以接收到此前所有的特征图子集的信息，即{x_j，j≤i}的特征信息，使得特征图子集x_j经过一个3×3的卷积后就可以得到一个比x_j感受野更大的输出结果。最后，为了让不同尺度的信息融合，将所有y_i并联并采用1×1的卷积进行融合。

这种分组、合并的策略使得卷积层能够更有效的处理特征图，使得残差块输出特征图包含不同感受野，有利于进行多尺度特征的提取，从而使网络可以在更加细粒度的水平上捕捉局部或者全局的图像特征。

在传统的特征金字塔中，会出现深层特征图定位信息不准确的问题，这表明需要添加自下而上的路径传播浅语义更强的特征和以这种方式增强整个层次结构。因此，遵循特征金字塔定义P₂、P₃、P₄、P₅来生成相同大小的特征图，并在正常特征金字塔中添加自下而上的路径，例如N₂、N₃、N₄、N₅。路径聚合从P₂开始，其中P₂为N₂，没有任何处理。从P₂到P₅进行空间下采样，最后用N₂、N₃、N₄、N₅来表示新生成的特征图。高分辨率特征图N_i通过步长为2的3×3卷积层生成下采样图，然后下采样图与更粗略的特征图P_i+1横向连接。对每个特征图元素求和，最后求和的特征图最后通过一个3×3的卷积层生成新的特征图N_i+1。这种下采样结构一直重复到N₅，这样修改后的特征金字塔就完成了路径聚合的功能，通过它可以更好地将语义信息传达给整个特征层次。

应理解地，所述训练后的遥感图像小目标检测模型可以提高浅层特征图的语义信息表达，有效地减少复杂背景下周围环境的干扰，从而改善对相关目标的检测效果。

进一步地，级联结构检测网络，包括T个级联的回归器，每个回归器采用检测网络Region-CNN(Convolutional Neural Networks)来实现，除了第一个检测网络基于RPN网络生成的候选框进行边界框回归以外，之后的每一个检测网络都基于前一个检测网络预测的边界框进行回归。

进一步的，T个级联的回归器，定义如下：

其中，T表示级联阶段的数总数量，在级联检测网络中T＝3；x为当前阶段输入的图片；b为当前阶段图片对应的目标边框。在级联边框回归中，每个回归模型f_i所对应阶段的样本分布为b_i，因此每经过一个阶段回归就进行一次优化，最终回归效果将不断得到提升，ο表示级联，f₁(x,b)表示ROI Pooling和检测网络Region-CNN。

进一步地，所述训练后的遥感图像小目标检测模型，其训练过程包括：

构建训练集；所述训练集为已知小目标标签的遥感图像；

将训练集输入到遥感图像小目标检测模型中，对模型采用随机梯度下降，误差反向传播，学习率衰减的方式进行训练；当模型的总损失函数不再降低或迭代次数达到最大迭代次数时，停止训练，得到训练后的遥感图像小目标检测模型；每次训练得到的模型都需在验证集上评估精度和召回率，将评估最好的模型在测试集上测试可获得其泛化能力。

进一步地，所述构建训练集，具体包括：

(1)数据集影像来源于高分一号卫星和高分二号卫星，将得到的遥感图像用窗口大小为512×512像素，步长为512像素的滑窗，对遥感数据中的每幅遥感图像进行裁剪，得到裁剪后的图像；

(2)对于每张图像，使用lableMe标注工具人工对筛选后图像中的小目标进行标注，标注内容包含图像名称、目标类别标签、图像中小目标的位置信息；所有图像标注完成后转换为适合Pytorch平台训练的xml格式，并将其按9：1的比例随机划分为训练验证集和测试集，各集合互不干涉，没有相同的图片，防止数据被污染，最后制作成通用的遥感图像小目标数据集。

进一步地，所述对亮度增强处理后的遥感图像进行多尺度特征提取，通过Res2Net网络来实现。

进一步地，所述对提取的多尺度特征进行特征融合和特征增强，得到特征图，通过特征金字塔网络来实现。

进一步地，所述对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框，通过区域生成网络RPN来实现。

进一步地，所述将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果，通过级联结构检测网络来实现。

对提取的多尺度特征进行特征融合和特征增强，针对遥感图像下的小目标检测模型设计，聚焦于小目标特征及上下文信息的保留提取，可解决遥感图像中小目标检测的空间信息丢失问题。

在小目标检测任务中Res2Net网络和特征金字塔网络FPN可以提高浅层特征图的语义信息表达，有效地减少复杂背景下周围环境的干扰，从而改善对相关目标的检测效果。

图1中，左下角的图像为输入图像。Image Dehazing为图像去雾模块,Res2Net为骨干网络，用于目标检测任务的基本特征提取，PAFPN为Neck模块，用于对骨干网络输出的特征进行高效融合和增强，Feature Map就是前面三个模块处理后得到的结果,亦就是特征图(经过神经网络卷积产生的结果，表征的是神经空间内一种特征)，ROI pooling层是对输入Feature Map中的不同大小的ROI利用池化方法获得固定大小的输出feature map，RPN层就是提取出目标的候选区域,在图像中生成候选框，剩下的包括IOU_thr＝0.5,0.6,0.7，positive sample negative sample就是逐stage提高proposal的IoU值，从而使得前一个stage重新采样过的proposals能够适应下一个有更高阈值的stage。

Res2Net:在进行1×1卷积后，将特征图平均分割为s个特征图子集，用xi表示，其中i∈{1,2，…,s}。与输入特征图相比，每个特征子集xi具有相同的空间大小，但通道数为1/s。除x1外，每个xi都有相应的3×3卷积，记为Ki()。用yi表示Ki()的输出。特征子集xi与Ki-1()的输出相加，然后输入Ki()。

PAFPN:C2-C5为Res2Net得到的不同尺寸的特征图,P2-P5为进行自上而下(top-down)以及同层连接得到的特征图,P2-P5为进行自下而上(bottom-up)以及同层连接得到的特征图。

下面结合仿真针对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验条件：服务器GPU：GeForce RTX2080Ti，显存12G。

本发明的操作平台：Ubuntu18.04***，Python 3.7，Pytorch-gpu 1.19.0。

2.仿真内容及其实验结果分析：

本发明仿真是对于以下现有技术(YOLO v3、Mask R-CNN、Faster R-CNN、SparseR-CNN、SSD、Retinanet以及Grid R-CNN方法)和基于多尺度特征和级联结构的遥感图像小目标检测方法做遥感图像的小目标检测，获得检测结果。仿真使用的数据集：UJN-Traffic。

本发明仿真实验所用的输入图像为UJN-Traffic数据集。

UJN-Traffic数据集是由济南大学在2020年建造，之后不断扩展，其图像提取自高分一号卫星和高分二号卫星，现数据集中包含4种类型10万个样本。

仿真实验是将图像预处理以及多尺度特征提取框架引入到级联卷积神经网络模型的检测结果与上述现有技术对比结果。

为了验证本发明的对于遥感图像检测的效果，利用公共目标检测评价指标对检测结果进行评价。并将计算结果绘制成表1。

表1.本发明在UJN-Traffic数据集上的仿真实验结果对比表

如表1所示仿真实验结果分别比较了本方法和目标检测经典算法的准确率。可以看出，该方法具有较好的鲁棒性。图3(a)-图3(e)是本发明的测试结果图；图4是基于IOU不同尺度比较的Precision-Recall图。

图3(a)是遥感图像的原图，图3(b)是采用本发明的方法对遥感图像处理之后的示意图；图3(c)是采用Faster R-CNN算法对遥感图像处理之后的示意图；图3(d)是采用SSD算法对遥感图像处理之后的示意图；图3(e)是采用YOLO v3算法处理之后的示意图。

本发明在UJN-Traffic数据集中对于小目标的AP⁵⁰为88.2％。与其他类型的经典算法相比，AP、AP^S和AR^S指标均高于其他类型的检测算法，虽然AP⁵⁰比SSD算法低一个百分点，但远优于AP中的SSD算法。

从表1中不同指标的对比来看，与其他主流的传统目标检测方法相比，改进方法训练的检测模型可以挖掘出更难的样本，并且可以显着增强对小目标位置的感知能力。对于同一物体，本发明给出的预测精确度明显高于其他算法，因此该方法可以更有效地检测不同背景下不同环境和大小的小物体。由于特征融合过程不仅提高了特征提取能力，而且在一定程度上保留了底层丰富的语义信息，因此模型具有更好的迁移能力。迁移实验结果证明，本发明学习到的检测模型具有一定的迁移性和通用性。

综上所述，基于多尺度特征和级联结构的遥感图像小目标检测方法在高分辨率光学遥感图像中复杂背景下的小目标检测方面具有良好的性能。

实施例二

本实施例提供了基于多尺度特征的遥感图像小目标检测***；

基于多尺度特征的遥感图像小目标检测***，包括：

获取模块，其被配置为：获取待检测的遥感图像；

处理模块，其被配置为：对待检测的遥感图像进行去雾处理和亮度增强处理；

检测模块，其被配置为：将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

此处需要说明的是，上述获取模块、处理模块和检测模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的***，可以通过其他的方式实现。例如以上所描述的***实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个***，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多尺度特征的遥感图像小目标检测方法，其特征是，包括：

获取待检测的遥感图像；

对待检测的遥感图像进行去雾处理和亮度增强处理；

将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

2.如权利要求1所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，所述去雾处理，具体包括：基于暗原色先验理论，估计大气光强A；基于大气光强A，根据中值滤波原理，估计尘雾浓度V；基于尘雾浓度V，实现图像去雾；所述亮度增强处理，具体包括：对去雾后的图像的直方图进行操作，改变直方图的均值和方差，以实现亮度增强处理。

3.如权利要求1所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，所述训练后的遥感图像小目标检测模型，其网络结构包括：

Res2Net网络和特征金字塔网络；

所述Res2Net网络，包括：由下而上依次连接的第一卷积块conv_1、第二卷积块conv_2、第三卷积块conv_3、第四卷积块conv_4和第五卷积块conv_5；第一卷积块conv_1的输出端输出特征图c1，第二卷积块conv_2的输出端输出特征图c2，第三卷积块conv_3的输出端输出特征图c3，第四卷积块conv_4的输出端输出特征图c4，第五卷积块conv_5的输出端输出特征图c5；

所述特征金字塔网络，包括：由上而下依次连接的上采样单元y1、加法器J1、上采样单元y2、加法器J2、上采样单元y3和加法器J3；上采样单元y1的输入端通过1*1的卷积层M1与第五卷积块conv_5的输出端连接；加法器J1的输入端通过1*1的卷积层M2与第四卷积块conv_4的输出端连接；加法器J2的输入端通过1*1的卷积层M3与第三卷积块conv_3的输出端连接；加法器J3的输入端通过1*1的卷积层M4与第二卷积块conv_2的输出端连接。

4.如权利要求3所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，1*1的卷积层M1的输出端与3*3的卷积层L1的输入端连接；加法器J1的输出端与3*3的卷积层L2的输入端连接；加法器J2的输出端与3*3的卷积层L3的输入端连接；加法器J3的输出端与3*3的卷积层L4的输入端连接；

3*3的卷积层L1的输出端与连接器Q1的输入端连接；3*3的卷积层L2的输出端与连接器Q2的输入端连接；3*3的卷积层L3的输出端与连接器Q3的输入端连接；3*3的卷积层L4的输出端与1*1的卷积层M8的输入端连接；

1*1的卷积层M8的输出端与下采样单元Z3的输入端连接，1*1的卷积层M8的输出端与3*3的卷积层L8的输入端连接；下采样单元Z3的输出端与连接器Q3的输入端连接。

5.如权利要求4所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，连接器Q3的输出端与1*1的卷积层M7的输入端连接；

1*1的卷积层M7的输出端与3*3的卷积层L7的输入端连接；1*1的卷积层M7的输出端与下采样单元Z2的输入端连接；下采样单元Z2的输出端与连接器Q2的输入端连接；

连接器Q2的输出端与1*1的卷积层M6的输入端连接；

1*1的卷积层M6的输出端与3*3的卷积层L6的输入端连接；1*1的卷积层M6的输出端与下采样单元Z1的输入端连接；下采样单元Z1的输出端与连接器Q1的输入端连接；

连接器Q1的输出端与1*1的卷积层M5的输入端连接；1*1的卷积层M5的输出端与3*3的卷积层L5的输入端连接；

3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8用于输出特征图；3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8的输出端均与区域生成网络RPN的输入端连接；3*3的卷积层L5、3*3的卷积层L6、3*3的卷积层L7和3*3的卷积层L8的输出端均与ROI Pooling的输入端连接。

6.如权利要求5所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，区域生成网络RPN的输出端分别与级联结构检测网络连接,级联结构检测网络输出检测结果；

卷积层L1的输出端输出特征图P5，卷积层L2的输出端输出特征图P4，卷积层L3的输出端输出特征图P3，卷积层L4的输出端输出特征图P2；

卷积层L5的输出端输出特征图N5，卷积层L6的输出端输出特征图N4，卷积层L7的输出端输出特征图N3，卷积层L8的输出端输出特征图N2；

第二卷积块conv_2的输出端还与上采样单元y1的输入端连接；

第二卷积块conv_2的输出端还与连接器Q1的输入端连接；

级联结构检测网络，包括T个级联的回归器，每个回归器采用检测网络Region-CNN来实现，除了第一个检测网络基于RPN网络生成的候选框进行边界框回归以外，之后的每一个检测网络都基于前一个检测网络预测的边界框进行回归。

7.如权利要求3所述的基于多尺度特征的遥感图像小目标检测方法，其特征是，所述第一卷积块conv_1包括一个卷积层；所述第二卷积块conv_2包括依次连接的一个下采样层和三个卷积子块；所述第三卷积块conv_3包括依次连接的一个下采样层和四个卷积子块、第四卷积块conv_4包括依次连接的一个下采样层和23个卷积子块，第五卷积块conv_5包括依次连接的一个下采样层和三个卷积子块；每个卷积子块，均包括：依次连接的1*1的第一卷积层、3*3的第二卷积层和1*1的第三卷积层，第一卷积层的输入端与第三卷积层的输出端进行残差连接；

所述训练后的遥感图像小目标检测模型，其训练过程包括：

构建训练集；所述训练集为已知小目标标签的遥感图像；

将训练集输入到遥感图像小目标检测模型中，对模型采用随机梯度下降，误差反向传播，学习率衰减的方式进行训练；当模型的总损失函数不再降低或迭代次数达到最大迭代次数时，停止训练，得到训练后的遥感图像小目标检测模型；每次训练得到的模型都需在验证集上评估精度和召回率，将评估最好的模型在测试集上测试可获得其泛化能力。

8.基于多尺度特征的遥感图像小目标检测***，其特征是，包括：

获取模块，其被配置为：获取待检测的遥感图像；

处理模块，其被配置为：对待检测的遥感图像进行去雾处理和亮度增强处理；

检测模块，其被配置为：将亮度增强处理后的图像，输入到训练后的遥感图像小目标检测模型中，得到遥感图像的小目标检测结果；

其中，训练后的遥感图像小目标检测模型，其工作原理包括：对亮度增强处理后的遥感图像进行多尺度特征提取；对提取的多尺度特征进行特征融合和特征增强，得到特征图；对特征图中不同尺寸的感兴趣区域进行尺寸固定，得到目标的建议候选框；将提取出来的建议候选框经过非极大值抑制后，得到目标的预测边界框坐标，绘制目标所在区域的最小外接矩形，将最小外接矩形作为目标预测边界框，得到遥感图像目标的检测结果。

9.一种电子设备，其特征是，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。

10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

Images