CN117593514A - 一种基于深层主成分分析辅助的图像目标检测方法及*** - Google Patents

Abstract

本发明公开了一种基于深层主成分分析辅助的图像目标检测方法及***，属于图像处理技术领域。方法包括：构建结合深层主成分分析辅助的骨干特征提取网络；基于深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；对建立的目标检测模型进行目标检测任务训练；利用训练好的目标检测模型对待测图像进行目标检测。本发明针对遥感图像目标检测中的特征信息在深层特征提取过程中的特征差异性质，构建了一种结合深层主成分分析辅助的骨干特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质，提高了遥感图像目标检测模型的性能，便于实现精准的遥感图像目标检测任务识别。

Description

一种基于深层主成分分析辅助的图像目标检测方法及***

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种基于深层主成分分析辅助的图像目标检测方法及***。

背景技术

遥感图像在国防安全、环境监测、城市规划等领域具有广泛的应用前景。遥感图像目标检测技术一直以来都是遥感领域的研究重点之一。当前主流的遥感图像目标检测方法主要基于卷积神经网络构建，经过特征提取，特征融合,特征解耦后输出潜在目标区域的预测框和类型信息。其中，遥感图像目标检测模型的特征提取网络扮演着重要的作用，也是整个目标检测模型最核心的架构之一。特征提取网络由卷积模块深层堆叠构成，用于接收输入的原始遥感图像并提取特征。卷积模块包含基础卷积算子，归一化模块和激活函数三部分，负责对输入的遥感图像的通道信息进行逐像素级别的计算以实现特征提取的目的。一直以来，设计高效的特征提取网络成为了提升遥感图像目标检测模型精度的有效方法，许多强大的特征提取网络被相继提出并在遥感图像目标检测领域大放异彩，如ResNet，VGG，ViT等。然而，这类方法大多忽略了特征信息在深层特征提取过程中的差异性质，导致特征信息的利用不够高效，这使得目标检测的性能存在瓶颈。在深度学习模型中，特征图经过深层次的卷积计算，遥感图像的通道数得到拓展，模型可以从中解耦出更多有价值的信息。在这一深层特征提取过程中，深层级特征图往往包含了丰富的语义信息，但纹理角点信息缺失且分辨率较低尺寸较小，而浅层特征图更多的包含了丰富的纹理角点信息，但语义信息不足且分辨率较高尺寸较大。因此，深层特征图和浅层特征图具有较强的特征互补性质，当前主流的目标检测模型没有有效利用这一性质，从而影响了模型预测的质量。

因此，亟需改进遥感图像目标检测方法，设计高效的特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质并改善模型预测的质量，对于正确识别和定位遥感图像中的潜在的目标对象至关重要。

发明内容

有鉴于此，本发明提供至少解决上述部分技术问题的一种基于深层主成分分析辅助的图像目标检测方法及***，便于实现精准的图像目标检测任务识别，提高了图像目标检测的性能。

为实现上述目的，本发明采取的技术方案为：

第一方面，本发明实施例提供一种基于深层主成分分析辅助的图像目标检测方法，该方法包括以下步骤：

S1、构建结合深层主成分分析辅助的骨干特征提取网络；

S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

S3、对建立的目标检测模型进行目标检测任务训练；

S4、利用训练好的目标检测模型对待测图像进行目标检测。

可选的，所述步骤S1中，搭建的所述深层主成分分析辅助的骨干特征提取网络包括：堆叠的多个卷积模块和主成分分析模块，其中：

所述主成分分析模块在骨干特征提取网络中以间隔部署的方式与所述卷积模块连接，所述主成分分析模块提取浅层特征图的特征信息并以间隔方式传递给深层特征图，实现深层特征图和浅层特征图的特征互补性质利用。

可选的，主成分分析模块的计算流程包括：图像切片、特征映射、特征拼接和特征重塑的操作。

可选的，特征映射的操作过程中，首先提取观测向量矩阵的一组主成分基底，其中，/>是基础样本矩阵的主成分基底，/>是基础样本矩阵对应的标签矩阵的主成分基底；然后利用约束条件对主成分基底/>进行优化。

可选的，所述约束条件包括：①.与/>各自最大化地提取所在变量组的变异信息；②./>与/>的相关程度达到最大。

可选的，所述步骤S2中，建立的目标检测模型包括：深层主成分分析辅助的骨干特征提取网络、特征融合网络以及特征解耦头。

可选的，所述步骤S3中，在进行目标检测任务训练前，对训练图像进行预处理，预处理过程包括：缩放、拉伸、投影、滤波、对比度调整、旋转和翻转。

可选的，所述步骤S3中，采用焦点损失和旋转框交并比损失对目标检测模型进行目标检测任务训练。

第二方面，本发明实施例还提供一种基于深层主成分分析辅助的图像目标检测***，应用上述的一种基于深层主成分分析辅助的图像目标检测方法，实现精准的图像目标检测任务识别，该***包括：

特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；

目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；

目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测。

与现有技术相比，本发明至少具有如下有益效果：

1.本发明提供了一种基于深层主成分分析辅助的图像目标检测方法及***，其中构建的结合深层主成分分析辅助的骨干特征提取网络，能够有效的提升浅层特征图和深层特征图的数据利用效率，便于帮助模型获取到更高质量的浅层纹理信息和深层语义信息，进而帮助目标检测模型更准确地理解图像内容，正确识别和定位图像中的潜在的目标。

2.本发明提供了一种基于深层主成分分析辅助的图像目标检测方法及***，基于深层主成分分析辅助的骨干特征提取网络建立的目标检测模型，能够在特征融合阶段充分融合不同层级的特征信息，提升了浅层纹理信息和深层语义信息的在融合过程中的数据流动，使得特征解耦头能够获取更多关于潜在目标区域的多尺度信息以及多维度信息，从而实现精准的遥感图像目标检测任务识别。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明实施例提供的一种基于深层主成分分析辅助的图像目标检测方法的流程示意图。

图2为本发明实施例提供的基于深层主成分分析辅助的目标检测模型示意图。

图3为本发明实施例提供的主成分分析模块对输入特征图处理流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要说明的是：在本申请说明书及附图等描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，本发明提供了一种基于深层主成分分析辅助的图像目标检测方法，该方法主要包括以下步骤：

S1、构建结合深层主成分分析辅助的骨干特征提取网络；

S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

S3、对建立的目标检测模型进行目标检测任务训练；

S4、利用训练好的目标检测模型对待测图像进行目标检测。

下面以本发明应用于遥感图像处理场景，对本发明方法的具体实施方式进行详细说明：

传统深度学习模型大多使用卷积神经网络作为骨干特征提取网络，典型骨干特征提取网络包括：ResNet，VGG，EfficientNet等。这类模型通过层级堆叠卷积模块以获得输入遥感图像的特征信息。随着Transformer系列模型在视觉领域的大热，许多基于Transformer的骨干特征提取网络相继出现，如Swin Transformer，Lite Transformer等，这类模型基于自注意力机制计算获得图像特征的上下文信息，相比于传统卷积神经网络模型具有更好的精度表现。为准确的表示本发明方法的应用示例，本实施例中以基础卷积模块作为示例，展示本发明基于深层主成分分析辅助的图像目标检测方法模型结构。但需要注意的是，通过简单的模型替换，本发明基于深层主成分分析辅助的图像目标检测方法可以适配通用基础骨干特征提取网络。

传统骨干特征提取网络由卷积模块堆叠而成，每个基础的卷积模块内包含基础卷积算子（Conv），归一化模块（Batch Normalization）和激活函数（Relu），基础卷积算子对输入的遥感图像的通道信息进行逐像素级别的计算以实现特征提取的目的，归一化模块将计算后的通道结果归一化到标准区间内以方便后续计算同时避免梯度优化异常问题，激活函数对潜在目标区域的特征矩阵进行激活和抑制作用，以帮助模型区分前景及背景信息。各自模块的操作层的计算过程可形式化地表示为：

其中，表示基础卷积操作，/>为归一化模块，它接收和输出特征的通道数保持不变，/>为输入特征图，/>为经历多尺度特征提取后的输出特征图。/>为激活函数负责对输出特征图的潜在目标区域进行激活。定义CONV为包含基础卷积算子，归一化模块和激活函数的卷积模块，因此深度神经网络的深层特征提取过程可以形式化地表示为：

其中，表示第n层的卷积模块，/>为输入特征图，/>为输出特征图。基于此可以获得遥感图像经过深层特征提取后的n张特征图。

在一个具体实施例中，在上述步骤S1中，搭建结合深层主成分分析辅助的骨干特征提取网络，其结构如图2所示。它包含传统骨干特征提取网络以及主成分分析模块（Principal Component Analysis,，PCA），其中主成分分析模块为网络的核心模块，负责提取浅层特征图的特征信息并以间隔部署的方式传递给深层特征图，以实现深层特征图和浅层特征图的特征互补性质的有效利用，进而提升模型预测的质量。在本实施例中，以骨干特征提取网络的前三层为例说明该流程的计算过程，可形式化地表示为：

其中，表示第i层级的卷积操作，用于提取输入图像的特征。/>表示第三层级卷积模块的输出特征图。PCA为主成分分析模块，它间隔的部署在骨干特征提取网络中以实现浅层特征图到深层特征图的特征降维以及特征复用。主成分分析模块的计算流程如图3所示，它包含图像切片，特征映射，特征拼接，特征重塑的等操作，最终得到合适尺寸的特征图，计算过程可形式化地表示为：

首先，浅层特征图将经过图像切片操作，按照通道划分为n个相等大小的子块/>。对于每个子特征图将其映射为观测向量并构成基础样本矩阵X，根据真值标签基础样本矩阵X与标签矩阵Y的线性对应关系。在该映射过程中，首先提取观测向量矩阵的一组主成分基底/>，其中/>对应的是基础样本矩阵X的主成分基底，/>对应的是基础样本矩阵X对应的标签矩阵Y的主成分基底。因此，/>可以表示为基础样本矩阵X的线性组合，计算过程可形式化地表示为：

同理，对于标签矩阵Y的主成分基底，计算过程可形式化地表示为：

其中，分别表示样本的权重系数，/>表示标签矩阵Y包含变量的个数，/>表示标签矩阵Y的第/>个变量。基于上述计算即可得到基础样本矩阵X和标签矩阵Y的第一组线性组合，即第一组主成分基底。

进一步的，在本实施例中，为了求得最具有数据代表性的主成分权重，我们按照以下两个约束条件对进行优化：①/>与/>各自尽可能多地提取所在变量组的变异信息;②/>与/>的相关程度达到最大。最后，在本实施例中，利用协方差矩阵作为衡量两个随机变量的关系，协方差数值越大,相关程度越高，计算过程可形式化地表示为：

在本实施例中，此处可利用lagrange乘数法转化为条件极值进行求解，直到回归曲线精度符合要求。基于此，即可得到最能代表特征图显著信息的特征向量Z，经过多次PCA提取后，获得的特征向量表示为：

其中，为最终优化后的权重值，对每个切片的后的子特征图进行主成分分析后可以得到多个最能代表特征图显著信息的特征向量/>，利用特征拼接算子以及特征重塑算子将其整合为符合骨干网络层级输入尺寸的形状后传入对应层级的卷积模块中，计算过程可形式化地表示为：

其中，表示特征重塑算子用于改变特征图的形状，/>为特征拼接算子用于将不同切片经过主成分分析后得到的包含特征图显著信息的特征向量/>进行拼接以获得完整的特征图。/>表示第n个子特征图切片经过多次PCA提取后，获得的最能代表特征图显著信息的特征向量。

综上，基于深层主成分分析模块辅助的骨干特征提取网络的前三层结构描述完毕，后续只需要层级堆叠即可实现深层骨干特征提取网络的构建。

在一个具体实施例中，在上述步骤S2中，进一步的，搭建基于深层主成分分析辅助的骨干特征提取网络的遥感图像目标检测模型。其结构如图2所示，该模型由深层主成分分析辅助的骨干特征提取网络（PCA-CNN），特征融合网络（Neck）以及特征解耦头（Head）组成。首先，遥感图像即其标签信息经过数据预处理后输入到目标检测模型中，而后基于深层主成分分析辅助的骨干特征提取网络对输入图像进行特征提取，形式化地表示为：

其中，为尺寸为/>，并且，通道数为3的原始输入图像，/>为图像中目标的标注信息，包括检测框和类别等。预处理过程还包括必要的数据增强方法，如投影，旋转，翻转等对数据进行扩充增强。/>表示经过特征提取后的到的特征图，它的尺寸为/>，并且有/>个通道。将最后3层的由卷积模块提取的特征图/>传递给特征融合网络（Neck）进行特征融合。特征融合网络一般由卷积模块（Conv）和特征融合模块（Concat）和特征重塑模块（Reshape）组成，其中卷积模块负责修改特征图的通道数，特征重塑模块（Reshape）负责负责修改特征图的尺寸，融合模块（Concat）用于融合不同层级的特征图信息以辅助预测，该过程可以形式化地表示为：

其中，表示特征融合网络，用于特征融合，/>表示融合后的输出特征图。

进一步的，经过特征融合网络获得融合后特征图将被输出到目标检测模型的检测头部分，通过解耦特征图以获得潜在目标的类别和位置信息，形式化地表示为：

其中，表示预测获得的分类信息，/>表示预测获得的位置信息。/>为颈部网络（Neck）进行特征融合输出的特征图，/>表示分类函数，/>表示位置回归函数。至此，搭建基于深层主成分分析辅助的骨干特征提取网络的遥感图像目标检测模型搭建完毕。

在一个具体实施例中，在上述步骤S3中，对目标检测模型的网络进行遥感图像目标检测任务的训练；在搭建完结合多尺度语义特征注意力融合网络的目标检测模型后，采用焦点损失（Focal Loss）和旋转框交并比损失（Rotated IoU）对网络进行遥感图像目标检测任务训练，形式化地表示为：

其中，表示焦点损失，用于遥感图像目标检测任务的分类预测分支。表示旋转框IoU损失函数，用于计算预测框与输入的遥感图像对应的目标真值标签的距离。/>则表示网络训练所采用的总损失。待网络训练至损失不再下降，则表示网络训练达到稳定，训练过程结束，得到训练完毕的结合多尺度语义特征注意力融合网络的目标检测模型。

在一个具体实施例中，在上述步骤S4中，使用训练完毕的基于深层主成分分析辅助的遥感图像目标检测模型对待测试的遥感图像进行测试，形式化地表示为：

其中，表示训练完毕的基于深层主成分分析辅助的遥感图像目标检测模型，/>和/>分别表示待测试的遥感图像和与其对应的目标检测结果。

由上述实施例的描述，本领域技术人员可获知，针对遥感图像目标检测中的特征信息在深层特征提取过程中的特征差异性质，本发明提供了一种基于深层主成分分析辅助的图像目标检测方法，本发明中构建了一种高效的特征提取网络以有效提取和利用深层特征图和浅层特征图的特征互补性质，进一步提高了遥感等图像目标检测的性能；利用本发明提出的深层主成分分析辅助的骨干特征提取网络能够有效的提升浅层特征图和深层特征图的数据利用效率，帮助模型获取到更高质量的浅层纹理信息和深层语义信息，进而帮助目标检测模型更准确地理解图像内容，正确识别和定位遥感图像中的潜在的目标。本发明提出的基于深层主成分分析辅助的目标检测模型，能够在特征融合阶段充分融合不同层级的特征信息，提升了浅层纹理信息和深层语义信息的在融合过程中的数据流动，使得特征解耦头能够获取更多关于潜在目标区域的多尺度信息以及多维度信息，从而实现精准的遥感等图像目标检测任务识别；便于为遥感图像目标检测等领域提供了更为可靠和高效的解决方案，有助于为未来的遥感等应用领域提供了强大的支持。

进一步地，本发明还提供了一种基于深层主成分分析辅助的图像目标检测***，应用于上述实施例中的一种基于深层主成分分析辅助的图像目标检测方法，提高了图像目标检测的性能，便于实现精确的图像目标检测；该***包括：

特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；

目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；

目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测。

本发明实施例所提供的***，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，***实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

另外，本发明实施例还提供一种存储介质，其上存储有计算设备可读的一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行上述实施例中的一种基于深层主成分分析辅助的图像目标检测方法。

本发明实施例中，存储介质例如可以是电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备以及上述的任意合适的组合。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品等。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。

应当注意的是，词语“包括”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，该方法包括以下步骤：

S1、构建结合深层主成分分析辅助的骨干特征提取网络；

S2、基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

S3、对建立的目标检测模型进行目标检测任务训练；

S4、利用训练好的目标检测模型对待测图像进行目标检测。

2.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S1中，搭建的所述深层主成分分析辅助的骨干特征提取网络包括：堆叠的多个卷积模块和主成分分析模块，其中：

所述主成分分析模块在骨干特征提取网络中以间隔部署的方式与所述卷积模块连接，所述主成分分析模块提取浅层特征图的特征信息并以间隔方式传递给深层特征图，实现深层特征图和浅层特征图的特征互补性质利用。

3.根据权利要求2所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，主成分分析模块的计算流程包括：图像切片、特征映射、特征拼接和特征重塑的操作。

4.根据权利要求3所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，特征映射的操作过程中，首先提取观测向量矩阵的一组主成分基底，其中，/>是基础样本矩阵的主成分基底，/>是基础样本矩阵对应的标签矩阵的主成分基底；然后利用约束条件对主成分基底/>进行优化。

5.根据权利要求4所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述约束条件包括：①.与/>各自最大化地提取所在变量组的变异信息；②./>与的相关程度达到最大。

6.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S2中，建立的目标检测模型包括：深层主成分分析辅助的骨干特征提取网络、特征融合网络以及特征解耦头。

7.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S3中，在进行目标检测任务训练前，对训练图像进行预处理，预处理过程包括：缩放、拉伸、投影、滤波、对比度调整、旋转和翻转。

8.根据权利要求1所述的一种基于深层主成分分析辅助的图像目标检测方法，其特征在于，所述步骤S3中，采用焦点损失和旋转框交并比损失对目标检测模型进行目标检测任务训练。

9.一种基于深层主成分分析辅助的图像目标检测***，其特征在于，应用如权利要求1-8任一项所述的一种基于深层主成分分析辅助的图像目标检测方法，实现精准的图像目标检测任务识别，该***包括：

特征提取网络构建模块，用于构建结合深层主成分分析辅助的骨干特征提取网络；

目标检测模型建立模块，用于基于所述深层主成分分析辅助的骨干特征提取网络，建立目标检测模型；

目标检测模型训练模块，用于对建立的目标检测模型进行目标检测任务训练；

目标检测模型应用模块，用于利用训练好的目标检测模型对待测图像进行目标检测。