CN115810157A - 一种基于轻量级特征融合的无人机目标检测方法 - Google Patents

Abstract

本发明公开一种基于轻量级特征融合的无人机目标检测方法，该方法能够针对无人机航拍的图像进行目标识别。对当前目标检测网络对图像小目标检测精度低以及网络参数量大难以实时检测等问题，首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4‑tiny的颈部特征提取模块；然后使用SPPF特征提取模块来增加提取特征的感受野信息，并且有效的保持模型的计算轻量化；最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性，更容易区分背景与待测目标，从而构建了一个全新的轻量级目标检测网络。

Description

一种基于轻量级特征融合的无人机目标检测方法

技术领域

本发明涉及目标检测技术领域，更具体地，涉及一种基于轻量级特征融合的无人机目标检测方法。

背景技术

随着深度学***均精度高、错检率和漏检率低，但是其模型参数量多、计算量大，难以达到实时性要求，主要以Fast R-CNN、Faster R-CNN为代表。单阶段检测算法以YOLO系列算法以及SSD算法等为代表，单阶段检测算法直接将特征提取与预测框的定位融合在一起，具有检测速度快、模型复杂度低易于部署等优点，能够满足实时检测的需求。

相比目前的通用目标检测算法具有的视野范围小，检测目标横向阻挡多，视野转换困难等缺点，无人机目标检测不仅具有高空视野横向无遮挡，监测范围广阔，快速转换视角等优势，还可以应用于军事及各种危险场景中进行目标检测，能够使目标检测算法的应用更具有安全性，因此目前基于无人机航拍图像的目标检测算法已经成为了一个研究热点。

然而无人机航拍图像也具有目标尺寸小、背景复杂、图像外观模糊等一系列问题导致检测精度下降。其中最难解决的问题当属小目标检测精度低的问题，小目标检测中网络训练和目标预测主要集中在特征提取和特征融合之间，然后由于小目标在原图中所占像素数较少，携带的信息有限，缺乏纹理、形状、颜色等外观信息，且深度卷积产生的下采样使小目标的特征信息在深层特征图中弥散甚至消失的问题，因此丰富网络的上下文语义信息、位置信息和特征表示成为了无人机小目标检测任务的研究重点。与此同时，无人机内存与计算资源有限，因此基于无人机航拍图像目标检测算法必需控制模型参数量增长，保持模型一定的轻量化才能保持模型检测速度的实时性。

当前深度学习下的无人机目标检测技术通常会结合无人机技术，航拍图像特点等对经典深度学习目标检测算法进行融合改进。在速度要求较高的目标检测算法中，大部分算法会结合无人机检测特点对YOLO系列算法进行改进。由于无人机计算能力限制问题，Zhang等人在YOLOv3的基础上对原网络进行剪枝从而获得精度基本不变但参数量和占用内存以及推断时间大幅减少的Slim YOLOv3，改进后模型更适合部署于无人机；Zhu等人提出了TPH-yolov5在yolov5的基础上使用transformer代替原yolo预测头，并且数量由原先的3个增加至4个，此外还在特征融合阶段集成了卷积注意力模块(Convolutional BlockAttention Module，CBAM)注意力机制，检测精度大大增加。

然而大部分基于无人机航拍目标检测算法主要致力于提高目标检测的精度或者提升目标检测的速度，没有很好的平衡模型的检测精度与模型的检测速度。因此，设计一个有效平衡无人机目标检测精度与检测速度的算法可以加速发展无人机在目标检测领域的应用，是社会发展的重要研究课题。

无人机图像一般由于拍摄环境受大气温度和照明条件影响等因素使得无人机拍摄图像具有场景复杂度高，图像中前景对象种类繁多，形状多变和尺度不一等特点，使得目标识别偏难，因此在无人机图像中对感兴趣目标进行准确检测是一件富有挑战性的任务。又因为无人机机载设备计算资源和能力的限制与无人机实时检测的要求冲突，检测精度与检测速度的均衡也一直是所有科研人员以及技术开发人员面临的挑战，如何在硬件资源限制的前提下均衡深度学***衡模型的检测精度与模型的检测速度。

发明内容

提供了本发明以解决现有技术中存在的上述问题。本发明提供一种基于轻量级特征融合的无人机目标检测方法，该技术能够针对无人机航拍的图像进行目标识别。对当前目标检测网络对图像小目标检测精度低以及网络参数量大难以实时检测等问题，首先通过使用深度可分离卷积(DSC)与Coordinate Attention(CA)重新设计YOLOv4-tiny的颈部特征提取模块；然后使用SPPF特征提取模块来增加提取特征的感受野信息，并且有效的保持模型的计算轻量化；最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性，更容易区分背景与待测目标，从而构建了一个全新的轻量级目标检测网络。

本发明具体采用如下技术方案：

一种基于轻量级特征融合的无人机目标检测方法，所述方法包括：

步骤1，获取训练数据集，所述训练数据集包括无人机航拍小目标公开数据集；

步骤2，对训练数据集的图片尺寸进行预处理，并进行马赛克数据增强，将训练数据集中任意取若干张图片进行随机分割、翻转，然后将翻转，之后将图片分别放置在对应分割位置上，最终对图片进行色域变换以及仿射变换，得到训练样本；

步骤3，基于所述训练样本，调整网络训练的候选框的尺寸，并计算出每个特征提取层预测所需要的最佳候选框个数；

步骤4，将所述训练样本作为输入图像，通过CBL模块中的3×3卷积模块分别对输入图像进行语义特征信息提取，并最终将提取特征的通道信息增长至64维度，使用CBL模块中的Batch Normalization层对提取的特征进行规范化处理；最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素；

步骤5，利用三个CSP残差模块CSPBlockl，CSPBlock2，CSPBlock3，对图像信息特征进行提取，其中分别输出中间层CSPBlock2，CSPBlock3的两个特征层，分别为第二特征层和第三特征层；

步骤6，基于注意力机制，分别对步骤5输出的第二特征层和第三特征层进行注意力权重分配更新第二特征层和第三特征层；

步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层；

步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；

步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析；

步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型。

进一步地，所述对训练数据集的图片尺寸进行预处理，包括：

将训练数据集的图片大小调整至640×640像素。

进一步地，所述步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层，具体包括：

步骤7-1，针对步骤6得到的第三特征层的特征信息使用三个卷积组成的ThreeConv对其进行特征再提取，首先使用1×1大小的卷积核对第三特征层进行降维处理，然后使用3×3深度可分离卷积进行特征提取，最后使用1×1的卷积调整输出的特征层维度更新第三特征层；

步骤7-2，基于级联特征提取模块SPPF，所述SPPF模块由三个5×5大小的最大池化层级联构成，分别生成了尺寸为5×5、9×9、13×13的最大池化层一样的感受野信息，将更新后的第三特征层通过SPPF模块进行特征再提取，并且将每个池化层上的输出特征以及SPPF模块的输入特征信息进行Concat拼接，进一步更新第三特征层；

步骤7-3，使用ThreeConv对更新后的第三特征层进行特征再提取，最终使用ThreeConv中1×1的卷积调整输出的特征层维度，进一步更新第三特征层。

进一步地，所述步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；具体包括：

步骤8-1，在网络主干提取模块新增一个下采样的特征提取层，基于注意力机制对空间以及位置信息进行融合生成第一特征层；

步骤8-2，将所述第一特征层、第二特征层以及第三特征层经过自底向上路径再次进行深层的特征融合，以更新第二特征层和第三特征层；

步骤8-3，再增加一条自顶向下路径，将第一特征层与第二特征层再次融合，同时不使用第二特征层与第三特征层进行融合，以更新第一特征层。

进一步地，所述步骤8-2，将所述第一特征层、第二特征层以及第三特征层经过自底向上路径再次进行深层的特征融合，以更新第二特征层和第三特征层，具体包括：

将第三特征层经过一个2倍的邻近插值上采样得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为512的第二特征层，对所述第二特征层使用CA注意力机制，与第一特征层进行Concat融合，以更新第三特征层；

将第二特征层经过一个两倍的邻近插值上采样，然后进行1×1的卷积调整通道数为258，对第二特征层使用CA注意力机制，最终与第一特征层用Concat进行融合，以更新第二特征层。

进一步地，所述步骤8-3，再增加一条自顶向下路径，将第一特征层与第二特征层再次融合，同时不使用第二特征层与第三特征层进行融合，以更新第一特征层，具体包括：

将第一特征层经过一个步距为2的下采样卷积得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为256的特征图，最终与第二特征层用Concat进行融合，以更新第一特征层。

进一步地，所述步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析，具体包括：

将所述第一特征层、第二特征层以及第三特征层分别通过Decoupled Head模块中分支一中的两个1×1卷积以及3×3卷积提取出特征层的分类信息，通过分支二的两个1×1卷积后使用一个3×3卷积提取出位置信息，再通过分支二之后使用另一个分支的3×3卷积提取出置信度信息，分别完成小目标检测的分类和回归任务。

进一步地，所述步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型，具体包括：

网络训练次数epochs设置为300轮，采用迁移学习训练，在前60个epoch中冻结主干网络，学习率设置为0.001，加载预训练模型，bath size设16；后240个epoch解冻主干网络，学习率设置为0.000l；bachsize设置为8，每个epoch后将学习率降为原来的0.937，在经过300epochs的训练后得到最终的训练模型。

进一步地，所述方法还包括：

步骤11，从步骤1中的训练数据集中选取部分数据作为测试集，将所述测试集输入步骤10中的训练模型中，得到无人机小目标检测的测试结果。

进一步地，从步骤1中的训练数据集中选取自然场景复杂、角度多样以及小目标众多的图像作为测试集。

本发明至少具有以下技术效果：

(1)YOLOv4-UAV的基准模型为YOLOv4-tiny网络，相比与其他一阶段目标检测网络，YOLOv4-tiny在保持良好的检测精度的同时，具有最好的检测速度，可以很好的满足无人机目标检测实时性的指标要求。

(2)YOLOv4-UAV算法在主干特征提取模块(backbone)提取完特征之后，在32×32下采样处使用特征融合模块SPPF对提取的特征进行特征再提取，可以有效的增加特征的感受野信息，能在一定程度上解决目标多尺度问题，并且合理的在保持模型检测精度不变的同时减少了模型的计算量。

(3)提出一个新的颈部特征融合模块CPAN，其主体由下而上的上采样拼接与自上而下的下采样拼接特征层构成，通过使用8×8特征检测层、Coordinate Attention以及使用深度可分离卷积可以分别有效的解决无人机航拍图像小目标检测精度低、检测网络难以区分背景与前景造成目标检测置信度低以及网络计算量巨大难以进行实时性检测等问题。

(4)使用Decoupled Head检测头模块可以有效的解决目标分类任务和定位结构任务之间缺乏空间信息的理解的检测问题，使最终提取到的特征信息具有良好的空间联合性，更容易区分背景与待测目标，可以健壮地回归整个对象的位置信息，并且具有良好区分完整目标和部分目标的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的YOLOv4-UAV以及其中的CPAN的网络框图；

图2示出了根据本发明实施例的SPPF的模块结构图；

图3示出了根据本发明实施例的CA注意力机制的模块结构示意图；

图4示出了根据本发明实施例的Decoupled Head模块结构示意图；

图5示出了根据本发明实施例的DOTA数据集的检测结果图；

图6示出了根据本发明实施例的Visdrone数据集的检测结果展示图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。

本发明实施例提供一种基于轻量级特征融合的无人机目标检测方法，该方法采用的基准模型YOLOv4-tiny是一阶段目标检测方法，一阶段目标检测方法能够对图像进行自适应缩放、数据增强等，其通过将图像按比例分割成大小相等的多个网格，如果目标的中心位置在某个网格中，则由该网格负责预测该目标的位置和所属类别，具有模型结构简单、检测速度快等优点。

YOLOv4-UAV网络主要分为三个模块，分别为网络主干特征提取模块(backbone)、颈部特征融合模块(neck)以及检测头模块(yolo head)，其中backbone模块的主体使用了CSPDarnet53-tiny，在保持CSPDarknet53模块优良检测精度的同时简化了网络的结构，有效的增加了模型的检测速度；然后在YOLOv4-UAV算法使用主干特征提取模块(backbone)提取完特征之后，在32×32下采样处使用特征融合模块SPPF对提取的特征进行特征再提取，能在一定程度上解决目标多尺度问题。鉴于特征融合模块SPPF相当于对特征使用不同尺寸的最大池化层提取特征，因此SPPF模块可以有效的增加特征的感受野信息。与此同时，SPPF模块利用感受野来设计其内部结构，使用三个尺寸5×5大小的池化层级联，生成了尺寸为5×5,9×9,13×13的最大池化进行特征再提取，合理的在保持模型检测精度不变的同时减少了模型的计算量；并且针对无人机航拍图像小目标众多、背景复杂以及难以进行实时性检测等问题，提出一个新的颈部特征融合模块CPAN，其主体由下而上的上采样拼接与自上而下的下采样拼接特征层构成。CPAN模块除了使用YOLOv4-tiny网络的32×32与16×16倍下采样输出特征层，在YOLOv4-tiny网络的8×8倍下采样也使用了一个特征层进行输出特征，这可以增强CPAN模块对图像中小目标语义信息的提取，因为低层的特征层一般感受野较小，适合预测尺寸较小的小目标。并且使用Coordinate Attention来构建CPAN模块，可以将空间信息与通道特征加权融合，达到同时兼顾通道信息和位置信息的目的，使模型可以在无人机航拍图像的复杂背景中更好的定位感兴趣对象。最终针对难以进行实时性检测的问题，使用深度可分离卷积(DSC)替代传统的标准卷积，有效的减少运算的参数。并且针对无人机遥感数据集中大多为小目标，而高层的语义信息感受野大，更适合用来检测大尺寸目标物体，因此剪切最后一个16×16至32×32倍下采样拼接层使搭建的CPAN模块参数量有限增长，保持网络的轻量级；最终使用Decoupled Head检测头模块使最终提取到的特征信息具有更强的空间联合性，从而组成了全新的YOLOv4-UAV网络。

具体来说，基于轻量级特征融合的无人机目标检测方法包括如下步骤：

步骤1，下载无人机航拍小目标公开数据集VisDrone和DOTA1.0，选取自然场景复杂、角度多样以及小目标众多的图像作为测试集。

步骤2，对训练数据集的图片尺寸进行预处理，将图片大小调整至640×640像素，在训练的总epochs的前80％对数据集进行马赛克(moasic)数据增强，将训练集中任意取四张张图片进行随机分割、翻转，然后将翻转，之后将图片分别放置在对应分割位置上，最终对图片进行色域变换以及仿射变换等操作，得到最终的训练样本，有效的增加了训练样本集的数量。

步骤3，对生成的新的训练数据集使用以及Kmeans算法调整网络训练的候选框(anchor)的尺寸，并且使用Kmeans++算法计算出每个特征提取层预测所需要的最佳候选框个数。

图1是本发明一种基于轻量级特征融合的无人机目标检测方法技术的具体网络模型图，在本实施例中，基于该网络模型，在步骤1-3的基础上，按照以下步骤进行：

步骤4，通过两个CBL模块对图像的特征信息进行初步提取，通过CBL模块中的3×3卷积(Conv)模块分别对输入图像进行语义特征信息提取，并最终将提取特征的通道信息增长至64维度。接着使用CBL模块中的Batch Normalization(BN)层对提取的特征进行规范化处理；最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素。

步骤5，然后利用如图1中的三个CSP残差模块CSPBlockl，CSPBlock2，CSPBlock3，对图像信息特征进行提取，其中分别输出中间层CSPBlock2，CSPBlock3的两个特征层featl，feat2，通道数分别为256，256。

步骤6，采用如图3所示的Coordinate Attention(CA)注意力机制，分别对步骤5输出的两个特征层featl，feat2进行注意力权重分配生成新的featl，feat2，结合空间信息与通道特征加权进行融合，同时兼顾通道信息和位置信息。

步骤7，采用特征融合模块对特征层feat2进行不同尺度的感受野信息融合，得到新的融合特征层feat2，具体实施如下:

步骤7-1，针对步骤6得到的feat2特征信息使用三个卷积组成的ThreeConv对其进行特征再提取，首先使用1×1大小的卷积核对特征层进行降维处理，然后使用3×3深度可分离卷积进行特征提取，最后使用1×1的卷积调整输出的特征层维度生成新的特征层feat2；

步骤7-2，使用如图2所示的级联特征提取模块SPPF，SPPF模块由三个5×5大小的最大池化层级联构成，分别生成了尺寸为5×5、9×9、13×13的最大池化层一样的感受野信息。将特征层feat2通过SPPF模块进行特征再提取，并且将每个池化层上的输出特征以及SPPF模块的输入特征信息进行Concat拼接，生成了通道信息为1024的新的特征层feat2；

步骤7-3，使用ThreeConv对feat2特征层进行特征再提取，最终使用ThreeConv中1×1的卷积调整输出的特征层维度，生成新的特征层feat2；

步骤8，使用如图1中的CPAN模块对提取的特征层信息进行特征再提取，具体实施如下:

步骤8-1，在网络主干提取模块新增一个8×8倍下采样的特征提取层feat0，并且经过如图3所示的Coordinate Attention(CA)注意力机对空间以及位置信息进行融合生成新的特征层feat0；

步骤8-2，将上述步骤中得到的特征层feat0，feat1，feat2经过自底向上路径再次进行深层的特征融合，得到不同尺度相互融合的特征层feat0，feat1，feat2，具体实施如下:

将feat2经过一个2倍的邻近插值上采样得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为512的特征层feat2，紧接着对特征层feat2使用CA注意力机制，然后feat1进行Concat融合；同样的，将feat1经过一个两倍的邻近插值上采样，然后进行1×1的卷积调整通道数为258，紧接着对其使用CA注意力机制，最终与特征层feat0用Concat进行融合；

步骤8-3，再增加一条自顶向下路径，将feat0与feat1再次融合，同时不使用feat1与feat2进行融合，得到了新的特征层feat1，具体实施如下:

将feat0经过一个步距为2的下采样卷积得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为256的特征图，最终与feat1用Concat进行融合；

步骤9，使用如图4所示的Decoupled Head对上述步骤得到的最终feat0，feat1，feat2进行最终预测解析，具体实施如下:

将特征层feat0，feat1，feat2分别通过Decoupled Head模块中分支一中的两个1×1卷积以及3×3卷积提取出特征层的分类信息，通过分支二的两个1×1卷积后使用一个3×3卷积提取出位置信息，再通过分支二之后使用另一个分支的3×3卷积提取出置信度信息，分别完成了小目标检测的分类和回归任务；

步骤10，调试从步骤4到步骤9的网络结构超参数，设置网络模型参数，其中，网络训练次数epochs设置为300轮，采用迁移学习训练，在前60个epoch中冻结主干网络，学习率设置为0.001，加载预训练模型，bath size设置,16；后240个epoch解冻主干网络，学习率设置为0.000l；bachsize设置为8，每个epoch后将学习率降为原来的0.937，在经过300epochs的训练后得到最终的训练模型；

步骤11，将步骤1中测试集输入步骤10中的训练模型中，得到无人机小目标检测的测试结果。

最终测试结果如图5和图6所示，分别显示了不同数据来源的检测结果，证明本方法可以精准地实现目标检测。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于轻量级特征融合的无人机目标检测方法，其特征在于：所述方法包括：

步骤1，获取训练数据集，所述训练数据集包括无人机航拍小目标公开数据集；

步骤2，对训练数据集的图片尺寸进行预处理，并进行马赛克数据增强，将训练数据集中任意取若干张图片进行随机分割、翻转，然后将翻转，之后将图片分别放置在对应分割位置上，最终对图片进行色域变换以及仿射变换，得到训练样本；

步骤3，基于所述训练样本，调整网络训练的候选框的尺寸，并计算出每个特征提取层预测所需要的最佳候选框个数；

步骤4，将所述训练样本作为输入图像，通过CBL模块中的3×3卷积模块分别对输入图像进行语义特征信息提取，并最终将提取特征的通道信息增长至64维度，使用CBL模块中的Batch Normalization层对提取的特征进行规范化处理；最终使用CBL模块中的LeakyRelu激活函数增强网络模型的非线性因素；

步骤5，利用三个CSP残差模块CSPBlockl，CSPBlock2，CSPBlock3，对图像信息特征进行提取，其中分别输出中间层CSPBlock2，CSPBlock3的两个特征层，分别为第二特征层和第三特征层；

步骤6，基于注意力机制，分别对步骤5输出的第二特征层和第三特征层进行注意力权重分配更新第二特征层和第三特征层；

步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层；

步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；

步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析；

步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型。

2.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述对训练数据集的图片尺寸进行预处理，包括：

将训练数据集的图片大小调整至640×640像素。

3.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤7，采用特征融合模块对第三特征层进行不同尺度的感受野信息融合，更新第三特征层，具体包括：

步骤7-1，针对步骤6得到的第三特征层的特征信息使用三个卷积组成的ThreeConv对其进行特征再提取，首先使用1×1大小的卷积核对第三特征层进行降维处理，然后使用3×3深度可分离卷积进行特征提取，最后使用1×1的卷积调整输出的特征层维度更新第三特征层；

步骤7-2，基于级联特征提取模块SPPF，所述SPPF模块由三个5×5大小的最大池化层级联构成，分别生成了尺寸为5×5、9×9、13×13的最大池化层一样的感受野信息，将更新后的第三特征层通过SPPF模块进行特征再提取，并且将每个池化层上的输出特征以及SPPF模块的输入特征信息进行Concat拼接，进一步更新第三特征层；

步骤7-3，使用ThreeConv对更新后的第三特征层进行特征再提取，最终使用ThreeConv中1×1的卷积调整输出的特征层维度，进一步更新第三特征层。

4.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤8，对提取的特征层信息进行特征再提取，生成第一特征层，并更新第二特征层和第三特征层；具体包括：

步骤8-1，在网络主干提取模块新增一个下采样的特征提取层，基于注意力机制对空间以及位置信息进行融合生成第一特征层；

步骤8-2，将所述第一特征层、第二特征层以及第三特征层经过自底向上路径再次进行深层的特征融合，以更新第二特征层和第三特征层；

步骤8-3，再增加一条自顶向下路径，将第一特征层与第二特征层再次融合，同时不使用第二特征层与第三特征层进行融合，以更新第一特征层。

5.根据权利要求4所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤8-2，将所述第一特征层、第二特征层以及第三特征层经过自底向上路径再次进行深层的特征融合，以更新第二特征层和第三特征层，具体包括：

将第三特征层经过一个2倍的邻近插值上采样得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为512的第二特征层，对所述第二特征层使用CA注意力机制，与第一特征层进行Concat融合，以更新第三特征层；

将第二特征层经过一个两倍的邻近插值上采样，然后进行1×1的卷积调整通道数为258，对第二特征层使用CA注意力机制，最终与第一特征层用Concat进行融合，以更新第二特征层。

6.根据权利要求4所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤8-3，再增加一条自顶向下路径，将第一特征层与第二特征层再次融合，同时不使用第二特征层与第三特征层进行融合，以更新第一特征层，具体包括：

将第一特征层经过一个步距为2的下采样卷积得到40×40的特征图，然后进行一个1×1的卷积、归一化和LeakyRelu激活函数得到大小不变通道数为256的特征图，最终与第二特征层用Concat进行融合，以更新第一特征层。

7.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤9，对所述第一特征层、第二特征层以及第三特征层进行最终预测解析，具体包括：

将所述第一特征层、第二特征层以及第三特征层分别通过Decoupled Head模块中分支一中的两个1×1卷积以及3×3卷积提取出特征层的分类信息，通过分支二的两个1×1卷积后使用一个3×3卷积提取出位置信息，再通过分支二之后使用另一个分支的3×3卷积提取出置信度信息，分别完成小目标检测的分类和回归任务。

8.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述步骤10，调试从所述步骤4到步骤9的网络结构超参数，设置网络模型参数，以对网络模型进行训练，得到最终的训练模型，具体包括：

网络训练次数epochs设置为300轮，采用迁移学习训练，在前60个epoch中冻结主干网络，学习率设置为0.001，加载预训练模型，bath size设16；后240个epoch解冻主干网络，学习率设置为0.000l；bachsize设置为8，每个epoch后将学习率降为原来的0.937，在经过300epochs的训练后得到最终的训练模型。

9.根据权利要求1所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，所述方法还包括：

步骤11，从步骤1中的训练数据集中选取部分数据作为测试集，将所述测试集输入步骤10中的训练模型中，得到无人机小目标检测的测试结果。

10.根据权利要求9所述的基于轻量级特征融合的无人机目标检测方法，其特征在于，从步骤1中的训练数据集中选取自然场景复杂、角度多样以及小目标众多的图像作为测试集。

Images