CN113723181B - 一种无人机航拍目标检测方法和装置 - Google Patents

Abstract

本发明实施例公开了一种无人机航拍目标检测方法和装置，包括：获取待输入的无人机航拍图像；利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；通过预设的YOLOv3Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果。本实施例在原有网络的基础上增加一个分支，用于浓缩各特征层的信息，然后将浓缩的信息分配给不同的特征层，达到充分融合特征的目的。此外，针对数据集样本不平衡问题，对损失函数进行改进。

Description

一种无人机航拍目标检测方法和装置

技术领域

本发明实施例涉及电学领域，尤其是一种无人机航拍目标检测方法和装置。

背景技术

随着无人机技术的快速发展，无人机被广泛应用于军事侦察、交通管制、地质检测、公路管理等领域，在现代社会中发挥着日益重要的作用。无人机航拍目标检测作为其中的关键技术，检测效果决定着无人机的智能化水平。因此，无人机目标检测技术具有重要的研究意义。

目标检测技术旨在对图像中的目标进行定位和分类。传统的目标检测方法一般分为三个步骤：图像预处理、特征提取和目标分类检测。图像预处理方法大多依赖像素差异和纹理信息，通过像素变化趋势筛选和分离区域，实现前后景分离；特征提取方法包括方向梯度直方图(HOG)、尺度不变特征变换(SIFT)、局部二值模式等。这些方法在某些场景下具有良好的表现和可解释性，但不适用于复杂场景下的检测任务，泛化能力较弱。随着人工智能的发展，学者将深度学习应用到目标检测任务，检测效果大幅超过传统方法的检测效果，基于深度学习的目标检测成为新的研究热点。

基于深度学习的目标检测技术主要分为两类，一类是两阶段检测，代表算法有R-CNN、Faster R-CNN、Mask R-CNN、Cascade R-CNN；另一类是单阶段检测，代表算法有YOLO、SSD、RetinaNet、EfficientDet。两阶段检测算法检测精度高，但检测速度较慢，难以应用于实时检测场景；单阶段检测算法检测速度快，但检测精度有所降低。当前的研究方向是结合两阶段的精度优势和单阶段的速度优势，设计推出高性能目标检测算法，已在自然场景的目标检测任务中取得良好的效果。然而，无人机航拍图像具有背景复杂、目标繁多、目标小、视场大等特点，对地面目标多为俯视视角，直接将自然场景的目标检测算法迁移到航拍图像中不能满足实际需求。

现有技术中，YOLOv4-CSP是Scaled-YOLOv4中的一个模型，适用于普通GPU，是典型的单阶段目标检测器。YOLOv4-CSP引入CSPNet设计思想，巧妙运用Mosaic数据增强、PANet特征融合、学习率余弦退火衰减、CIoU-loss等策略，获得了优越的目标检测性能。然而，观察YOLOv4-CSP模型，发现存在以下问题。

1)在特征融合部分，信息传递是通过自顶向下和自底向上两条通路实现的。在上层信息传递到下层的过程中会经过中间层，特征被稀释了；下层信息传递到上层也经过中间层，特征同样被稀释了。无人机航拍目标多为小目标，稀释的特征严重影响航拍小目标的检测效果。

2)在损失函数部分，YOLOv4-CSP没有考虑类别样本不平衡问题，它对每个类别赋予相同权重，每个类别对损失函数有同等的贡献。无人机航拍数据集多为长尾分布，样本分布不均匀，若大小类别对损失函数有同等的贡献率，则不利于检测器对小类目标的检出。

发明内容

为解决上述技术问题，本发明创造的实施例提供一种无人机航拍目标检测方法，包括：

获取待输入的无人机航拍图像；

利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；

通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果。

进一步地，所述利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合，包括：

将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合；

将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图；

将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图。

进一步地，所述按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合，包括：

从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图，其中，随着神经网络的深入特征提取后的特征图逐渐变小；

按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；

按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合。

进一步地，将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图，包括：

对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；

将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；

将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

进一步地，模型训练时还包括损失函数，所述损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，所述分类损失函数为BalancedLoss分类损失函数，所述BalancedLoss分类损失函数计算步骤包括：

统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；

利用反相关函数计算所述出现频率得到所述每个类别的权重；

将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。

一种影像数据处理装置，包括：

获取模块，用于获取待输入的无人机航拍图像；

处理模块，用于利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；

执行模块，用于通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果。

进一步地，所述获取模块包括：

第一处理子模块，用于将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合；

第二处理子模块，用于将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图；

第一执行子模块，用于将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图。

进一步地，所述第一处理子模块包括：

第一获取子模块，用于从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图；

第三处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；

第四处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合。

进一步地，将所述第二处理子模块包括：

第五处理子模块，用于对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；

第六处理子模块，用于将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；

第二执行子模块，用于将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

进一步地，在模型训练时还包括损失函数，所述损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，分类损失函数为BalancedLoss分类损失函数，其中，所述获取模块还包括：

第七处理子模块，用于统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；

第八处理子模块，用于利用反相关函数计算所述出现频率得到所述每个类别的权重；

第三执行子模块，用于将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。

本发明实施例的有益效果是：本发明实施例提出Increased YOLOv4-CSP目标检测器。该模型采用单阶段目标检测框架，将输入图像依次输入特征提取、特征融合、定位与分类网络，最后经过非极大值抑制，得到检测结果。Increased YOLOv4-CSP选用CSPdarknet53作为特征提取网络，选用YOLOv3 Head作为定位与分类网络。由于特征融合网络在特征传递过程存在信息稀释问题，本方案在原有网络的基础上增加一个分支，用于浓缩各特征层的信息，然后将浓缩的信息分配给不同的特征层，达到充分融合特征的目的；此外，针对数据集样本不平衡问题，对损失函数进行改进。与基准模型相比，改进的模型在各项指标上均有较大提升。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的无人机航拍目标检测方法的流程示意图；

图2为本发明实施例提供的实验数据图；

图3为本发明实施例提供的无人机航拍目标检测装置基本结构框图；

图4为本发明实施例提供的计算机设备基本结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供一种影像数据处理方法，如图1所示，该方法具体包括如下步骤：

S110、获取待输入的无人机航拍图像；

S120、利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；

S130、通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果。

本发明实施例提出Increased YOLOv4-CSP目标检测器。该模型采用单阶段目标检测框架，将输入图像依次输入特征提取、特征融合、定位与分类网络，最后经过非极大值抑制，得到检测结果。Increased YOLOv4-CSP选用CSPdarknet53作为特征提取网络，YOLOv3Head作为定位与分类网络。由于特征融合网络在特征传递过程存在信息稀释问题，本方案在原有网络的基础上增加一个分支，用于浓缩各特征层的信息，然后将浓缩的信息分配给不同的特征层，达到充分融合特征的目的；此外，针对数据集样本不平衡问题，对损失函数进行改进。与基准模型相比，改进的模型在各项指标上均有较大提升。

本发明实施例提供一种利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合的方法，即步骤S110，其中，该方法包括以下步骤：

步骤一、将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合。

其中，为有效应对特征稀释效应，提高小目标检测效果，本实施例采用IncreasedFFM特征融合网络，该网络包含两条支路，一条支路进行双向的特征融合，另一条支路浓缩不同尺度的特征图。

具体地，其中的一条支路，即进行双向特征融合的支路，即步骤一可通过以下方法实现：

从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图；

本实施例中，特征图是由输入图像经过卷积操作得到的，大尺度特征图的大小是输入图像大小的1/8，中间特征图的大小是输入图像大小的1/16，小尺度特征图的大小是输入图像大小的1/32。

按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；

按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合。

步骤二、将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图。

本发明实施例中的支路负责浓缩特征，其中，浓缩特征，即步骤二可通过以下方法实现：

对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；

本发明的一个实施例，随着神经网络的深入，会不断对特征图进行下采样，在CSPDarknet53网络中，会进行五次下采样，每经过一次下采样，图像大小会变为原来的1/2。最终，特征图的大小是输入图像大小的1/32。我们选后三次下采样的特征图进行操作，分别对应下层特征图、中间特征图和上层特征图，大小分别是原图像的1/8、1/16和1/32。

将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；

将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

步骤三、将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图。

本发明实施例将步骤二特征融合后的特征图与步骤三特征浓缩后的特征图中相同尺寸的特征图进行相加，得到三个特征图，IncreasedFFM能改善信息传递过程中的稀释效应，得到特征充分融合的特征。需要说明的是，IncreasedFFN包含两条支路，一条是自顶向下、自底向上的特征融合支路，另一条是特征浓缩支路。两条支路，均输出三个特征图，将两条支路对应的特征图进行相加，得到最终的三个特征图。

本发明实施例中，在训练整个模型时，即，整个模型包括：预设的CSPdarknet53提取模型、预设的IncreasedFFM特征融合模型、预设的YOLOv3 Head网络模型。

本实施例中，模型中还包括损失函数，其中，损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，定位损失采用CIoU，相比IoU、GIoU、DIoU方法能囊括更多的预测框与真实框分布可能，能控制预测框的位置和形状尽可能地贴近真实框。置信度损失评估先验框是否包含目标，采用交叉熵损失函数，同时增加正样本的权重，减少正负样本不平衡带来的错分案例。

本发明实施例为了解决样本不平衡的问题，提高小类目标检出率，所述分类损失函数为BalancedLoss分类损失函数，所述BalancedLoss分类损失函数计算步骤包括：

统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；

利用反相关函数计算所述出现频率得到所述每个类别的权重；

将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。

一个实施例，统计每个类别的样本数x_n，对数据进行归一化，得到每个类别的出现频率f_n，其中M是样本数。

然后，将频率值依次送入一个反相关函数，得到每个类别的权重w_n。反相关函数使出现频率越高的类别，计算得到的权重越低。本文采用的反相关函数是指数函数，并加入权重因子α，该因子用于调节频率高低和权重大小的关系。

最后，将权重乘上增强正样本比重的交叉熵损失函数，得到改进后的分类损失。BalancedLoss定义如下式所示：

L_BL＝-w_n[p_ny_nlogσ(x_n)+(1-y_n)logσ(1-x_n)]

其中，x_n是预测值，y_n是真实值，p_n是正样本权重，σ(·)代表Sigmoid运算。

一个实施例中，选用由天津大学机器学***衡，包含25431个小车目标，却只包含457个三轮车目标。这些因素使得该数据集极具挑战性，目标检测效果相比于COCO、VOC等通用数据集要降低不少。

通过本发明实施例中的方案设置实验对上述数据进行检测，其中本实验在Windows10平台运行。CPU型号是Intel i5-10400f，GPU是RTX3060，包含12G显存，计算机内存为16G。采用的评价指标包括[email protected]，[email protected]:0.95，Precision和Recall。mAP，即meanAverage Precision，是所有类别AP的均值。AP是PR曲线下的面积，它能反映检测器对某个类别的检测性能；mAP则能反映检测器对所有类别的检测性能。[email protected]表示IoU等于0.5时的mAP，[email protected]:0.95表示在不同的IoU阈值(从0.5到0.95，步长是0.05)下的平均mAP。随着IoU阈值的升高，mAP逐渐降低，表明随着评价标准的提高，检测精度在下降。Precision和Recall是计算mAP的基础。Precision是精确率，它表示预测框正确预测的概率；Recall是召回率，它表示真实框被检出的概率。Precision和Recall是相互矛盾的，所以要在P和R中做一个平衡，绘制PR曲线，用AP评价检测器性能。

实验结果如表1所示，从中可以看到我们的模型相比基准模型有不小的提升，[email protected]:0.95提升0.5％，[email protected]提升1.4％；Precision提升0.4％，Recall提升2.1％。

表1模型性能比较

与YOLOv4-CSP相比，加入IncreasedFFM结构的YOLOv4-CSP增强效果明显。这是因为IncreasedFFM将浓缩的特征分配到三个不同尺度的特征图中，补充了信息传递过程中丢失的部分，使得在送入定位和分类网络前的特征得到充分融合，把检测器的性能提升到一个新的高度。

在YOLOv4-CSP+IncreasedFFM的基础上加入BalancedLoss，[email protected]:0.95保持不变，检测器获得了更高的召回率。BalancedLoss让小类乘以大权重，使其获得与大类同等水平的损失函数贡献率，缓解了样本不平衡，更多目标被召回。然而，加入BalancedLoss的模型精确率下降了，这意味着检测器的误检错检测情况增加，不过[email protected]:0.95没有改变，[email protected]提升了0.3％，这是值得肯定的进步。

图2是检测方法的可视化结果。从图中可以看到，改进模型相比基准模型有更好的视觉效果。相比图2(a)，图2(b)、图2(c)有更多的边界框，提高了召回率；在模型中加入BalancedLoss，可以看到图2(c)的边界框比图2(b)的边界框更加准确，错误分类的情况更少。

本发明实施例中的方案YOLOv4-CSP模型进行改进，提出Increased YOLOv4-CSP算法，对无人机航拍图像进行检测。主要工作包括提出IncreasedFFM特征融合网络，取代原先的PANet，解决了信息在传递过程中被稀释的问题；针对数据集样本不平衡，改进损失函数，提出BalancedLoss分类损失，用反相关权重乘以相应类别，调节各类别对损失函数的贡献率。与基准模型相比，改进模型取得显著进步。从主观上看，改进模型的预测框边界更加精确，分类错误率更低；从客观上看，改进模型mAP等评价指标得到提升。

如图3所示，为了解决上述问题，本发明实施例还提供一种无人机航拍目标检测装置，包括：取模块2100、处理模块2200和执行模块2300，其中，获取模块2100，一种影像数据处理装置，其特征在于，包括：获取模块2100，用于获取待输入的无人机航拍图像；处理模块2200，用于利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；执行模块2300，用于通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果。

在一些实施方式中，获取模块包括：第一处理子模块，用于将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合；第二处理子模块，用于将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图；第一执行子模块，用于将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图。

在一些实施方式中，所述第一处理子模块包括：第一获取子模块，用于从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图；第三处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；第四处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合。

在一些实施方式中，将所述第二处理子模块包括：第五处理子模块，用于对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；第六处理子模块，用于将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；第二执行子模块，用于将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

在一些实施方式中，在训练模型时还包括损失函数，所述损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，分类损失函数为BalancedLoss分类损失函数，其中，所述获取模块还包括：第七处理子模块，用于统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；第八处理子模块，用于利用反相关函数计算所述出现频率得到所述每个类别的权重；第三执行子模块，用于将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。

为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

如图4所示，计算机设备的内部结构示意图。如图4所示，该计算机设备包括通过***总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作***、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种图像处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图3中获取模块2100、处理模块2200和执行模块2300的具体内容，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有图像处理方法中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

本发明实施例提供的计算机设备，其中的参考特征图是对参考池中的高清图像集进行特征提取得到的，由于高清图像集中图像的多样化，参考特征图中包含了所有可能用到的局部特征，可以为每一张低分辨率图像提供高频纹理信息不仅保证了特征的丰富性，还可以减轻了内存负担。此外，根据低分辨率图像来搜索参考特征图，选择的参考特征图可以自适应的屏蔽或增强多种不同的特征，使低分辨率图像的细节更加丰富。

本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述图像处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种无人机航拍目标检测方法，其特征在于，包括：

获取待输入的无人机航拍图像；

利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；

通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果；

所述利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合，包括：

将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合；

将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图；

将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图；所述按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合，包括：

从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图，其中，随着神经网络的深入特征提取后的特征图逐渐变小；

按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；

按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合；

将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图，包括：

对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；

将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；

将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

2.根据权利要求1所述的方法，其特征在于，在对模型训练时模型中还包括损失函数，所述损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，所述分类损失函数为BalancedLoss分类损失函数，所述BalancedLoss分类损失函数计算步骤包括：

统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；

利用反相关函数计算所述出现频率得到所述每个类别的权重；

将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。

3.一种无人机航拍目标检测装置，其特征在于，包括：

获取模块，用于获取待输入的无人机航拍图像；

处理模块，用于利用预设的CSPdarknet53提取模型对所述无人机航拍图像进行特征提取，并利用预设的IncreasedFFM特征融合模型对提取的特征进行特征融合；

执行模块，用于通过预设的YOLOv3 Head网络模型对融合后的特征进行定位及分类，以及经非最大值抑制计算后得到所述无人机航拍图像的检测结果；

所述获取模块包括：

第一处理子模块，用于将提取的所述无人机航拍图像的特征图按照所述IncreasedFFM特征融合模型中的通道自上而下将顶层信息传递至底层以及自下而上将底层信息传递至顶层完成特征融合；

第二处理子模块，用于将所述无人机航拍图像的特征图进行特征浓缩，并将浓缩的特征图进行网络自适应通道选择获取通道权重，分别进行上采样、普通卷积和下采样，得到不同尺寸的特征图；

第一执行子模块，用于将融合后的特征图与浓缩后的特征图相加得到特征充分融合的特征图；

所述第一处理子模块包括：

第一获取子模块，用于从特征提取后的所述无人机航拍图像最后得到的特征图中获取小尺度特征图和大尺度特征图，其中，随着神经网络的深入特征提取后的特征图逐渐变小；

第三处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自上而下对所述小尺度特征图进行上采样并将采样后的特征图调整至与相邻下一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作以将顶层信息传递至底层完成特征融合；

第四处理子模块，用于按照所述IncreasedFFM特征融合模型中的通道自下而上对所述大尺度特征图进行下采样并将采样后的特征图调整至与相邻上一通道的特征图具有相同的尺寸，以及进行堆叠与卷积操作将底层信息传递至顶层完成特征融合；

将所述第二处理子模块包括：

第五处理子模块，用于对所述无人机航拍图像的特征图中的上层特征进行上采样，并将上采样的特征图调整至与中间层特征图的尺寸相同，得到第一特征图，以及对所述无人机航拍图像的特征图中的下层特征进行下采样，并将下采样的特征图调整至与中间层特征图的尺寸相同，得到第二特征图；

第六处理子模块，用于将所述第一特征图、第二特征图和中间层特征图进行相加得到浓缩特征图；

第二执行子模块，用于将所述浓缩特征图输入至预设的通道注意力结构模型中进行网络自适应选取通道，得到具有通道权重的浓缩特征图，以及对所述具有通道权重的浓缩特征图分别进行上采样、普通卷积和下采样，得到三个不同尺寸的特征图。

4.根据权利要求3所述的装置，其特征在于，在对模型训练时模型中还包括损失函数，所述损失函数由定位损失函数、置信度损失函数和分类损失函数加权求和得到，其中，所述分类损失函数为BalancedLoss分类损失函数，其中，所述获取模块还包括：

第七处理子模块，用于统计每个类别的样本数量，进行归一化得到所述每个类别样本的出现频率；

第八处理子模块，用于利用反相关函数计算所述出现频率得到所述每个类别的权重；

第三执行子模块，用于将所述每个类别的权重与增强正样本比重的交叉熵损失函数相乘得到所述BalancedLoss分类损失函数。