CN109671070B - 一种基于特征加权和特征相关性融合的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于特征加权和特征相关性融合的目标检测方法，该方法包括：从特征金字塔网络中较高层的感受野的特征中提取融合权重；将融合权重作用于高层感受野特征后再与低层感受野特征融合；计算特征金字塔网络中前三层特征图的特征相关性；将特征金字塔网络中相邻特征层中较高层感受野特征的相关性与较低层感受野特征的相关性进行进一步融合；将融合得到的相关性作用于特征金字塔网络中相应层级的特征图，以由改进后的特征金字塔网络进行目标检测。通过本发明可以提高特征金字塔网络对不同尺度的物体的检测和识别精度。

Description

一种基于特征加权和特征相关性融合的目标检测方法

技术领域

本发明属于图像处理及智能目标检测识别技术领域，更具体地，涉及一种基于特征加权和特征相关性融合的目标检测方法。

背景技术

识别尺度差别较大的物体或目标对计算机视觉任务而言一直是一个富有挑战性的问题。近年来，基于深度卷积网络对物体进行检测识别的方法相对于传统的检测算法而言，在物体检测精度和识别精度上取得了相当大的进步；然而在利用卷积神经网络进行物体检测中，在同一个特征尺度上进行检测时，如果特征的尺度过大，会导致特征对于尺度较大的物体而言其不够抽象，难以覆盖其相应的感受野；如果特征的尺度过小，对于尺度较大的物体会有相对更好的效果，然而对于那些较小的物体而言，其特征很有可能随着特征图感受野增大而变得难以区分；因此采用特征金字塔网络(Feature Pyramid Networks)的方式，在不同尺度上对物体进行检测可以有效克服上述的矛盾。

然而在对特征金字塔网络进行了分析和实验后，发现以下两处可以改进的方式：

首先，在不同的感受野特征进行融合时，特征金字塔网络采用的方式是对较高层的感受野的特征图进行上采样后与经过1×1卷积后的较低层特征图直接相加的方式；虽然融合后的特征综合了高层的抽象特征和较低层的分割特征，但特征之间存在较大的差异，并且对于较小目标而言，高层抽象特征可能不含有其需要的信息；

其次，特征金字塔网络中的较低层次上的特征上虽然保留了更多尺度较小的物体的特征信息，然而较低层次的特征图上往往只含有较为浅显的特征，这对于需要精确分类和定位的物体检测任务而言是一个需要解决的问题。虽然特征金字塔网络通过bottom-up的方式在低层次的特征中融合了高层次的特征信息，然而其仍然存在特征层次上的差异，需要一个对低层特征进行“增强”的更好的方法。

因此，如何更好的对不同层次的特征进行融合以及如何对低层次的特征进行更“有效”的增强是特征金字塔网络需要改进的方向。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于特征加权和特征相关性融合的目标检测方法，由此解决如何利用特征金字塔网络更好的对不同层次的特征进行融合以及如何对低层次的特征进行更有效的增强，进而提高目标检测精度的技术问题。

为实现上述目的，本发明提供了一种基于特征加权和特征相关性融合的目标检测方法，包括：

S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；

S2：将所述融合权重作用于所述第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，所述第一目标层的层次高于所述第二目标层的层次；

S3：计算所述特征金字塔网络中前三层特征图的特征相关性；

S4：将所述特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与较低层感受野特征的相关性进行进一步融合；

S5：将融合得到的相关性作用于所述特征金字塔网络中相应层级的特征图中，以由改进后的特征金字塔网络进行目标检测。

优选地，步骤S1包括：

S1.1：对经过上采样后的第一目标层的感受野特征图进行卷积得到输出维度为M维的特征图，M为整数；

S1.2：对所述M维的特征图通过平均池化得到M维的特征向量，并将所述M维的特征向量进行向量化为N×N的特征图，其中，N×N＝M，平均池化为对所述M维的特征图的每一维求取平均值；

S1.3：对所述N×N的特征图通过若干层卷积得到N×N的权重图，其中，每次卷积后得到的特征图大小不变，激活函数采用Relu函数；

S1.4：对所述N×N的权重图通过sigmoid函数得到权重向量为N×N的目标权重图，并将所述目标权重图转化为一维权重向量。

优选地，步骤S2包括：

S2.1：计算所述第一目标层的感受野特征经过所述一维权重向量进行特征选择后的选择性特征；

S2.2：融合所述第二目标层的感受野特征、所述第一目标层的感受野特征及经过权重选择后的所述选择性特征。

优选地，步骤S2.1包括：由F_H'_H[c]＝F_H[c]*w[c]计算所述第一目标层的感受野特征F_H经过所述一维权重向量w进行特征选择后的选择性特征F_H'_H，其中，c代表在三维特征图中通道索引为c的二维特征图，*表示卷积操作。

优选地，步骤S2.2包括：由F_m＝F_L+F_H+F_H'_H融合所述第二目标层的感受野特征F_L、所述第一目标层的感受野特征F_H及经过权重选择后的所述选择性特征F_H'_H。

优选地，步骤S3包括：

S3.1：对所述M维的特征图通过卷积进行特征降维得到用于计算相关性的特征图F_r，其中，卷积采用的步长以能够保持相同的特征图大小为准，输出后经过降维的特征图F_r通道数为L维，并后接一层批归一化层，L＜M；

S3.2：计算所述特征图F_r中各个位置之间的相关性。

优选地，步骤S3.2包括：

S3.2.1：将长W，宽H，通道数为C的特征图F_r转化为(W×H,C)大小的二维特征图F_z；

S3.2.2：由

从F_z中计算得到不同位置处特征的相关性relation。

优选地，步骤S4包括：

S4.1：对相邻层中较高层感受野特征的相关性矩阵进行卷积操作得到相关性特征图；

S4.2：将激活函数Relu作用于卷积得到的所述相关性特征图得到目标相关性特征图；

S4.3：将所述目标相关性特征图进行上采样，上采样后的大小保持与相邻特征层中较低层感受野特征的相关性矩阵大小相同；

S4.4：将经过上采样后得到的相邻层中较高层感受野的特征相关性矩阵与相邻层中较低层感受野的特征相关性矩阵直接相加得到融合后的特征相关性矩阵。

优选地，步骤S5包括：

S5.1：将相应层级对应的长为W，宽为H，通道数为C的特征图F转化为(W×H,C)大小的二维特征图F_c；

S5.2：由relation_f＝relation^T×F_c ^T根据相关性矩阵relation计算经过相关性融合后的特征relation_f，其中，T表示转置；

S5.3：将长为W，宽为H，通道数为C大小的相关性特征relation_f转化为(W,H,C)大小的三维特征图F_R；

S5.4：对F_R进行卷积操作得到特征图F_Rc，其中卷积核的权重初始化为0；

S5.5：将特征图F_Rc与对应层级的特征图F直接相加得到经过相关性融合后的特征图。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的一种采用特征加权和特征相关性融合对特征金字塔网络结构进行改进的方法，较大地提高了含有特征金字塔的检测网络对不同尺度目标的检测精度，对常用的含有特征金字塔的检测网络带来了平均1.9的mAP提升，并且仅给网络增加了1.0％左右的参数量。

附图说明

图1为本发明实施例提供的一种基于特征加权和特征相关性融合的目标检测方法的流程示意图

图2为本发明实施例提供的另一种基于特征加权和特征相关性融合的目标检测方法的流程示意图；

图3为本发明实施例提供的一种原始特征金字塔网络中不同层次的特征融合方式示意图；

图4为本发明实施例提供的一种基于特征加权的特征融合网络示意图；

图5为本发明实施例提供的一种Faster R-CNN+FPNA和Faster R-CNN+FPN测试精度曲线；

图6为本发明实施例提供的一种原始的特征金字塔网络结构图；

图7为本发明实施例提供的一种P3中特征相关性在P2中的映射示意图；

图8为本发明实施例提供的一种相邻层级的相关性融合算法示意图；

图9为本发明实施例提供的一种利用同一层以及相邻层之间的特征相关性进行特征融合的算法示意图；

图10为本发明实施例提供的一种FPNB中第一层级特征的相关性结果图；

图11为本发明实施例提供的一种FPNB中第二层级特征的相关性结果图；

图12为本发明实施例提供的一种部分检测结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明实施例提出的一种基于特征加权和特征相关性融合的目标检测方法的流程示意图，如图1所示，该方法包括：

S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；

其中，融合权重表示第一目标层不同通道的特征在融合时对应的权值大小。

S2：将融合权重作用于第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，第一目标层的层次高于第二目标层的层次；

S3：计算特征金字塔网络中前三层特征图的特征相关性；

其中，特征相关性表示该特征图上不同位置处的特征之间的相关程度大小。

S4：将特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与相邻特征层中的较低层感受野特征的相关性进行进一步融合；

S5：将融合得到的相关性作用于特征金字塔网络中相应层级的特征图中，以由改进后的特征金字塔网络进行目标检测。

如图2所示，在本发明实施例中，以M＝256，N＝16为例，提出了另一种基于特征加权和特征相关性融合的目标检测方法的流程示意图，如图2所示，该方法包括：

S110：首先对经过2×2的上采样后的高层感受野特征图进行1×1的卷积得到输出维度为256维的特征图，作为权重提取的输入；

在本发明实施例中，采取高层感受野特征图作为权重提取输入的原因推导如下：

图3是原始特征金字塔网络中不同层次的特征融合方式示意图，在不同的感受野特征进行融合时，原始特征金字塔网络采用的方式是对较高层的感受野的特征图进行上采样后与经过1×1卷积后的较低层特征图直接相加的方式；用F_l表示图3中的C1特征，用F_h表示图3中的C2特征，则该种方式用下式表示：

Y＝H₁(F_l)+H₂(F_h)

其中，H₁表示为1×1的卷积，而H₂表示为对F_h的上采样，虽然融合后的特征综合了高层的抽象特征和较低层的分割特征，但特征之间存在较大的差异，并且对于较小目标而言，高层抽象特征可能并不含有其信息，因此希望能够对融合后的特征有一个自适应的选择性以弥补不同层次特征融合时的差异对网络训练造成的影响，从而提高网络的收敛速度的精度；假设该选择权重参数为w，将w作用与输入的特征图中，如下式所示：

Y＝H₁(F_l)+H₂(F_h)*w

借鉴残差网络的思想，对上式中H₂(F_h)的引入残差结构，得到下式：

Y＝H₁(F_l)+H₂(F_h)*w+H₂(F_h)

而对于w的选择和计算，参照残差结构表达式：

y＝F(x)+x

因此希望w的获取来自于对H₂(F_h)的计算，从而使上式变为如下形式：

Y＝H₁(F_l)+G(H₂(F_h))·H₂(F_h)+H₂(F_h)

＝H₁(F_l)+F(H₂(F_h))+H₂(F_h)

其中，G表示对H₂(F_h)进行计算从而得到w的函数，上式即变为对H₂(F_h)的残差计算式；而由于SEnet(特征压缩提取网络)结构是一种可以将输入特征图映射为特征向量的较为轻量级的网络结构，SEnet的计算方式如下，对于输入特征图U，w的计算方式如下，其中z∈R^C：

w＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，W₁,W₂分别表示两层全连接网络的参数，在SEnet中为了减少参数量，其中第一层全连接层中的输出维度将为原来的r倍，但是随着r的增大，其分类误差逐渐上升，因此其对输入的特征压缩维度也是有限的，对于全连接网络中参数量较大的问题，并没有很好的解决，为了进一步减少SEnet的参数量，可以利用卷积共享参数的特点，具体的方式为先将SEnet中的一维向量扩展为二维，其后对该二维特征图通过卷积得到权重特征图，经过上述改进后，原始的SEnet变得更加轻量化，通过实验结果发现所采取的新的计算方式相较于原始的计算方法并没有降低网络的检测精度。因此，设计的对SEnet进一步减少计算量的方式具体如下：

S120：对输入的256维特征图通过平均池化得到256维特征向量；

S130：将256维的特征向量化为16×16的特征图；

S140：通过两层3×3，步长为1的卷积得到16×16的权重图，其中均采用填充的方式以保持卷积后得到的特征图大小不变，激活函数采用Relu，该函数定义如下：

S150：通过sigmoid函数得到权重向量16×16的权重图w，之后将其转化为一维权重向量，其中sigmoid函数计算方式如下；

在得到一维的权重向量后，根据上述所推导出的公式：

Y＝H₁(F_l)+F(H₂(F_h))+H₂(F_h)

按照以下方式将融合权重作用于高层感受野特征后再与低层感受野特征融合：

S210：计算高层特征F_H经过特征权重w进行特征选择后的“选择性”特征F_H'_H，具体计算方式为：F_H'_H[c]＝F_H[c]*w[c]，其中c代表在三维特征图中通道索引为c的二维特征图；

S220：融合较低层感受野F_L，较高层感受野F_H以及经过权重选择后的较高层感受野F_H'_H的特征；具体的融合方式如下式所示：

F_m＝F_L+F_H+F_H'_H

根据上述步骤，最终得到的基于特征加权的特征融合网络具体结构参见图4所示，其中，Conv_SEnet表示采用卷积计算方式对SEnet进行改进后得到的网络结构。

实验结果表明通过对特征进行有选择性的加权融合，加快了网络的收敛速度，同时在未引入过多参数的情况下也提升了网络的检测的精度。具体实验结果参见图5所示，图5中的Faster R-CNN+FPN表示原有的基于FPN的Fater R-CNN的检测网络结构，Faster R-CNN+FPNA表示采用了特征选择性加权融合的FPN网络结构，图5中的横坐标表示迭代次数，纵坐标表示模型在测试集上的mAP，可以看出通过融合方式的改进，网络能够更快的收敛，在更少的迭代次数下取得了更高的精度，说明本发明对融合方式的改进是有效的。

特征金字塔网络通过在不同尺度的特征图上进行预测可以实现对不同尺度的物体进行更好地预测，较低层次上的特征上虽然保留了更多尺度较小的物体的特征信息，然而较低层次的特征图上往往只含有较为浅显的特征，这对于需要精确分类和定位的物体检测任务而言是一个需要解决的问题。虽然FPN通过bottom-up的方式在低层次的特征中融合了高层次的特征信息，然而其仍然存在特征层次上的差异，提出了一种通过对低层次特征按照特征之间相关性大小进行加权融合的方式提高对相似特征进行“增强”的方法，这样做的好处有以下两点：

1、通过低层次特征之间的加权融合提升了网络中低层次的浅层特征对输入图像的特征表达能力，使其能够更好地实现检测任务。

2、对于含有大量相似性物体的检测任务，通过相似性特征之间的融合，可以使该种物体相对于背景或其它种类物体而言特征更加具有区分性，尤其是对于网络中较低层的浅层特征而言，有利于网络对该种类物体的分类和定位。

引入相似性特征的具体方法如下：

S310：对原始输入256维通道数的特征图采用1×1卷积进行特征降维得到用于计算相关性的特征图F_r，其中卷积步长为1以保持相同的特征图大小，输出后经过降维的特征图通道数为128维，并后接一层批归一化层；

为了减少后续计算网络的相关性时引入的计算量大小，先采用1×1卷积对256维的特征图进行特征降维，降至128维；并且后续采用批归一化层对特征进行归一化操作以使其在后续的相关性计算中在统一的数量级之中。

其后计算F_r中各个位置之间的相关性的具体方法为：

S321：首先将W×H×C大小的特征图F_r转化为(W×H,C)大小的二维特征图F_z；

S322：从F_z中计算得到不同位置处特征的相关性，该相关性大小表示为relation；具体的计算方式如下：

对于特征图z中不同位置i,j处的特征向量之间的相关性可按如下方式计算：

其中，d_k表示特征向量z_j的维度。

为了便于并行处理，直接对矩阵进行计算，并对结果采用softmax进行归一化，因此得到下式：

采用基于相关性融合的特征金字塔网络中的浅层特征利用相关性较强的特征增加了浅层特征的表示能力并且增强了相似性特征，从而提高了网络的检测精度；参见图6所示的特征金字塔网络结构，观察到对于特征金字塔网络中的P3特征而言，其与C2处的特征有如下转化关系：

P3＝F₁(C3)＝F₁(F₂(C2))

其中，F₁表示P3与C3之间的lateral_connection；F₂表示C3到C2之间的卷积操作，而P2与C2之间的lateral_connection用F₃表示，因此P3和P2之间有关系如下：

P3＝F₁(F₂(C2))＝F₁(F₂(F₃ ^-1(P2)))＝H(P2)

因此P3可以看作是对P2的进一步转化和特征降维，并且这种降维体现在对空间的降维上，因此相对于P2而言，P3特征之间的相关性可以看作是对P2中特征块与特征块之间的相关性。

P3与P2这两种不同层上的相关性映射关系参见图7所示。

因此对于P3特征所计算出的相关性，可以将其作为P2特征的一个补充，这样做的好处有以下两点：

1)在更大的感受野上去捕捉P2特征之间的相关性能够使P2特征之间的相关性得到更加全面的补充，例如对两个相同类别但是细节上差异较大的物体，从更高的感受野上计算其相关性显然更有意义。

2)P2这种块与块之间的相关性如果直接在P2的尺度上进行会增加较大的计算量，利用P3的相关性则避免了这一复杂的计算。

通过上述分析，在本发明实施例中，提出一种在特征金字塔网络的不同特征层级上进行相关性映射的方式，该方式具体步骤如下：

S410：首先采用核大小为3×3，步长为1的卷积核对相邻层中较高层感受野特征的相关性矩阵进行卷积操作；

该过程主要是考虑到在P3的特征相关性分配给P2中特征块上的不同位置时，其在分配的权重上应该有所差别，因此采用了一层3×3的卷积进行一个权重的调整。

S420：将激活函数Relu作用于上述卷积得到的相关性特征图；

S430：将通过S410和S420得到的相关性特征图进行上采样，上采样后的大小保持与相邻特征层中较低层感受野特征的相关性矩阵大小相同，采用的上采样方法可以为线性插值的方法；

先对P3的相关性矩阵进行卷积再上采样的方式相对于先对P3的相关性矩阵进行上采样再卷积的方式而言，大大减少了卷积次数，由于P3的相关性矩阵大小是P2的1/4左右，因此减少了大约16倍的卷积次数。

S440：将经过上采样后得到的较高层感受野的特征相关性矩阵与较低层感受野的特征相关性矩阵直接相加得到融合后的特征相关性矩阵。

上述算法的整个流程参见图8所示。

S510：将相应层级对应的W×H×C的特征图F转化为(W×H,C)大小的二维特征图F_c；

该操作目的是便于后续的根据相关性进行特征融合的计算。

S520：按照如下计算方式根据相关性矩阵relation计算经过相关性融合后的特征relation_f：

relation_f＝relation^T×F_c ^T

式中的T表示转置；通过上式计算使输入特征图F_c根据各个位置之间相关性的大小融合了同一层次的特征。

S530：将(W×H,C)大小的相关性特征relation_f转化为(W,H,C)大小的三维特征图F_R；

S540：对F_R采用卷积核大小为1×1，步长为1的卷积操作得到特征图F_Rc；其中卷积核的权重初始化为0；

将权重初始化为0的目的是由于网络在初始阶段的训练中特征可能并未得到很好的学习，因此其之间的相关性意义不大，因此在初始阶段将该卷积初始化为0并且逐步通过网络学习改变该权重大小。

S550：将特征图F_Rc与对应层级的特征图F直接相加得到经过相关性融合后的特征图。

参加图9，即为上述利用同一层以及相邻层之间的特征相关性进行特征融合的算法示意图。

为了说明本发明所提出的一种采用特征加权和特征相关性融合的目标检测方法的有效性，以下是采用上述方法的对特征金字塔网络进行改进得到的实验结果及分析：

首先在常用的目标检测数据集VOC以及COCO上对本发明所提出的方法的检测精度进行了验证，首先以VOC2007以及VOC2012的训练数据作为训练集，以VOC2007的测试数据作为测试集，得到的检测结果如表1所示，其中结果mAP中的两列分别表示网络在VOC2007_trainval和VOC2007_trainval+VOC2012_trainval上进行的训练；测试结果均在VOC2007_test上进行；FPNA表示采用了特征选择性加权融合的FPN网络结构；FPNB表示采用了特征选择性加权融合以及对FPN中的较浅层特征进行相关性融合后得到的FPN网络结构；FPNC表示在FPNB的基础上增加了对相邻层级的相关性进行融合得到的网络结构；

表1

从上表中可以看出相对于原始的FPN网络，本发明提出的对FPN的改进方法均对其检测精度有所提高；为了更好地说明网络学到了相关性特征之间的关联，还采取了含有大量密集物体的遥感图像数据集DOTA作为实验，该数据集中含有大量的密集相似性物体，对其进行相关性可视化分析能够更好的体现网络的训练效果；对FPNB网络进行了相关性可视化操作，相关性提取的可视化结果参见图10，图11所示，其中图10是FPN对输入图像的第一层特征之间的相关性，图11为FPN对输入图像的第二层特征之间的相关性；其中以五角星所标记的位置作为参考位置，提取了与其相关性最强的前35个点并将其标出，结果如图10和图11中的黑色点所示；从图10和图11中可以看到，对于不同层次的特征而言；黑色点相对于五角星参考位置，其相关性较强的位置处均有较为相似的图像特征，而由于图10反应的是FPN中第一层级特征的相关性，因此观察其特征之间的相似性，发现主要集中在色彩特征这种较为简单的特征上，对于图10中黑色框所标注的物体，参考位置并没有与其产生较强的相关性，然而它们均属于同一类物体的部位；观察图11中的结果，在参考位置不变的情况下，相关性较强的位置发生了变化，尤其是之前在图10中黑色框注的位置也与参考位置有了较强的相关性，这是因为FPN的第二层级特征相对于第一层级有了更大的感受野和抽象性，因此对于色彩或形态特征上差异较大的同一物体，也捕捉到了较强的相关性；这也是本发明要对不同层级的相似性进行融合的原因。

本发明所提出的方法在遥感数据集DOTA上的表现如表2所示，其中以DOTA的训练数据作为训练集，以DOTA的验证数据作为测试集，其中采用的训练方式为水平垂直坐标系的方式：

表2

上述表2中展示了本发明方法对原有结构的网络在mAP以及几种典型的类别上的mAP的提升情况；可以看出本发明所采取的方法较大的提高了对整个遥感数据集以及对飞机，车辆，船只这种排列较为密集的遥感目标的检测精度。部分的检测结果参加图12。

采用本发明所提出的方法，整个网络所增加的参数数量如表3所示：

表3

Model	params size
		Faster R-CNN+FPN	489MB
Faster R-CNN+FPNC	494MB

从表3可以看到本发明所提出的方法只增加了不到1％的参数数量，而给网络带来了1.7～2.7mAP的提升，因此该方法是相当轻量化和有效的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于特征加权和特征相关性融合的目标检测方法，其特征在于，包括：

S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；步骤S1包括：

S1.1：对经过上采样后的第一目标层的感受野特征图进行卷积得到输出维度为M维的特征图，M为整数；

S1.2：对所述M维的特征图通过平均池化得到M维的特征向量，并将所述M维的特征向量进行向量化为N×N的特征图，其中，N×N＝M，平均池化为对所述M维的特征图的每一维求取平均值；

S1.3：对所述N×N的特征图通过若干层卷积得到N×N的权重图，其中，每次卷积后得到的特征图大小不变，激活函数采用Relu函数；

S1.4：对所述N×N的权重图通过sigmoid函数得到权重向量为N×N的目标权重图，并将所述目标权重图转化为一维权重向量；

S2：将所述融合权重作用于所述第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，所述第一目标层的层次高于所述第二目标层的层次；步骤S2包括：

S2.1：计算所述第一目标层的感受野特征经过所述一维权重向量进行特征选择后的选择性特征；步骤S2.1包括：由F′_H[c]＝F_H[c]*w[c]计算所述第一目标层的感受野特征F_H经过所述一维权重向量w进行特征选择后的选择性特征F′_H，其中，c代表在三维特征图中通道索引为c的二维特征图，*表示卷积操作；

S2.2：融合所述第二目标层的感受野特征、所述第一目标层的感受野特征及经过权重选择后的所述选择性特征；步骤S2.2包括：由F_m＝F_L+F_H+F′_H融合所述第二目标层的感受野特征F_L、所述第一目标层的感受野特征F_H及经过权重选择后的所述选择性特征F′_H；

S3：计算所述特征金字塔网络中前三层特征图的特征相关性；步骤S3包括：

S3.1：对所述M维的特征图通过卷积进行特征降维得到用于计算相关性的特征图F_r，其中，卷积采用的步长以能够保持相同的特征图大小为准，输出后经过降维的特征图F_r通道数为L维，并后接一层批归一化层，L＜M；

S3.2：计算所述特征图F_r中各个位置之间的相关性；步骤S3.2包括：

S3.2.1：将长W，宽H，通道数为C的特征图F_r转化为(W×H,C)大小的二维特征图F_z；

S3.2.2：由

从F_z中计算得到不同位置处特征的相关性relation；

S4：将所述特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与相邻特征层中的较低层感受野特征的相关性进行进一步融合；步骤S4包括：

S4.1：对相邻层中较高层感受野特征的相关性矩阵进行卷积操作得到相关性特征图；

S4.2：将激活函数Relu作用于卷积得到的所述相关性特征图得到目标相关性特征图；

S4.3：将所述目标相关性特征图进行上采样，上采样后的大小保持与相邻特征层中较低层感受野特征的相关性矩阵大小相同；

S4.4：将经过上采样后得到的相邻层中较高层感受野的特征相关性矩阵与相邻层中较低层感受野的特征相关性矩阵直接相加得到融合后的特征相关性矩阵；

S5：将融合得到的相关性作用于所述特征金字金字塔网络中相应层级的特征图中，以由改进后的特征金字金字塔网络进行目标检测；步骤S5包括：

S5.1：将相应层级对应的长为W，宽为H，通道数为C的特征图F转化为(W×H,C)大小的二维特征图F_c；

S5.2：由relation_f＝relation^T×F_c ^T根据相关性矩阵relation计算经过相关性融合后的特征relation_f，其中，T表示转置；

S5.3：将长为W，宽为H，通道数为C大小的相关性特征relation_f转化为(W,H,C)大小的三维特征图F_R；

S5.4：对F_R进行卷积操作得到特征图F_Rc，其中卷积核的权重初始化为0；

S5.5：将特征图F_Rc与对应层级的特征图F直接相加得到经过相关性融合后的特征图。

Images