CN114818963B - 一种基于跨图像特征融合的小样本检测方法 - Google Patents

Abstract

本发明公开了一种基于跨图像特征融合的小样本检测方法。本发明主体结构是基于两阶段的目标检测算法Faster‑RCNN构建的小样本学习算法。首先输入查询图像和支持集图像进行特征图的提取，得到的特征图被送入跨图像特征融合模块用支持集中的特征信息来加强查询集中目标特征信息的表达，之后送入改进后的RPN模块生成ROI特征向量，再通过改进后的特征聚合模块对候选框进行筛选并完成支持集向量和ROI特征向量的空间对齐，最后将处理好的ROI和支持集向量送入分类器中进行分类，最终输出目标类型和框的准确定位。最后在PASCAL VOC数据集上设计了多组消融实验和对比实验都获得了良好的检测精度，验证了检测算法的有效性。

Description

一种基于跨图像特征融合的小样本检测方法

技术领域

本发明涉及深度学习中的小样本检测领域，具体涉及小样本条件下的目标检测技术。

背景技术

近些年来，基于深度学习的目标检测技术引起了极大的关注，并已经被应用到实际的工业和日常生活中，例如智能监控，自动驾驶，人脸认证等。当前基于深度学习的目标检测算法，相较于传统的图像算法来说需要用大量的数据进行模型训练。通常标记一个实例需要10秒左右，制作一个数据集需要的上万张数据，标记的过程非常耗时。由于真实数据的分布遵循长尾分布，某些样本数据存在的比例很低，例如：某些医学影像，或者是自然界中某些动植物。随着小样本图像分类算法的发展逐渐丰富，图像领域的小样本学习科研重点逐渐放在了小样本目标检测上。

受到小样本分类算法研究的启发，目前多数小样本目标检测算法大多采用两阶段的方式，即先确定目标的大致位置，然后通过分类器对目标进行分类和位置的精确估计。在两阶段的方式基础上，还需要针对小样本的应用场景做出改变，目前主流的改变可以归纳为采用元学习方法进行训练和测试、聚合支持集和查询集特征、增加特征向量的相关性、修改损失函数提高向量区分度等。因此本发明提出了一种基于跨图像特征融合的小样本检测方法，其中增加了一个跨图像特征融合模块，改进了RPN模块以及特征聚合模块。

发明内容

为了解决小样本条件下的目标检测问题，本发明设计了跨图像特征融合网络用于小样本目标检测。针对RPN容易忽略新类特征信息的问题，设计了跨图像特征融合机制，使用支持集的向量进行对查询集向量进行加权，用于突显查询集图像中的新目标的特征信息，这样能明显的降低RPN对目标的区域的遗漏；针对RPN中二元分类器分类错误可能导致漏失高IOU的建议区域的问题，本发明采用多个分类器并联的策略将漏失的概率降低；针对特征聚合的缺陷，本发明设计了基于排序的特征聚合方式，过滤掉某些与支持集相似度较低的ROI特征向量，并将查询集特征和支持集特征做空间对齐后送入后续分类模块中。

本发明所采用的技术方案是：

步骤1：通过共享的特征提取网络提取支持集和查询集的图像特征记为f_s和f_q，将该组特征图送入跨图像特征融合模块；

步骤2：计算f_s和f_q的相似程度给f_s中的特征图进行加权生成加权后的支持集特征图f′_s；

步骤3：计算f′_s和f_q之间的注意力特征图f_a，并将该注意力特征图f_a与查询集特征图f_q进行矩阵乘法，得出具有支持集注意力信息的查询集特征图f′_q；

步骤4：将f′_q送入改进后的RPN网络中生成候选框，在经过ROI Pooling后生成ROI特征向量，并与f′_s一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行分类，并送入框回归模块进行预测框的精确定位，输出最终的目标检测结果包含目标类别和目标框坐标。

与现有技术相比，本发明的有益效果是：

(1)相比传统小样本目标检测算法，具有更高的检测精度；

(2)对于各种类别的小样本检测，具有更好的检测效果。

附图说明

图1为：基于跨图像特征融合的小样本检测算法结构图。

图2为：支持加权模块示意图。

图3为：跨图像空间注意力特征融合模块示意图。

图4为：改进后的RPN网络结构示意图。

图5为：改进后的特征聚合模块示意图。

图6为：CIF-FSOD在PASCAL VOC数据集上目标识别mAP值对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明基于两阶段目标检测网络，设计了基于跨图像特征融合的小样目标检测算法，又称CIF-FSOD，其网络结构如图1所示。整个网络结构主要包含跨图像特征融合模块、改进后的RPN模块和改进后的特征聚合模块三个部分。

首先，输入图像通过共享的特征提取网络提取支持集和查询集的图像特征，并将该组特征图送入跨图像特征融合模块。本发明中设计的跨图像特征融合模块主要由支持集加权模块和跨图像空间注意力融合模块构成，通过利用支持集中图像特征来加强查询集中特征的表达，经过该模块加强后的特征图将输入到下一部分中的RPN网络中生成候选框，该模块的目的是为了提高RPN中生成的候选框的质量和效率。

支持集加权模块用于对支持集中的特征图进行加权，如图2所示。由于同一个目标在不同支持集特征图中的形状，角度，亮度都可能不同，其特征信息对查询集特征的贡献度也不同，通过计算支持集特征图和查询集特征图的相似度能够得到支持集的加权信息，针对相似度越高的支持集特征图分配更高的权重，针对相似度较低的支持集特征图分配较低的权重。

本发明采用关系网络来计算两个特征图之间的相似度，具体计算如公式(1)所示：

sim(f_s，f_q)＝R_φ[E(f_s)，E(f_q)]    (1)

其中，f_s代表支持集特征图，f_q代表查询集特征图，E(·)代表嵌入函数，R_φ(·)代表关系网络。sim(f_s，f_q)为最终输出的相似度结果，该结果还需要送入softmax函数进行归一化生成权值信息，如公式(2)所示；

其中，W_i代表支持集中第i个特征图的权重，sim_i代表支持集中第i个特征图与查询集特征图的相似度。最后利用生成的权重信息对原有支持集特征集合进行加权，如公式(3)所示：

跨图像空间注意力特征融合模块如图3所示，利用支持集特征图和查询集特征图生成跨图像空间注意力特征图，具体过程如公式(4)和(5)：

A(f_s，f_q)＝σ((f_s)^T·f_q)     (4)

在公式(4)中，

代表查询集特征图，

代表支持集特征图，A(f_q，f_s)为生成的跨图像空间注意力特征图，其中

其中，σ(·)代表softmax函数，函数中具体计算过程如公式(5)所示，其中

表示

转置后的结果，s_ji代表生成的注意力特征图，表示第i个位置对第j个位置的影响，即在支持集特征图中第i个空间位置对查询集特征图第j个空间位置的影响。后续将利用生成的空间注意力特征图与查询特征图进行矩阵乘积，生成含有空间特征信息的查询集特征图，具体过程如公式(6)：

其中，p_i表示输出的跨图像特征图第i个位置的特征信息，将最终生成的含有空间注意力信息的查询集特征图

与查询集原始特征

合并，最后输出跨图像特征融合特征图

f_output中有两部分信息，其中一部分是原始的查询集特征图f_q，另一部分是经过支持集空间注意力信息加权后的查询集特征图f_p。

其次，将输出跨图像特征融合特征图送入改进后的RPN网络中预测候选区域。本发明改进了RPN中的分类器，改进后的RPN网络能降低错过高IOU候选框的概率，具体网络结构如图4所示。改进的RPN网络与传统的RPN网络相比加入了并联的多个分类器，其中分为两个部分，一个部分在微调过程中会被冻结，主要用于提取基类的候选框，另一个部分在微调过程中也会学习新的参数，用于避免新类的漏检，降低错过高IOU候选框的概率。其中用于检测基类的分类器有一个，称为基类分类器，另一部分对新类更敏感的分类器由并联的三个子分类器组成，称为新类分类器。三个并联的分类器对同一个锚框产生的分类分数应该是不同的，有的分类器也许会因为错误分类而错过高IOU的候选框，但是其余的分类器能够及时修正这个错误。最终输出的分类结果由基类分类器和新类分类器的输出共同决定。首先，分析新类分类器的运行流程，对于每个锚框x_i会同时输出三个分数用来判断当前锚框是属于前景或者后景，如公式(7)：

其中

代表二元分类器，

代表第j个分类器对第i个锚框输出的分数。将分类器输出的分数送入sigmoid函数，将数值映射到[0，1]这个区间范围内，最后选出一个分数表现最好的分类器，具体选择方式如公式(8)：

其中j^*代表当前分类效果最好的分类器，α(·)表示sigmod函数。本发明采取了公式(8)的计算方法。当出现一个分类器偏差过大的情况时，通过公式(8)计算得到的应该是分数最低分类器输出的结果，这样更符合实际情况。新类分类器输出的分数并不是最终结果，还需要和主要用于提取基类候选框的分类器求最大值，如公式(9)：

score＝max(S^novel，S^base)    (9)

其中S^novel表示主要用于提取新类候选框的分类器输出分数，S^base表示主要用于提取基类候选框的分类器输出分数，score为最终输出的分数。

在推理过程中，和传统的RPN网络一样都会共用特征提取模块，将从特征提取模块中获得的特征信息一部分送入分类器中一部分送入框回归模块中，通过分类器输出当前锚框为前景的分数，通过框回归模块输出锚框的相对的精确定位信息，即相对于锚框的偏差，后续将根据所有锚框的前景分数由高到低排序，筛选出其中分数较高的前W个锚框作为候选框，接着通过非极大值抑制NMS筛选出K个锚框作为最终的候选框。

最后，生成的候选框经过ROI Pooling后生成ROI特征向量，并与支持集特征图一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行分类，并送入框回归模块进行预测框的精确定位，输出最终的目标检测结果包含目标类别和目标框坐标。本发明设计的改进的特征聚合模块如图5所示，利用支持集图像特征和查询集图像特征之间的相似度对ROI特征进行排序，并通过提前设置的阈值过滤掉部分质量较差的ROI特征向量，将保留下的ROI特征与支持集特征进行空间对齐，减少支持集图像特征和查询集图像之间的特征错位。

为了过滤低质量的ROI候选向量，本发明采用关系网络来计算候选向量和支持集向量之间的相似性，具体过程如公式(10)：

其中，x_roi代表由RPN输出的ROI特征向量，x_s代表支持集向量，

代表关系网络中的嵌入模块，负责将特征向量嵌入到特定空间中，Concate[·]代表将两个特征向量合并叠加在一起，R_φ{·}代表关系模块，用于计算两个特征向量之间的相似度。将得到的相似度进行排序，过滤掉部分低质量的候选区域。保留下的特征向量需要继续进行空间对齐的操作，首先本发明计算ROI特征向量和支持集特征向量之间的相似度矩阵，如公式(11)：

M(i，j)＝x′_roi⊙x′_s    (11)

其中，x_roi∈R^H×W×C代表由RPN输出的ROI特征向量，x_s∈R^H×W×C代表支持集向量产生的类原型，对x_roi进行reshape操作生成x′_roi∈R^N×C(其中N＝H×W)，对进行x_s进行reshape和转置操作生成x′_s∈R^C×N(其中N＝H×W)，M(i，j)代表生成的相似度矩阵表示在x′_roi中的第i行和x′_s中的第j列之间的相似度。⊙代表特殊的矩阵相乘方法是将普通的求和相加替换为计算两向量之间的余弦相似度，如公式(12)：

得到相似度矩阵之后，将相似度矩阵送入softmax函数中计算归一化后的结果，具体计算过程如公式(13)：

其中，S(i，j)代表经过softmax计算后的相似度权重，将该权重分配到支持集特征中便完成了空间对齐，如公式(14)：

从式中可以看出，最终的支持集中每个向量f′_s(i)是由其与查询集ROI向量的相似度S(i，j)决定的，相似度越高的向量在f′_s(i)所占的比例越大，反之也成立，相似度越高意味空间特征越接近，这种设计实现了空间对齐的目的。

为了证明本发明的有效性，将本发明改进的算法与几个先进算法进行比较，在PASCAL VOC数据集上进行比较。本发明一共训练了20个Epochs，设置初始学习率为10^-3，设置学习率为指数衰减(每2个Epochs学习率减半)，并使用Adam作为优化器加快收敛速度，其参数设置为β₁＝0.5，β₂＝0.9999，ε＝0.5，为了防止模型过拟合，设置随机失活率为0.1，设置权重衰减参数为10^-6。实验结果如图6所示，可以看出CIF-FSOD的检测精度全面超过了Meta YOLO、Meta R-CNN、RepMet和FsDetView算法。

以上所述，仅为本发明的具体实施方式，本说明中所公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征或/和步骤外，均可以任何方式组合。

Claims (1)

1.一种基于跨图像特征融合的小样本检测方法，其特征在于，包括以下步骤：

步骤1：通过共享的特征提取网络提取支持集和查询集的图像特征记为f_s和f_q，将该组特征图送入跨图像特征融合模块；其中，跨图像特征融合模块包括支持集加权模块和跨图像空间注意力融合模块；

步骤2：计算f_s和f_q的相似程度给f_s中的特征图进行加权生成加权后的支持集特征图f_s′；

步骤3：计算f_s′和f_q之间的注意力特征图f_a，并将该注意力特征图f_a与查询集特征图f_q进行矩阵乘法，得出具有支持集注意力信息的查询集特征图f′_q；

步骤4：将f′_q送入改进后的RPN网络中生成候选框，在经过ROI Pooling感兴趣区域池化后生成ROI特征向量，并与f_s′一起送入改进的特征聚合模块生成最终的特征向量送入分类器中进行分类，并送入框回归模块进行预测框的精确定位，输出最终的目标检测结果包含目标类别和目标框坐标；其中，改进后的RPN网络包含并联的多个分类器，改进后的特征聚合模块包含对候选框进行筛选并完成支持集向量和ROI特征向量的空间对齐。

Images