CN115797684A - 一种基于上下文信息的红外小目标检测方法及*** - Google Patents

Abstract

本发明涉及一种基于上下文信息的红外小目标检测方法及***，属于计算机视觉技术领域。对红外小目标数据集，使用分类损失函数、置信度损失函数以及位置损失函数，对小目标检测网络进行训练。然后用训练好的小目标检测网络，对红外图像进行特征提取，得到特征结果。最后，将提取到的特征进行进一步融合，在融合后的特征上进行红外小目标检测，得到最终目标检测结果。同时，本发明提出了一种基于上下文信息的红外小目标检测***。本发明不依赖额外红外图像去噪、增强以及其他处理模块，训练过程端到端进行，实现简单、性能高、鲁棒性强。本发明的额外计算量开销极低，有利于实现低延迟、高速度的红外小目标检测，有效提高了检测率，降低了漏检率。

Description

一种基于上下文信息的红外小目标检测方法及***

技术领域

本发明涉及一种在红外图像中检测小目标的方法及装置，具体涉及一种基于上下文信息的红外小目标检测方法及装置，属于计算机视觉处理技术领域。

背景技术

与可见光图像相比，红外图像不受极端气候、环境影响，无需借助外部光照也可成像，探测能力强，作用距离远，从红外监控***到红外制导***，红外图像在民用领域和军用领域均有着重要的研究和应用意义。然而，与可见光图像相比，红外图像存在分辨率差、成像模糊，信噪比低等缺点，其中的小物体容易被噪声淹没。因此，有效检测红外图像中的小目标是一项具有挑战的任务，受到信号处理和计算机视觉界的广泛关注。

小目标检测，是一种能够从图像中检测小目标的技术。该技术能够从自然光照的条件下检测出小目标的类别、存在的位置。目前，主要的小目标检测方法均基于深度学习和深度卷积神经网络，该技术广泛用于监控安防、自动驾驶、遥感卫星等领域。按照COCO数据集的定义，原则上小于32×32的目标被称为小目标。小目标占比像素低，检测性能与大目标相比相差极大。如果检测场景比较复杂，例如目标之间遮挡，目标被背景遮挡，或者密集的情况下，小目标受到的影响会比大目标更剧烈，小目标检测的难度被进一步加大。

上下文信息，物体通常伴随着相应的环境出现，除了物体本身具有的特征外，物体与周围环境之间也存在着紧密的联系，这些信息即所谓的特征上下文信息。由于红外图像受噪声和杂波影响严重，其中的小目标极易受到干扰。因此，借助图像中其他和目标相关的信息并结合小目标的特征来检测物体可以有效提高检测的结果，降低漏检小目标的概率。

发明内容

本发明的目的是针对现有红外小目标检测技术存在的缺陷和不足，为了解决现有方法未充分利用目标周围的局部上下文信息和整体图像中的全局上下文信息，且适应不同类别小目标特征变化能力不足，以及浅层特征与深层特征融合不当等技术问题，创造性地提出一种基于上下文信息的红外小目标检测方法及***。本方发明有效提高了针对红外小目标检测性能，具有良好的实际应用效果。

为达上述目的，本发明采用以下技术方案实现。

一种基于上下文信息的红外小目标检测方法，包括以下步骤：

步骤1：获取红外小目标数据集并处理。

步骤2：使用分类损失函数、置信度损失函数以及位置损失函数，对小目标检测网络进行训练。

步骤3：用训练好的小目标检测网络，对红外图像进行特征提取，得到特征结果。本方法中，无需对红外图像进行预处理。

步骤4：将提取到的特征进行进一步融合，在融合后的特征上进行红外小目标检测，得到最终目标检测结果。

为实现本发明所述目的，本发明进一步提出了一种基于上下文信息的红外小目标检测***，包括图像处理模块、目标信息学习模块、特征提取模块、特征融合和目标检测模块。

有益效果

本发明方法及***，与现有技术相比，具有以下优点：

1.本发明不依赖额外红外图像去噪、增强以及其他处理模块，训练过程端到端进行，实现简单、性能高、鲁棒性强。

2.本发明的额外计算量开销极低，有利于实现低延迟，高速度的红外小目标检测，有效的提高了小目标的检测率，降低了漏检率，其他尺度目标的精度也有所提升。

附图说明

图1是本发明方法的流程图。

图2是本发明方法所述特征提取方法示意图。

图3是本发明方法所述框架图及特征融合内部细节示意图。

图4是本发明***的流程图。

具体实施方式

为了更好的阐述本发明的目的和优点，下面结合附图对发明内容进行详细的说明。

如图1所示，一种基于上下文信息的红外小目标检测方法，包括以下步骤：

步骤1：获取红外小目标数据集，并进行数据增强处理。

高质量的数据集是基于深度学习的红外小目标检测方法实现良好性能所必不可少的选择。但是，现有的红外小目标数据集数量少、规模小，小目标占比不佳。因此，本发明首先通过数据增强来扩充红外小目标数据集，从而增强整个检测方法的鲁棒性。

具体地，在含有红外小目标的图像中，找出不与其他目标重叠的小目标，并随机复制粘贴到图像的其他位置。其中，复制的小目标不遮挡其他目标，与其他目标保持距离。

进一步地，在复制粘贴小目标的基础上，可以叠加其他的数据增强操作(比如：旋转平移、缩放剪裁、马赛克增强等)，其中，优选做马赛克增强。

步骤2：使用分类损失函数、置信度损失函数以及位置损失函数，对小目标检测网络进行训练。

具体地，令总损失函数L(x,x′)表示为：

其中，x、x′分别表示预测值和真实值，α_box、α_obj、α_cls分别表示三个损失函数的权重，L_CIoU、L_obj、L_cls分别表示目标检测任务位置损失函数、置信度损失函数及分类损失函数；k、s²、B分别表示输出特征图、网格和每个网格上anchor(即位置)的数量，I_kij表示第k个输出特征图、第i个网格、第j个anchor box是否为正样本，若是正样本，则为1，若是负样本则为0；α_k用来平衡不同尺度的输出特征权重。

步骤3：用训练好的小目标检测网络对红外图像进行特征提取，得到特征结果。并且，无需对红外图像进行预处理。

普通的红外小目标检测方法主要提取物体本身蕴含的特征，欠缺对上下文信息的获取分析能力，而小目标纹理信息不足，在没有上下文信息的补充增强时，低对比度的红外图像复杂的背景很容易将其淹没，小目标的不同形态也会给检测造成一定的难度。

为此，本方法提出，首先对图像进行特征提取。在提取过程中，充分考虑到不同形状的特征对上下文信息的需求不同，通过动态上下文信息提取，如图2所示，对特征建立各个信息之间的远距离依赖。其中，输入部分加入的位置编码弥补了特征的位置信息，改善了红外目标在远处特征信息不足的问题。对输入的深层特征分块展平为序列并引入位置信息后，送入多头注意力机制进行加权求和。然后，采用残差连接来优化结果、加快收敛，通过两层全连接层并再次残差连接。后续为一层可变形卷积，在卷积的同时加入偏置项，确保相同位置存在形态各异、大小差别明显的物体时，也能很好的表达物体的特征。

具体地，动态上下文信息提取的过程如下：

对于输入特征F，其特征大小为C×H×W，其中C表示通道数，H表示高度，W表示宽度；给定区块的大小尺寸P，将C×H×W划分为N个P×P×C块，P表示块。

得到N个块之后，将其线性变换为N个长度的特征向量，并在向量起始位置添加一个标志位向量x_p；

F₁＝E+F₀

其中，F₀表示输出的向量结果，

表示第N个区块，W_N为权重参数，Concat[]为拼接操作。

最终得到的F₀为分块嵌入的输出结果。得到F₀分块后，嵌入得到的特征尚缺少区块之间的相对位置信息，因此，添加位置编码信息E与F₀相加，得到F₁，F₁表示添加位置信息后的结果。

嵌入位置信息后的F₁分别乘以三个不同的参数矩阵，映射为查询矩阵、被查询的键值矩阵和值矩阵。经过注意力机制处理后，得到多个注意力结果，用来表示图像中不同的上下文信息。将这些注意力结果拼接起来并标准化，得到最终的上下文信息汇总结果:

head_i＝Attention(F₁W_q；F₁W_k；F₁W_v)

F_M＝Concat[head_i；head_i；head_i；...；head_i]W_M

其中，Attention()表示注意力机制操作，Q、K、V分别表示查询矩阵、被查询的键值矩阵和值矩阵，T表示转置运算，

表示缩放因子；F₁表示添加位置信息后的结果，W_q、W_k、W_v、W_M是可学习参数矩阵，Softmax表示进行Softmax操作，head_i表示多个注意力结果的输出，F_M表示多头注意力输出特征。Concat表示相加操作。

前馈神经网络包括两层全连接层，残差归一化后的多头注意力输出特征F_M被第一个全连接层映射到高维空间，低维空间则被第二个全连接层映射，进一步保留有用的信息，其过程为：

F₂＝F_M[0]+F₁

X＝F₂W_fc1W_fc2+F₁

其中，F₂表示残差后的结果，F_M[0]为标志位向量，X为输出结果，W_fc1、W_fc2为两个全连接层的权重。

处理完上下文信息后，输出结果X通过可变形卷积来动态调整有效信息，联系不同小目标与上下文信息之间的关系：

其中，Y(p₀)表示可变形卷积输出结果，X、Y分别为输入特征图和输出特征图，p₀表示输出特征中的位置，p_n表示相邻位置，R表示实数范围。函数W()表示p_n处的权重。p_n是偏移值，通过从输入特征进行并行卷积来学习。

步骤4：将提取到的特征进行进一步融合，在融合后的特征上进行红外小目标检测，得到最终目标检测结果。

受到噪声影响，红外图像中不同小目标的特征表现存在很大差异，十分考验模型的特征融合能力。而普通目标检测模型单纯的上采样和卷积、连接特征等操作，未从空间维度分析物体的位置特征、通道维度分析物体的语义特征，或者仅能对图像中明显的特征进行融合，却忽略掉其中的小目标信息，进而导致小目标的最终检测精确度不高。

因此，本方法中，对图像进行特征提取后，将提取到的特征进行特征融合，并在融合后的特征上进行目标检测。在特征融合过程中，利用多信息融合层聚合多重特征中的通道、空间信息。

聚合后的特征大大提高了物体的位置信息和语义信息的表达。在特征融合时增加了新的特征尺度并进行融合，来补充深层的小目标特征，有利于丰富小目标的细节特征。

为了在特征融合时尽可能的增加物体的时空信息，保留更多的目标特征。如图3所示，多信息融合层在每个特征尺度中进行信息融合操作。

多信息融合模块(MFM)通过多个残差结构融合不同层的信息，其结构如图3(c)所示，包含三个部分，第一个是IC层，如图3(b)表示，负责细化特征的信息，然后从通道层面分别进行全局池化和最大池化，并经过共享权重的全连接层整理信息，相乘加后再通过softmax函数归一化，得到提取的通道信息，与输入信息相乘，达到对通道信息增强的效果。

通道信息提取增强后，继续对图像的每个位置分别进行全局池化和最大池化，相加后可以采取7×7卷积叠加特征并通过softmax函数归一化，达到对位置信息增强的效果。最后，可以经过1×1卷积，进一步整合通道和空间信息。

深层特征所含语义信息丰富，但多为目标的语义信息，小目标的相关特征经过多次下采样操作后，容易被噪声遮盖，难以定位，而浅层特征具有丰富的小目标纹理信息和位置信息。同时，为了有效利用浅层特征来增强小目标的细节信息、补充小目标的位置信息，额外增加了一个特征尺度来专门关注小物体，增加一个检测头来输出检测结果。相关结构命名如图3(a)所示，动态上下文信息提取模块及后续三个多信息融合模块(MFM)的输出为T5、T4、T3、T2，这些输出的大小分别是原图的1/32、1/16、1/8、1/4。与T5、T4、T3连接的相同大小的特征记为R4、R3、R2。

本方法在特征图处理到T3层时，继续将特征上采样，并于上采样后加入T2层，同时将T2层与骨干网络第二层相同大小的特征连接。提高小目标细节的表征能力，传递浅层细节信息，在T2层后接小目标检测头，来减小小目标和其他目标在同一层的特征耦合，降低小目标的漏检率，提升检测到小目标的几率，缓解尺度过大带来的精度不佳。为了与后面网络的通道对应，在T2层后加入R2层，与维度相同的T3层特征连接。

为实现本发明所述目的，本发明进一步提出了一种基于上下文信息的端到端红外小目标检测***，如图4所示，包括红外图像处理模块10、目标信息学习模块20、特征提取模块30、特征融合和目标检测模块40。

其中，红外图像处理模块10用于处理用于训练小目标检测模型的红外图像数据集。该模块能够增加小目标的数量，丰富数据集的变化场景，增强模型的鲁棒性。

小目标信息学习模块20，用于引导小目标检测模型学习鲁棒的图像特征。该模块利用红外小目标数据集使用信息学习训练模型，输出得到训练好的小目标检测模型。

图像特征提取模块30，利用动态上下文信息提取模块提取图像特征中的目标周围信息和全局相关信息，并适配不同小目标的轮廓变化。在红外图像上提取出稳定干净的小目标特征，以实现精确的红外小目标检测。

特征融合和目标检测模块40，能够将提取到的特征进行融合。从融合后的图像特征中识别提取出感兴趣目标的类别位置大小形状，得到最终的红外小目标检测结果。

上述模块之间的连接关系如下：

红外图像处理模块10的输出端与小目标信息学习模块20的输入端相连。

小目标信息学习模块20的输出端与图像特征提取模块30的输入端相连。

图像特征提取模块30的输出端与特征融合和目标检测模块40的输入端相连。

Claims (8)

1.一种基于上下文信息的红外小目标检测方法，其特征在于，包括以下步骤：

步骤1：获取红外小目标数据集，并进行数据增强处理；

步骤2：使用分类损失函数、置信度损失函数以及位置损失函数，对小目标检测网络进行训练；

步骤3：用训练好的小目标检测网络，对红外图像进行特征提取，得到特征结果；

首先对图像进行特征提取；在提取过程中，通过动态上下文信息提取，对特征建立各个信息之间的远距离依赖；对输入的深层特征分块展平为序列并引入位置信息后，送入多头注意力机制进行加权求和；

然后，采用残差连接来优化结果、加快收敛，通过两层全连接层并再次残差连接；后续为一层可变形卷积，在卷积的同时加入偏置项；

步骤4：将提取到的特征进行进一步融合，在融合后的特征上进行红外小目标检测，得到最终目标检测结果。

2.如权利要求1所述的一种基于上下文信息的红外小目标检测方法，其特征在于，步骤1进行数据增强处理时，在含有红外小目标的图像中，找出不与其他目标重叠的小目标，并随机复制粘贴到图像的其他位置；其中，复制的小目标不遮挡其他目标，与其他目标保持距离。

3.如权利要求2所述的一种基于上下文信息的红外小目标检测方法，其特征在于，在复制粘贴小目标的基础上，进一步叠加其他的数据增强操作，包括旋转平移、缩放剪裁、马赛克增强。

4.如权利要求1所述的一种基于上下文信息的红外小目标检测方法，其特征在于，步骤2中，令总损失函数L(x,x′)表示为：

其中，x、x′分别表示预测值和真实值，α_box、α_obj、α_cls分别表示三个损失函数的权重，L_CIoU、L_obj、L_cls分别表示目标检测任务位置损失函数、置信度损失函数及分类损失函数；k、s²、B分别表示输出特征图、网格和每个网格上的位置的数量，I_kij表示第k个输出特征图、第i个网格、第j个anchor box是否为正样本，若是正样本，则为1，若是负样本则为0；α_k用来平衡不同尺度的输出特征权重。

5.如权利要求1所述的一种基于上下文信息的红外小目标检测方法，其特征在于，步骤3中，动态上下文信息提取的过程如下：

对于输入特征F，其特征大小为C×H×W，其中C表示通道数，H表示高度，W表示宽度；给定区块的大小尺寸P，将C×H×W划分为N个P×P×C块，P表示块；

得到N个块之后，将其线性变换为N个长度的特征向量，并在向量起始位置添加一个标志位向量x_p；

F₁＝E+F₀

其中，F₀表示输出的向量结果，

表示第N个区块，W_N为权重参数，Concat[]为拼接操作；最终得到的F₀为分块嵌入的输出结果；

添加位置编码信息E与F₀相加，得到F₁，F₁表示添加位置信息后的结果；

嵌入位置信息后的F₁分别乘以三个不同的参数矩阵，映射为查询矩阵、被查询的键值矩阵和值矩阵；经过注意力机制处理后，得到多个注意力结果，用来表示图像中不同的上下文信息；将这些注意力结果拼接起来并标准化，得到最终的上下文信息汇总结果:

head_i＝Attention(F₁W_q；F₁W_k；F₁W_v)

F_M＝Concat[head_i；head_i；head_i；...；head_i]W_M

其中，Attention()表示注意力机制操作，Q、K、V分别表示查询矩阵、被查询的键值矩阵和值矩阵，T表示转置运算，

表示缩放因子；F₁表示添加位置信息后的结果，W_q、W_k、W_v、W_M是可学习参数矩阵，Softmax表示进行Softmax操作，head_i表示多个注意力结果的输出，F_M表示多头注意力输出特征；Concat表示相加操作；

前馈神经网络包括两层全连接层，残差归一化后的多头注意力输出特征F_M被第一个全连接层映射到高维空间，低维空间则被第二个全连接层映射，进一步保留有用的信息，其过程为：

F₂＝F_M[0]+F₁

X＝F₂W_fc1W_fc2+F₁

其中，F₂表示残差后的结果，F_M[0]为标志位向量，X为输出结果，W_fc1、W_fc2为两个全连接层的权重；

处理完上下文信息后，输出结果X通过可变形卷积来动态调整有效信息，联系不同小目标与上下文信息之间的关系：

其中，Y(p₀)表示可变形卷积输出结果，X、Y分别为输入特征图和输出特征图，p₀表示输出特征中的位置，p_n表示相邻位置，R表示实数范围；函数W()表示p_n处的权重；p_n是偏移值，通过从输入特征进行并行卷积来学习。

6.如权利要求1所述的一种基于上下文信息的红外小目标检测方法，其特征在于，步骤4在特征融合过程中，利用多信息融合层聚合多重特征中的通道、空间信息，多信息融合层在每个特征尺度中进行信息融合操作；

其中，多信息融合模块通过多个残差结构融合不同层的信息，其包含三个部分，第一个是IC层，负责细化特征的信息，然后从通道层面分别进行全局池化和最大池化，并经过共享权重的全连接层整理信息，相乘加后再通过softmax函数归一化，得到提取的通道信息，与输入信息相乘；

通道信息提取增强后，继续对图像的每个位置分别进行全局池化和最大池化，相加后采取卷积叠加特征并通过softmax函数归一化，达到对位置信息增强的效果；最后，经过卷积，整合通道和空间信息。

7.如权利要求6所述的一种基于上下文信息的红外小目标检测方法，其特征在于，增加一个特征尺度，用于专门关注小物体；增加一个检测头来输出检测结果；

其中，动态上下文信息提取模块及后续三个多信息融合模块的输出为T5、T4、T3、T2，这些输出的大小分别是原图的1/32、1/16、1/8、1/4，与T5、T4、T3连接的相同大小的特征记为R4、R3、R2；

在特征图处理到T3层时，继续将特征上采样，并于上采样后加入T2层，同时将T2层与骨干网络第二层相同大小的特征连接；在T2层后接小目标检测头，在T2层后加入R2层，与维度相同的T3层特征连接。

8.一种实现权利要求1所述方法的基于上下文信息的红外小目标检测***，其特征在于，包括红外图像处理模块(10)、目标信息学习模块(20)、特征提取模块(30)、特征融合和目标检测模块(40)；

其中，红外图像处理模块(10)用于处理用于训练小目标检测模型的红外图像数据集；

小目标信息学习模块(20)，用于引导小目标检测模型学习鲁棒的图像特征；该模块利用红外小目标数据集使用信息学习训练模型，输出得到训练好的小目标检测模型；

图像特征提取模块(30)，利用动态上下文信息提取模块提取图像特征中的目标周围信息和全局相关信息，并适配不同小目标的轮廓变化；在红外图像上提取出稳定干净的小目标特征；

特征融合和目标检测模块(40)，将提取到的特征进行融合，从融合后的图像特征中识别提取出感兴趣目标的类别位置大小形状，得到最终的红外小目标检测结果；

上述模块之间的连接关系如下：

红外图像处理模块(10)的输出端与小目标信息学习模块(20)的输入端相连；

小目标信息学习模块(20)的输出端与图像特征提取模块(30)的输入端相连；

图像特征提取模块(30)的输出端与特征融合和目标检测模块(40)的输入端相连。

Images