CN115830502A - 一种基于背景抑制与特征融合的红外小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于背景抑制与特征融合的红外小目标检测方法，包括将原始红外图像输入到三层窗口局部对比机制模块中，该模块将窗口分为中心层、中间层和最外层三个层次；对中心层进行高斯滤波，将窗口的最外层划分为8个方向，选择与中心最接近的值作为对比度计算时的背景值；将匹配滤波结果与最接近滤波结果进行比差联合对比度计算，突出目标抑制背景；通过卷积神经网络进一步抑制背景杂波；使用自适应阈值操作对进行非负约束计算的结果进行二值化操作，提取感兴趣区域。本发明融合红外图像中浅层与深层纹理特征，弥补红外图像中小目标缺失纹理信息的问题，在增强目标的同时，抑制复杂背景干扰，缓解由于小目标靠近高亮背景时被淹没的情况。

Description

一种基于背景抑制与特征融合的红外小目标检测方法

技术领域

本发明属于目标检测的技术领域，尤其涉及一种基于背景抑制与特征融合的红外小目标检测方法。

背景技术

典型的红外弱小目标检测方法主要可分为基于序列和基于单帧图像的检测算法。其中，基于序列的检测算法的一些模块是以单帧检测算法为基础的。目前基于单帧图像的检测算法主要分为滤波算法，人类视觉***，低秩稀疏矩阵分解和机器学习等。但是，当红外小目标处于复杂背景时，如何精准地检测小目标依然具有挑战性。

随着深度学习的发展，研究人员发现与传统算法相比，深度学习方法不仅可以大大提高任务的精度，而且可以提高算法的鲁棒性。目前，国内外研究人员已将深度学习思想应用于红外小目标检测。其中包括李慕锴等人在网络中引入SEblock，解决YOLOv3网络分类准确率不足的问题，提升网络对于特征描述的能力，抑制图像背景噪声，实现小目标检测；SHI等人提出将红外图像中小目标视为“噪声”，并将小目标检测任务转化为去噪问题；于周吉在全卷积神经网络的基础上设计了一种针对单帧红外小目标的提取网络；Kim等利用数据驱动筛选出疑似小目标的位置，再经由分类网络地识别确定最终目标；Jun等提出一种基于深度学习的远红外小目标检测方法和异构数据融合方法，以解决由于目标尺寸小而导致的语义信息不足问题；戴一冕等将局部对比机制作为模块嵌入到卷积神经网络中。

此外，人类视觉***(human visual system，HVS)中的对比度算法也同样适用于红外图像中的弱小目标检测。在早期对于目标增强与背景抑制研究的基础上，王晓阳等以对显著性区域进行对比度计算代替遍历整张图片，但该算法复杂度较高，任意计算环节错误都将增加检测失败的概率。随着研究的深入，目标尺寸未知的问题使研究人员越发关注。例如，韩金辉等提出的三层窗口局部对比机制(three-layer local contrast measure，TLLCM)，虽然可以实现以单尺度计算多尺度检测问题，增强小目标并抑制背景，但当小目标处于高亮背景边缘或者靠近高亮背景时，采用最接近滤波容易导致目标被淹没。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种基于背景抑制与特征融合的红外小目标检测方法，在增强目标的同时，抑制复杂背景干扰，缓解由于小目标靠近高亮背景时被淹没的情况。

为了解决上述技术问题，本发明通过以下技术方案来实现：本发明提供一种基于背景抑制与特征融合的红外小目标检测方法，包括：

步骤S1、将原始红外图像输入到三层窗口局部对比机制模块中，该模块将窗口分为中心层、中间层和最外层三个层次；

步骤S2、对中心层进行高斯滤波，将窗口的最外层划分为8个方向，并从中选择与中心最接近的值作为对比度计算时的背景值；

步骤S3、将匹配滤波结果与最接近滤波结果进行比差联合对比度计算，突出目标抑制背景；

步骤S4、通过卷积神经网络进一步抑制背景杂波；

步骤S5、使用自适应阈值操作对进行非负约束计算的结果进行二值化操作，提取感兴趣区域，再以感兴趣区域为中心32×32大小在原始图像上截取，并作为训练集输入到卷积层中。

进一步的，在所述步骤S1中，当原始红外图像输入进模块后，窗口将按照从左到右，从上到下的顺序遍历整幅图像，由中心层捕捉小目标的主要能量，最外层抑制周围背景，中间层用于隔离目标和背景。

进一步的，在所述步骤S3中，将非负约束的概念引入到对比度结果结算中，采用阈值操作从计算结果中提取目标。

进一步的，在所述步骤S5中，训练图像依次经过卷积层1～3，生成分辨率不同的初级特征图S1、S2和S3，将三者输入到特征融合模块FFM中。

由上，本发明的基于背景抑制与特征融合的红外小目标检测方法融合红外图像中浅层与深层纹理特征，弥补红外图像中小目标缺失纹理信息的问题；可以在增强目标的同时，抑制复杂背景干扰，缓解由于小目标靠近高亮背景时被淹没的情况。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更简明易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明的基于背景抑制与特征融合的红外小目标检测方法的模型结构图；

图2为本发明与基于深度神经网络的方法的FCN结果对比图；

图3为测试图像及包括本发明在内的五种算法的处理结果图。

具体实施方式

下面结合附图详细说明本发明的基于背景抑制与特征融合的红外小目标检测方法的具体实施方式。

如图1所示，本发明提供的基于背景抑制与特征融合的红外小目标检测方法，包括以下步骤：

将原始红外图像输入到三层窗口局部对比机制(three-layer local constrastmechanism，TLLCM)模块中。该模块将窗口分为中心层、中间层和最外层三个层次。当原始红外图像输入进模块后，该窗口将按照从左到右，从上到下的顺序遍历整幅图像。由中心层捕捉小目标的主要能量，最外层抑制周围背景，中间层用于隔离目标和背景。当目标大小改变时，只要其不超过中间层的大小，窗口尺度无需进行调整，从而可以在单尺度下实现对未知尺度目标的检测，有效降低了运算量。

同时，根据目标的形状，引入匹配滤波的思想，对中心层进行高斯滤波，有针对性地增强弱小目标。另外，采用最接近滤波思想，将窗口的最外层划分为8个方向，并从中选择与中心最接近的值作为对比度计算时的背景值，在一定程度上缓解了高亮背景对目标的淹没问题。

将匹配滤波结果与最接近滤波结果进行比差联合对比度计算，进一步突出目标抑制背景。考虑到实际中目标大多比周围临近背景的温度更高，表现在红外图像中即目标比临近背景稍亮，因此，为进一步抑制杂波，将非负约束的概念引入到对比度结果结算中。然后采用阈值操作从计算结果中提取目标，但此时检测结果依旧存在较高虚警率，需通过卷积神经网络进一步抑制背景干扰。

由于TLLCM模块的检测结果依然存在较高虚警率，通过卷积神经网络进一步抑制背景杂波。以TLLCM模块的检测结果为中心32╳32大小在原始图像上截取，以此作为训练集输入到卷积神经网络中，节省网络对无关区域计算的时间。训练图像依次经过卷积层1～3，生成分辨率不同的初级特征图S1、S2和S3，将三者输入到特征融合模块FFM中。初级特征图S1经过sub-pixel convolution layer的处理得到S1-up，针对初级特征图S3采用pathwaylayer处理得到S3-down，得到的S1-up、S2和S3-down的大小相同，拼接三者的通道得到二级特征图C2，经由大小为1×1的卷积层操作使得C2的通道数量与初级特征图S2中的通道数量相一致，最终得到的三级特征图P2，将三级特征图S3输入到第四层卷积神经网络中，利用卷积操作与激活函数完成目标分类。

如图1所示，本发明的方法的实施例如下所示：

首先，将红外图像输入到TLLCM模块中，在TLLCM模块中将整个窗口划分为三层，其中，以窗口中央的小区域作为中心层捕捉小目标的主要能量；将***8个用于抑制背景边缘的子块为最外层；介于二者之间的部分为整个窗口的中间层用于隔离目标和周围背景。使用该三层窗口按照从左至右，从上到下的顺序遍历整幅图像。

对中心层进行匹配滤波操作，有针对性地增强小目标，记录匹配滤波操作后的结果；同时针对最外层采用最接近滤波操作，分别计算最外层8个子块的背景响应值，再分别与内层子块(包含中心层与中间层)的响应值相比，选取其中相差最小的背景响应值参与对比度计算。

将匹配滤波结果与最接近滤波结果进行比差联合对比度计算抑制高亮背景，引入非负约束进一步抑制背景杂波。然后使用自适应阈值操作对进行非负约束计算的结果进行二值化操作，提取感兴趣区域，再以感兴趣区域为中心32×32大小在原始图像上截取，并作为训练集输入到卷积层中。

如图1所示的网络结构，其中包含4个卷积层、2个最大池化层以及一个FFM模块。由TLLCM模块处理后的图片通过前3层卷积层生成S1、S2、S3三个不同分辨率的初级特征图；其次，为将初级特征图S1放大采用子像素卷积层(sub-pixel convolution layer)对S1进行像素洗牌获得S1-up，然后使用pathway layer代替下采样操作缩小初级特征图S3获得S3-down(其中S1-up、S2与S3-down大小相同)，拼接S1-up、S2和S3-down的通道得到二级特征图C2，经由大小为1×1的卷积层操作使得C2的通道数量与初级特征图S2中的通道数量相一致，最终得到的三级特征图P2用于目标分类。最后经由卷积层与激活函数地处理得到最终的输出结果。此外，将SE网络层引入卷积网络结构中可以使网络在训练过程中能够自适应地调节每个通道特征所占的权重，提升网络训练效果。

为验证本发明的实用性。首先将本发明与基于深度神经网络的方法FCN相比较，结果如图2所示。本发明表现出更高的检测率和更低的虚警率，表明本发明的网络结构更高效。由图2可知，在FCN网络检测结果中，海浪部分存在大量虚警点；而在本发明的检测结果中，背景得到有效抑制，检测效果更好，虚警率更低。

如图3所示，为了表明本发明的先进性，将本发明与四种典型红外小目标检测算法进行多方面的比较。四种对比算法包括三种传统的红外小目标检测算法：TLLCM、RLCM、WLDM和基于深度神经网络的方法FCN。选择7幅具有代表性红外图形对5种算法进行测试和对比。前2张测试图像为天空背景，第3张、第4张测试图像同时包含天空背景和海面背景，第5张测试图像仅包含水面背景，第6张测试图片同样仅包含水面背景，但小目标位于图像边缘，最后一张测试图像为强光源背景。7张测试图像的原始图像以及5种算法的处理结果如图3所示。在测试图像中，5种算法虽然都可以检测出7张测试图像中的所有红外小目标，但各个算法在红外图像的背景抑制能力方面有较大差距。对于第1-5张测试图像，本方法可以在抑制图像背景杂波和尖锐噪声的同时实现目标增强，其背景抑制因子最佳。对于第6张测试图像，本方法在抑制背景杂波方面表现优异，且对边缘目标具有很好的检测效果。最后一张测试图像表明，当小目标处于强光源背景时，本方法依旧有效。综合来看，加入分类网络后的检测算法对背景干扰的抑制能力显著增强，算法的检测性能优越，实际应用意义高。

最后应说明的是：以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (4)

1.一种基于背景抑制与特征融合的红外小目标检测方法，其特征在于，包括：

步骤S1、将原始红外图像输入到三层窗口局部对比机制模块中，该模块将窗口分为中心层、中间层和最外层三个层次；

步骤S2、对中心层进行高斯滤波，将窗口的最外层划分为8个方向，并从中选择与中心最接近的值作为对比度计算时的背景值；

步骤S3、将匹配滤波结果与最接近滤波结果进行比差联合对比度计算，突出目标抑制背景；

步骤S4、通过卷积神经网络进一步抑制背景杂波；

步骤S5、使用自适应阈值操作对进行非负约束计算的结果进行二值化操作，提取感兴趣区域，再以感兴趣区域为中心32×32大小在原始图像上截取，并作为训练集输入到卷积层中。

2.根据权利要求1所述的基于背景抑制与特征融合的红外小目标检测方法，其特征在于，在所述步骤S1中，当原始红外图像输入进模块后，窗口将按照从左到右，从上到下的顺序遍历整幅图像，由中心层捕捉小目标的主要能量，最外层抑制周围背景，中间层用于隔离目标和背景。

3.根据权利要求1所述的基于背景抑制与特征融合的红外小目标检测方法，其特征在于，在所述步骤S3中，将非负约束的概念引入到对比度结果结算中，采用阈值操作从计算结果中提取目标。

4.根据权利要求1所述的基于背景抑制与特征融合的红外小目标检测方法，其特征在于，在所述步骤S5中，训练图像依次经过卷积层1～3，生成分辨率不同的初级特征图S1、S2和S3，将三者输入到特征融合模块FFM中。

Images