CN109902715B - 一种基于上下文聚合网络的红外弱小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于上下文聚合网络的红外弱小目标检测方法，首先构建STDNet模型；然后合成仿真样本构造训练集，并根据局部信杂比设计STDNet模型的加权均方误差损失函数；其次利用训练集训练STDNet模型；再进一步利用真实应用场景下包含真实弱小目标的样本图像，且以低于训练阶段的学习率追加训练STDNet模型；最后将测试样本输入训练好的STDNet模型，将STDNet模型输出的结果经过阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。本发明能利用全局和局部特征共同探测弱小目标，且具有较强的抑制复杂背景干扰的能力。

Description

一种基于上下文聚合网络的红外弱小目标检测方法

技术领域

本发明属于红外图像分析技术，具体为一种基于上下文聚合网络的红外弱小目标检测方法。

背景技术

红外弱小目标检测针对的目标不仅尺寸小，而且非常弱，经常被淹没在复杂的背景，导致较高的漏检率和虚检率。现有红外弱小目标检测方法在解决这一问题时，仍有技术上的缺陷，如基于滤波的方法易于在背景边缘处出现大量虚检；基于对比度和显著性计算的方法对复杂边缘干扰，椒盐噪声敏感；基于背景和目标矩阵分解的方法对稀疏背景干扰敏感；基于传统机器学习的方法受感受野大小限制，虚警率仍很高。总之，红外图像中鲁棒的弱小目标检测仍然具有挑战性。

发明内容

本发明的目的在于提供一种基于上下文聚合网络的红外弱小目标检测方法，解决目标和背景占空比严重不均衡问题，以及复杂背景干扰产生的虚警问题，具备较强的抑制复杂背景干扰和增强目标的能力。

实现本发明目的的技术方案为：一种基于上下文聚合网络的红外弱小目标检测方法，包括以下步骤：

步骤1、构建STDNet模型，具体步骤为：

步骤11、选取最大膨胀因子为64的上下文聚合网络为基本骨架；

步骤12、将三个上下文网络模型逐个串联，获得的网络模型将膨胀因子以2为底的指数形式先扩大、再缩减，而后再扩大，即第一个上下文网络模型的扩张因子从1增加到64，第二个上下文网络模型的膨胀因子从64减少到1，第三个上下文网络模型的膨胀因子再次从1增加到64；获得的网络模型的每一层施加三种操作，即Conv+ABN+leaky-ReLU层，Conv指卷积运算，ABN指自适应批量归一化，leaky-ReLU指激活函数；

步骤13、在获得的模型最后增加一个输出层，所述输出层为一个1×1卷积核且它是没有任何批量标准化和激活函数的纯卷积层；

步骤14、将具有相同膨胀因子的卷积层直接连接；

步骤2、合成仿真样本构造训练集；

步骤3、根据局部信杂比设计STDNet模型的加权均方误差损失函数；

步骤4、利用训练集训练STDNet模型；

步骤5、利用真实应用场景下包含真实弱小目标的样本图像，且以低于步骤34的学习率追加训练STDNet模型；将测试样本输入训练好的STDNet模型，将STDNet模型输出的结果经过阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。

优选地，步骤12中卷积运算的卷积核为3×3，自适应批量归一化公式为：ABN(x)＝w₁x+w₂BN(x)，其中w₁和w₂是学习的标量权重，BN(x)是批量标准化算子，ABN(x)为自适应批量；Leaky ReLU激活函数为Φ(x)＝max(0.2x,x)。

优选地，步骤2中合成仿真样本构成训练集的步骤为：

步骤21、从自然场景红外图像中提取固定大小的图像块作为训练样本的背景图像；

步骤22、在背景图像上随机指定目标叠加位置，按预设尺寸和信杂比生成灰度分布满足二维高斯函数的目标；

步骤23、将步骤22中目标叠加在步骤21中的背景图像的指定位置上，获得仿真样本，构成训练集。

优选地，步骤3根据局部信杂比设计STDNet模型的加权均方误差损失函数的具体步骤为：

步骤31、将目标或背景像素权重ξ_j引入L2损失函数训练模型得到加权损失函数：

其中，N和P分别表示训练图像的数量和单个图像中的像素总数，O_ij(θ)表示第i个图像中的第j个像素的输出值，Y_ij是对应于第i个真实图像中的第j个像素的值，ξ_j表示给目标或背景像素赋予的权重，即

其中，j表示第j个像素，Bk和Ta分别表示背景和目标类，ρ₁是大于1的实数；

步骤32、计算训练集中每幅图像的局部性杂比图像,利用阈值th＝w₃·Mean(O(θ))+(1-w₃)·Max(O(θ))对训练集的局部信杂比图像进行阈值分割获得二值局部信杂比图，筛选出二值局部信杂比图中1值对应的像素构成集合Hs；

步骤33、根据步骤32筛选出的像素获得新权重ξ"_j，新权重ξ"_j具体为：

其中Ta表示背景，Hs表示属于通过步骤22筛选出的像素集，ρ表示大于1的实数；

步骤34、用新权重ξ"_j代替步骤33中的权重ξ_j得到最终的损失函数。

优选地，步骤4利用训练集训练STDNet模型具体为：将训练集分批次输入给改进的上下文聚合网络，整个训练集被访问一轮后，重新打乱整个训练集，进行第二轮，反复直至模型收敛停止训练。

本发明与现有技术相比，其显著优点为：本发明有效的参考和模拟了人类观察者利用肉眼检测弱小目标的行为过程，具有较大的感受野，能更好的利用全局信息帮助区分真实弱小目标和复杂背景干扰，背景抑制能力强，检测率高、虚警率低，适用范围广。

附图说明

图1为本发明的STDNet模型架构图。

图2为局部信杂比计算图像变化过程示意图，其中图2(a)为原始图像，其中细圆圈表示真实目标，粗圆圈表示最相似目标的杂波；图2(b)为多尺度局部信杂比结果图；图2(c)为图2(b)阈值二值化的结果图。

图3为混合场景红外图像。

图4为在3个红外序列和1个单帧红外图像集上的ROC曲线示意图，图4(a)为飞机图像集上的ROC曲线示意图，图4(b)为多云图像集上的ROC曲线示意图，图4(c)为气流图像集上的ROC曲线示意图，图4(d)为单帧红外图像集上的ROC曲线示意图。

图5为本发明以及现有方法分别在3个红外序列、单帧红外图像集上的一张代表性图像的检测结果图和对应真实目标图，图5(a)为飞机序列图像集上的检测结果图，图5(b)为多云序列图像集上的检测结果图，图5(c)为气流序列图像集上的检测结果图，图5(d)为单帧图像集上的检测结果图。

具体实施方式

一种基于上下文聚合网络的红外弱小目标检测方法，具体步骤为：

步骤1、构建STDNet模型。STDNet模型的基础骨架为上下文聚合网络(CAN)。本发明对CAN模型做了改进，以使其更好的适用于弱小目标检测。如图1所示，本发明的网络模型架构图总共包含20层，矩形块表示卷积层，其下方的数字为卷积层索引号，而矩形块内的数字表示该卷积层使用的膨胀因子；第一个上下文聚合网络模型由7个卷积层组成，用每个块的高度表示相应膨胀因子的大小，每层下面给出膨胀因子，分别为1,2,4,8,16,32,64；第二个上下文聚合网络模型包括6层，膨胀因子为32,16,8,4,2,1；第三个上下文聚合网络模型包含6层，膨胀因子为2,4,8,16,32,64；添加选择性连接(图中的实线)以将每一层的特征图传递到后面与其具有相同的膨胀因子的卷积层，完成特征图在通道维数上的堆叠，其表示前面卷积层的特征图会直接传输到后面相连接的卷积层上，以实现不同卷积层特征图的共享。以第15层(在第三个子CAN中)为例，它的膨胀因子为4，其前一层是膨胀因子为2的卷积层，因此输入第15层的特征图是第2层、第12层和第14层的输出特征图的串联，所有三层具有相同的膨胀因子2。在三个上下文聚合网络模型之后设置一个输出层，所述输出层为卷积核大小为1×1，膨胀因子为1的卷积层，没有激活函数；整个模型的输入和输出都是单通道图像，每个中间层输出的特征图数量设置为24个；所有特征图和输出图像的宽度和高度与输入红外图像的宽度和高度相同。

由网络结构图看出，它含有两种类型的卷积层，最后一层的1×1卷积是一个没有任何激活函数的纯卷积层，所有剩余层是三种操作的组合，即卷积运算(Conv)、自适应批量归一化(ABN)和Leaky ReLU激活函数，其中Leaky ReLU代表激活函数Φ(x)＝max(0.2x,x)。ABN为自适应批量归一化，定义为：

ABN(x)＝w₁x+w₂BN(x) (1)

其中w₁和w₂是学习的标量权重，BN(x)是批量标准化算子。

步骤2、红外弱小目标图像并不容易获得，而模型的训练需要大量的样本。本发明中为了获得足够多的训练样本，通过合成的方法来构造，即从自然场景中利用已有的红外热像仪在不同天气下拍摄了不同的自然地物和天空混合场景(不含目标)作为弱小目标所处的背景图像，如图3所示，训练样本具体合成方法为：

(1)从自然场景红外图像中提取固定大小的图像块作为训练样本的背景图像；

(2)在背景图像上随机指定目标叠加位置，按预设尺寸和信杂比生成灰度分布满足二维高斯函数的目标；

(3)将(2)中目标叠加在步骤(1)中的背景图像的指定位置上，获得合成仿样本，构成训练集。

在某些实施例中，采用滑动窗口技术在场景图像中产生足够多的训练样本，每滑动5个像素裁切一个128×128的图像块。对每个图像块，采用二维高斯函数随机叠加一个训练样本，构成训练集。

步骤3、根据局部信杂比设计STDNet模型的加权均方误差损失函数。常用于训练深度网络的损失函数有L2损失、L1损失和交叉熵损失，而L2损失函数在训练原始的CAN模型时表现最佳，故STDnet也使用L2损失函数。假设O_i(θ)是第i个图像的模型输出，Y_i是对应的真实值，则L2损失函数定义如下：

其中θ表示网络的所有参数，N表示训练样本的数量。

为了使STDNet模型能够有效地学会检测所有小目标并尽可能少地产生虚警，在损失函数中考虑了两个关键问题。一个是目标数量和背景占空比的不平衡问题，另一个是可能使STDNet产生许多误报的假目标区域。本发明通过修改以上L2损失函数达到增加目标像素的权重，以及增加潜在虚警像素的权重的目的来解决这两个问题。下面以具体实施例对其解说：

(1)增加目标像素权重

在某些实施例中，目标像素的数量占整个训练集的背景像素的数量约1/600(每张训练图像的大小为128×128)。由于目标数量和背景占空比的不平衡，L2损失肯定会产生偏见，忽略小目标的重要性。一种直接的解决方法是使用加权L2损失，通过为目标分配大权重而给背景分配小权重来处理这种不平衡。因此，权重ξ_j被定义为属于不同类(目标或背景)的像素赋予的不同权重，表示为：

其中，j表示第j个像素，Bk和Ta分别表示背景和目标类，ρ₁是大于1的实数；公式2意味着应该为真实目标像素分配更大的权重，以对抗像素级不平衡问题。因此，通过将公式3引入公式2来得到加权损失函数：

其中，N和P分别表示训练图像的数量和单个图像中的像素总数，O_ij(θ)表示第i个图像中的第j个像素的输出值，Y_ij是对应于第i个真实图像中的第j个像素的值。该加权损失函数在维持高检测率方面起关键作用，因为丢失目标像素将获得更多的惩罚。

(2)增加训练集中潜在虚警像素权重

尽管已经明显考虑了不平衡问题，但仍然观察到该模型经常在背景区域产生大量残差。这与另一个问题有关，即潜在虚警像素。L2损失可能对目标施加更大的权重，但是还会存在与目标极其相似的背景区域。换句话说，正是这些区域最有可能是虚警，如果只为目标分配更大的权重，而缺乏处理潜在“假目标”的能力。如图2所示，即使真实目标(细圆圈表示)具有更高的亮度，仍有许多杂波(粗圆圈表示)与红外背景中的真实目标非常相似。

在分析了STDNet产生的假目标像素后，观察虚警像素通常与其局部周围背景具有较大的亮度差异，发现局部SCR是目标与其相邻背景之间的对比度的常用度量，它很好地表明了目标与其相邻背景之间的对比。固定窗口中的本地SCR定义为以下公式：

其中，u_t是目标的平均强度，而u_b和σ_b是目标周围局部背景的平均强度和标准方差。公式(5)的计算得到和原始图像同样大小的置信度图。为了获取不同大小的假目标，可以使用多个窗口，比如3×3、5×5一直到m×m，其中m是最大窗口的大小(m＝15)。然后用像素最大池化操作将来自不同尺度窗口的置信度图合并，得到多尺度局部SCR。

然而，如果在训练中使用较大局部SCR作为准则来挑选虚警像素，可能会遗漏背景边界和强纹理区域中部分虚警像素。原因是这些区域的像素通常具有较大的标准偏差σ_b，这相对降低了它们的局部SCR(具有较高局部SCR的像素更可能是虚警像素)。通过使用(u_t-u_b)²代替公式(5)中的分子|u_t-u_b|来增加亮度差异的作用，背景边界和强纹理区域中的虚警像素可以被提取出来。

目标虽然小，但大小也是变化的，故需要设定目标可能的最大尺寸，并均匀地在几个尺寸上重复上述过程实现局部SCR的多尺度分析。最终每个像素的SCR值定为所有尺度上的最大值，并全图归一化到[0,1]来获得最终的局部SCR图。在训练中，局部SCR值越大的背景像素越可能称为虚警，而这些虚警是模型需要重点关注的。因此，使用阈值操作来保留训练集较大局部SCR的背景像素，并进行阈值分割获得二值局部SCR图。其阈值操作定义为以下公式：

th＝w₃·Mean(O(θ))+(1-w₃)·Max(O(θ)) (6)

基于上述分析，具有高局部SCR的背景像素也应该被赋予大的权重，因此设置另一个加权系数：

其中Hs表示属于通过上述局部SCR计算得到的虚警像素集，ρ₂表示大于1的实数，该设置旨在降低虚警率。由于高检测率和低虚警率对于红外弱小目标检测同样重要，故令ρ₁＝ρ₂＝ρ，并将公式(3)和公式(7)合并，然后得到：

其中ρ根据经验设置为10。使用这个组合权重设置ξ"_j来代替公式(7)中的ξ′_j以获得最终损失函数。

步骤4、利用训练集训练STDNet模型；

利用训练集训练STDNet模型具体为将训练集分批次输入给改进的上下文聚合网络，整个训练集被访问一轮后，重新打乱整个训练集，进行下一轮，反复直至模型收敛停止训练。

在某些实施例中，每批训练集大小设为10，采用AdaGrad进行优化，STDNet从头开始训练，并随着时间增加学习率由0.01，降低到0.001，再到0.0001。STDNet网络中所有的网络权重都是从高斯分布初始化的，均值为0，标准差为0.02。整个训练过程在300,000次迭代后停止，并且局部信杂比权重图每100,000次迭代更新一次。

步骤5、模型启动和在线检测

利用真实应用场景下包含真实弱小目标的样本图像，且以低于训练阶段的学习率追加训练STDNet模型，在某些实施例中，将学习率设置为0.00001，完成模型启动。

将一幅待检测图像直接输入训练好的STDNet网络模型，经过模型的计算，获得模型的输出，即一幅与原始图像大小一样的表示弱小目标置信度的灰度图像，其中灰度值越大代表越可能是目标像素。

以公式(6)给出的阈值对模型输出图像二值化，提取二值化后的连通区域，获取每个连通区域的质心，则每个连通区域即对应一个弱小目标，该待检测图像检测完毕。

如图4所示，给出了STDNet网络模型与13种代表性方法(包括：最大中值滤波maxmedian,形态学滤波tophat,支持向量值和方向滤波器组DSVT,多尺度平面模型MFM,基于低秩稀疏分解的红外弱小目标检测CLSDM,局部对比度方法LCM,权重局部损失模型WLDM,块相似性方法PatchSim,红外块图像模型IPI,非负红外块图像模型NIPPS,基于结构张量和稀疏重加权的红外弱小目标检测方法RIPT,功能连接神经网络FCnet,前向神经网络Front)在四个序列上的对比结果，以ROC曲线给出，可以看出本发明的模型获得最高的检测性能，即能以最低的虚警率获得高检测率。如图5所示，给出了每个子集上的一幅代表图像，手工标注的标准目标图像和所有方法的检测结果，从中也可以看出本发明的方法在正确检测出目标的同时，背景部分的残差最小，即背景抑制效果最好。

Claims (5)

1.一种基于上下文聚合网络的红外弱小目标检测方法，其特征在于，包括以下步骤：

步骤1、构建STDNet模型，具体步骤为：

步骤11、选取最大膨胀因子为64的上下文聚合网络为基本骨架；

步骤12、将三个上下文网络模型逐个串联，获得的网络模型将膨胀因子以2为底的指数形式先扩大、再缩减，而后再扩大，即第一个上下文网络模型的扩张因子从1增加到64，第二个上下文网络模型的膨胀因子从64减少到1，第三个上下文网络模型的膨胀因子再次从1增加到64；获得的网络模型的每一层施加三种操作，即Conv+ABN+leaky-ReLU层，Conv指卷积运算，ABN指自适应批量归一化，leaky-ReLU指激活函数；

步骤13、在获得的模型最后增加一个输出层，所述输出层为一个1×1卷积核且它是没有任何批量标准化和激活函数的纯卷积层；

步骤14、将具有相同膨胀因子的卷积层直接连接；

步骤2、合成仿真样本构造训练集；

步骤3、根据局部信杂比设计STDNet模型的加权均方误差损失函数；

步骤4、利用训练集训练STDNet模型；

步骤5、利用真实应用场景下包含真实弱小目标的样本图像，且以低于步骤34的学习率追加训练STDNet模型；将测试样本输入训练好的STDNet模型，将STDNet模型输出的结果经过阈值化、连通区域提取、质心获取处理，完成红外弱小目标检测。

2.根据权利要求1所述的基于上下文聚合网络的红外弱小目标检测方法，其特征在于，步骤12中卷积运算的卷积核为3×3，自适应批量归一化公式为：ABN(x)＝w₁x+w₂BN(x)，其中w₁和w₂是学习的标量权重，BN(x)是批量标准化算子，ABN(x)为自适应批量；Leaky ReLU激活函数为Φ(x)＝max(0.2x,x)。

3.根据权利要求1所述的基于上下文聚合网络的红外弱小目标检测方法，其特征在于，步骤2中合成仿真样本构成训练集的步骤为：

步骤21、从自然场景红外图像中提取固定大小的图像块作为训练样本的背景图像；

步骤22、在背景图像上随机指定目标叠加位置，按预设尺寸和信杂比生成灰度分布满足二维高斯函数的目标；

步骤23、将步骤22中目标叠加在步骤21中的背景图像的指定位置上，获得仿真样本，构成训练集。

4.根据权利要求1所述的基于上下文聚合网络的红外弱小目标检测方法，其特征在于，步骤3根据局部信杂比设计STDNet模型的加权均方误差损失函数的具体步骤为：

步骤31、将目标或背景像素权重ξ_j引入L2损失函数训练模型得到加权损失函数：

其中，N和P分别表示训练图像的数量和单个图像中的像素总数，O_ij(θ)表示第i个图像中的第j个像素的输出值，Y_ij是对应于第i个真实图像中的第j个像素的值，ξ_j表示给目标或背景像素赋予的权重，即

其中，j表示第j个像素，Bk和Ta分别表示背景和目标类，ρ₁是大于1的实数；

步骤32、计算训练集中每幅图像的局部性杂比图像,利用阈值th＝w₃·Mean(O(θ))+(1-w₃)·Max(O(θ))对训练集的局部信杂比图像进行阈值分割获得二值局部信杂比图，筛选出二值局部信杂比图中1值对应的像素构成集合Hs；

步骤33、根据步骤32筛选出的像素获得新权重ξ"_j，新权重ξ"_j具体为：

其中Ta表示背景，Hs表示属于通过步骤22筛选出的像素集，ρ表示大于1的实数；

步骤34、用新权重ξ"_j代替步骤33中的权重ξ_j得到最终的损失函数。

5.根据权利要求1所述的基于上下文聚合网络的红外弱小目标检测方法，其特征在于，步骤4利用训练集训练STDNet模型具体为：将训练集分批次输入给改进的上下文聚合网络，整个训练集被访问一轮后，重新打乱整个训练集，进行第二轮，反复直至模型收敛停止训练。

Images