CN115689960A - 一种夜间场景下照度自适应的红外与可见光图像融合方法 - Google Patents

Abstract

本发明公开了一种夜间场景下照度自适应的红外与可见光图像融合方法，涉及图像处理及机器视觉技术领域，包括：采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；构建网络模型，并设计损失函数；将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。本发明可以在夜间照明不均匀的情况下得到效果更好的融合图像，并使融合图像中目标的局部边缘更加清晰。

Description

一种夜间场景下照度自适应的红外与可见光图像融合方法

技术领域

本发明涉及图像处理及机器视觉技术领域，更具体的说是涉及一种夜间场景下照度自适应的红外与可见光图像融合方法。

背景技术

图像融合将来自不同传感器的源图像进行整合，融合结果弥补了单一传感器自身的信息局限性。通常在夜间场景下存在灯光变换不定、灯光强度不均匀的情况，在这种环境下获得的可见光图像照度不均匀，对比度低，目标不清晰，视觉质量差。红外传感器特殊的成像原理使得红外图像不受灯光变化、恶劣天气的影响。因此，将红外与可见光图像进行图像融合，融合图像既能保留丰富的纹理细节，又能突出显著性目标，融合结果可以应用于目标识别、安防监控、目标跟踪等领域。然而，现有的针对夜间场景下的图像融合方法存在以下问题：融合结果受灯光影响大，目标的局部边缘模糊。

中国专利公开号为CN107481214A的“一种微光图像与红外图像融合方法”，对采集的微光图像和红外图像分别进行去噪声处理，再利用基于边缘特征的图像配准方法将去噪声后的微光图像和红外图像进行配准。使用双树复小波变换对配准后的图像进行图像融合，最后对图像进行增强处理，得到最终的融合图像。但是，该方法对于夜间照明不均匀的源图像的融合效果差，且融合图像中目标的局部边缘模糊。

因此，如何在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰是本领域技术人员亟需解决的技术问题。

发明内容

有鉴于此，本发明提供了一种夜间场景下照度自适应的红外与可见光图像融合方法，可以在夜间照明不均匀的情况下得到效果更好的融合图像，并使融合图像中目标的局部边缘更加清晰。

为了实现上述目的，本发明提供如下技术方案：

一种夜间场景下照度自适应的红外与可见光图像融合方法，包括以下步骤：

采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；

构建网络模型，并设计损失函数；

将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；

基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。

上述技术方案达到的技术效果为：可以在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰。

可选的，所述构建训练数据集，具体为：

选用夜间道路数据集MRSR和数据集M3FD，将所述夜间道路数据集MRSR和数据集M3FD中的图像进行配准预处理以获得同样尺寸大小的图像，构建训练数据集。

可选的，所述网络模型包括主干融合网络和局部照度自适应支路网络；其中：

所述主干融合网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块；所述第一卷积块用于提取源图像的浅层特征，所述第二卷积块和第三卷积块用于提取源图像的深层特征，所述第四卷积块和第五卷积块用于对两条支路的特征图进行特征融合及图像重建，得到融合图像；

所述局部照度自适应支路网络包括四个卷积层和两个全连接层，四个所述卷积层用于提取输入源图像的特征，两个所述全连接层用于输出源图像的高照度概率和低照度概率。

可选的，所述第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块均包括卷积层、激活函数、跳跃连接和拼接操作；其中：所述第一卷积块、第二卷积块、第三卷积块和第四卷积块中的激活函数均为线性整流函数，所述第五卷积块中的激活函数为双曲正切函数；

所述局部照度自适应支路网络的激活函数均为线性整流函数，所有卷积层的卷积核大小为n×n。

上述技术方案达到的技术效果为：公开了网络模型的主要结构，在主干融合网络使用的卷积模块中引入跳跃连接结构，可以缓解多次卷积后特征映射的信息丢失，保留源图像的信息；局部照度自适应支路网络可以估计可见光源图像局部区域的照度情况，促进主干融合网络的照度自适应融合，解决照度不均匀图像的融合质量差的问题。

可见的，所述设计损失函数，具体为：

基于所述局部照度自适应支路网络输出的照度概率和概率标签，构建所述局部照度自适应支路网络的损失函数；

基于所述主干融合网络输出的融合图像、图像标签以及局部照度自适应支路网络输出的照度概率，构建所述主干融合网络的损失函数。

可见的，所述局部照度自适应支路网络的损失函数为概率分类损失函数，使用可见光源图像的照度作为概率标签；所述主干融合网络的损失函数包括像素损失函数、梯度损失函数和边缘增强损失函数，使用红外与可见光源图像作为图像标签。

上述技术方案达到的技术效果为：公开了设计损失函数的主要过程，使用目标边缘增强损失函数，不仅能使显著性目标更加突出，还可以使目标的局部边缘更加清晰。

可选的，所述得到训练好的融合模型，具体包括以下步骤：

训练所述主干融合网络和局部照度自适应支路网络，在训练过程中最小化损失函数的值，直至训练次数达到预设阈值或损失函数的值稳定在预设范围内，则完成网络模型的训练，并保存网络模型的参数。

可选的，所述训练所述主干融合网络和局部照度自适应支路网络，具体为：

在所述局部照度自适应支路网络的训练过程中，使用所述训练数据集中的可见光图像作为输入；

在所述主干融合网络的训练过程中，使用所述训练数据集中的红外与可见光图像作为输入。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种夜间场景下照度自适应的红外与可见光图像融合方法，公开了网络模型的主要结构，在主干融合网络使用的卷积模块中引入跳跃连接结构，可以缓解多次卷积后特征映射的信息丢失，保留源图像的信息；局部照度自适应支路网络可以估计可见光源图像局部区域的照度情况，促进主干融合网络的照度自适应融合，解决照度不均匀图像的融合质量差的问题，可以在夜间照明不均匀的情况下得到效果更好地融合图像，并使融合图像中目标的局部边缘更加清晰；此外，使用目标边缘增强损失函数，不仅能使显著性目标更加突出，还可以使目标的局部边缘更加清晰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为夜间场景下照度自适应的红外与可见光图像融合方法的流程图；

图2为网络模型的结构示意图；

图3为第一卷积块、第二卷积块、第三卷积块和第四卷积块的具体组成图；

图4为局部照度自适应支路网络的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种夜间场景下照度自适应的红外与可见光图像融合方法，如图1所示，包括以下步骤：

1、采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；具体地，选用夜间道路数据集MRSR和数据集M3FD，将数据集中的图像进行配准预处理以获得同样尺寸大小的图像，构建训练数据集。

在本实施例中，数据集MRSR包括742组红外与可见光图像对，数据集M3FD包括560组红外与可见光图像对，将每张源图像通过剪裁得到9张大小为480×480的子图像，共计11718组训练图像。

2、构建网络模型，如图2所示，网络模型包括主干融合网络和局部照度自适应支路网络；其中：

主干融合网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块；第一卷积块用于提取源图像的浅层特征，第二卷积块和第三卷积块用于提取源图像的深层特征，第四卷积块和第五卷积块用于对两条支路的特征图进行特征融合及图像重建，得到融合图像；局部照度自适应支路网络包括四个卷积层和两个全连接层，四个卷积层用于提取输入源图像的特征，两个所述全连接层用于输出源图像的高照度概率和低照度概率。

具体地，第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块均包括卷积层、激活函数、跳跃连接和拼接操作；其中：第一卷积块、第二卷积块、第三卷积块和第四卷积块中的激活函数均为线性整流函数，第五卷积块中的激活函数为双曲正切函数；局部照度自适应支路网络的激活函数均为线性整流函数，所有卷积层的卷积核大小为n×n。

在本实施例中，第一到第四个卷积块的结构组成相同，如图3所示为卷积块的具体组成示意图，包括3层卷积层和3次激活函数，其中，3层卷积层的卷积核大小分别为1×1、3×3、3×3，步长均为1；3次激活函数均使用线性整流函数。此外，在卷积块的输入与输出之间引入跳跃连接来缓解多次卷积后特征映射的信息丢失，再将输入路径连接到一个1×1卷积层后与第三层激活函数的结果拼接。第五个卷积块只包括1层卷积层和1次激活函数，卷积层的卷积核大小为1，激活函数使用双曲正切函数。

参照图4，局部照度自适应支路网络包括四个卷积层和两个全连接层，其中，4个卷积层的卷积核大小均为3×3，激活函数均使用线性整流函数。

具体地，线性整流函数和双曲正切函数定义如下：

3、设计损失函数

基于局部照度自适应支路网络输出的照度概率和概率标签，构建局部照度自适应支路网络的损失函数；基于主干融合网络输出的融合图像、图像标签以及局部照度自适应支路网络输出的照度概率，构建主干融合网络的损失函数。

具体地，局部照度自适应支路网络的损失函数为概率分类损失函数，使用可见光源图像的照度作为概率标签；概率分类损失函数的计算公式如下：

L₁＝-zlogσ({P_High,P_Low})；

式中，z表示输入图像的照度标签，σ(x)表示softmax函数，该函数将照度概率归一化为[0，1]；P_High、P_Low分别表示高照度概率、低照度概率。高照度、低照度概率的计算公式如下：

{P_High ^N、P_Low ^N}＝F_IA(I_vi ^N)；

式中，F_IA(I_vi ^N)表示支路网络，

表示每个可见光子图像的高照度概率和低照度概率。

主干融合网络的损失函数包括像素损失函数、梯度损失函数和边缘增强损失函数，使用红外与可见光源图像作为图像标签。

其中，像素损失函数的计算公式如下：

式中，H和W分别表示图像的高度与宽度，||·||_F表示F-范数，I_f(x,y)、I_ir(x,y)、I_vi(x,y)分别表示融合图像、红外图像和可见光图像在(x,y)处的像素值。平衡权重参数α_ir和α_vi的计算公式如下：

α_vi＝P_High*10；

α_ir＝P_Low*10；

梯度损失函数的计算公式如下：

式中，

分别表示表示融合图像、红外图像和可见光图像在(x,y)处的梯度值，β_ir和β_vi为平衡权重参数，在实际应用中设置为β_ir＝β_vi＝5。

边缘增强损失函数的计算公式如下：

式中，C为Canny边缘检测算子得到的目标边缘，γ_ir和γ_vi为平衡权重参数，在实际应用中设置为γ_ir＝γ_vi＝5。Canny边缘检测算子首先对图像进行灰度化，再对图像进行高斯滤波，计算梯度幅值和梯度方向角，根据梯度方向角对梯度幅值进行非最大值抑制，最后用双阈值算法检测和连接边缘。

梯度幅值和梯度方向角的计算公式如下：

式中，G_x(x,y)和G_y(x,y)分别为图像在点(x,y)处水平和垂直方向的梯度幅值。

主干网络的总损失函数定义为：L＝L₂+L₃+L₄。

4、模型训练

将训练数据集输入网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型。具体地，训练主干融合网络和局部照度自适应支路网络，在训练过程中最小化损失函数的值，直至训练次数达到预设阈值或损失函数的值稳定在预设范围内，则完成网络模型的训练，并保存网络模型的参数。在局部照度自适应支路网络的训练过程中，使用训练数据集中的可见光图像作为输入；在主干融合网络的训练过程中，使用训练数据集中的红外与可见光图像作为输入。

在本实施例的支路网络训练过程，将每个可见光子图像作为支路网络的输入，训练迭代次数设置为100，学习率设置为10^-3，损失函数阈值设定为0.0002，当损失函数的值小于0.0002时认为支路网络训练完成。在主干网络训练过程，将红外与可见光图像对作为主干网络的输入，输入图像的批量大小设置为16，训练迭代次数设置为100，学习率设置为10^-3，损失函数阈值设定为0.0003，当损失函数的值小于0.0003时认为支路网络训练完成。

5、确定融合模型

固定主干网络的参数，确定融合模型，之后将配准好的红外与可见光图像输入到融合模型，最终输出融合图像。该方法可以在夜间照明不均匀的情况下得到效果更好的融合图像，并且融合图像中目标的局部边缘更加清晰。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，包括以下步骤：

采集夜间场景下的红外与可见光图像，并分别进行配准预处理，构建训练数据集；

构建网络模型，并设计损失函数；

将所述训练数据集输入所述网络模型中进行模型训练，直至模型收敛，保存网络模型的参数，得到训练好的融合模型；

基于所述训练好的融合模型对夜间场景下的红外与可见光图像进行融合，获得最终的融合图像。

2.根据权利要求1所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述构建训练数据集，具体为：

选用夜间道路数据集MRSR和数据集M3FD，将所述夜间道路数据集MRSR和数据集M3FD中的图像进行配准预处理以获得同样尺寸大小的图像，构建训练数据集。

3.根据权利要求1所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述网络模型包括主干融合网络和局部照度自适应支路网络；其中：

所述主干融合网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块；所述第一卷积块用于提取源图像的浅层特征，所述第二卷积块和第三卷积块用于提取源图像的深层特征，所述第四卷积块和第五卷积块用于对两条支路的特征图进行特征融合及图像重建，得到融合图像；

所述局部照度自适应支路网络包括四个卷积层和两个全连接层，四个所述卷积层用于提取输入源图像的特征，两个所述全连接层用于输出源图像的高照度概率和低照度概率。

4.根据权利要求3所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块均包括卷积层、激活函数、跳跃连接和拼接操作；其中：所述第一卷积块、第二卷积块、第三卷积块和第四卷积块中的激活函数均为线性整流函数，所述第五卷积块中的激活函数为双曲正切函数；

所述局部照度自适应支路网络的激活函数均为线性整流函数，所有卷积层的卷积核大小为n×n。

5.根据权利要求3所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述设计损失函数，具体为：

基于所述局部照度自适应支路网络输出的照度概率和概率标签，构建所述局部照度自适应支路网络的损失函数；

基于所述主干融合网络输出的融合图像、图像标签以及局部照度自适应支路网络输出的照度概率，构建所述主干融合网络的损失函数。

6.根据权利要求5所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述局部照度自适应支路网络的损失函数为概率分类损失函数，使用可见光源图像的照度作为概率标签；所述主干融合网络的损失函数包括像素损失函数、梯度损失函数和边缘增强损失函数，使用红外与可见光源图像作为图像标签。

7.根据权利要求3所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述得到训练好的融合模型，具体包括以下步骤：

训练所述主干融合网络和局部照度自适应支路网络，在训练过程中最小化损失函数的值，直至训练次数达到预设阈值或损失函数的值稳定在预设范围内，则完成网络模型的训练，并保存网络模型的参数。

8.根据权利要求7所述的一种夜间场景下照度自适应的红外与可见光图像融合方法，其特征在于，所述训练所述主干融合网络和局部照度自适应支路网络，具体为：

在所述局部照度自适应支路网络的训练过程中，使用所述训练数据集中的可见光图像作为输入；

在所述主干融合网络的训练过程中，使用所述训练数据集中的红外与可见光图像作为输入。

Images