CN109360179B - 一种图像融合方法、装置及可读存储介质 - Google Patents

Abstract

本发明公开了一种图像融合方法、装置及可读存储介质，应用于图像处理技术领域，图像融合方法包括：首先得到配准后的第一图像和第二图像；经过卷积神经网络训练后分类输出第一得分图和第二得分图；对第一得分图和第二得分图的对应像素进行比较，得到二值图；得到第一融合图像；计算第一结构相似度图，以及计算第二结构相似度图；获得第一结构相似度图和第二结构相似度图的差异图；基于差异图、第一图像和第二图像，得到第二融合图像。应用本发明实施例，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积神经网络作为深度学习的算法，可以自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷。

Description

一种图像融合方法、装置及可读存储介质

技术领域

本发明涉及人图像融合技术领域，尤其涉及一种图像融合方法、装置及可读存储介质。

背景技术

红外传感器对目标区域的红外热特征敏感，它可以昼夜工作并克服光照的困难来发现目标，但是其往往缺乏丰富的细节信息，背景模糊；而可见光图像包含更为丰富的纹理特征和细节信息，但其成像条件对光照的要求较高。若将红外图像与可见光图像的互补信息进行有效融合，获得的融合图像信息更丰富、鲁棒性更强，为后续的图像分割、检测、识别奠定了良好的基础。因此红外和可见光图像融合技术被广泛应用于军事和安全监控领域。

图像融合分为：像素级、特征级和决策级。像素级的图像融合最为基础且融合的图像信息更丰富。基于多尺度变换(MST)和稀疏表示(SR)的图像融合方法是像素级图像融合方法中最普遍的方法，该类方法中图像特征提取器是需要手动设计的，运算效率低；同时提取到的单一的图像特征并非能很好的应用于各类复杂的图像环境，容易在灰度均匀的区域误判。

发明内容

本发明实施例的目的在于提供一种图像融合方法、装置及可读存储介质，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积神经网络作为深度学习的算法，可以自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷。具体技术方案如下：

为达到上述目的，本发明实施例提供了一种图像融合方法，包括：

对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；

基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；

计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得所述第一结构相似度图和所述第二结构相似度图的差异图；

基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。

一种实现方式中，所述对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图的步骤，包括：

针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；

如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。

一种实现方式中，所述第一融合图像的具体表达公式为：

F₁(x,y)＝D₁(x,y)A(x,y)+(1-D₁(x,y)B(x,y))

其中，D₁为二值图，A为第一图像，B为第二图像，F₁为第一融合图像，x、y为构成像素点的坐标值。

一种实现方式中，所述获得所述第一结构相似度图和所述第二结构相似度图的差异图的步骤，包括：

获得所述第一结构相似度图和所述第二结构相似度图的差值；

将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图。

一种实现方式中，所述基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像的步骤包括：

基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；

根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像。

一种实现方式中，所述第二融合图像的具体表达公式为：

F₂(x,y)＝D₂(x,y)A(x,y)+(1-D₂(x,y)B(x,y))

其中，D₂为目标特征提取图像，A为第一图像，B为第二图像，x、y为构成像素点的坐标值，F₂为第二融合图像。

将该二值图当作决策图，采用加权融合规则得到初次融合图像，最后使用SSIM提取出目标区域的显著图，再次融合，得到最终的融合图像；

一种实现方式中，所述卷积神经网络的训练步骤，包括：

从第一图像集抽取尺寸为32×32的第一数量张原始图像，并加入第二图像集中的第二数量张可见光图像；

将所述原始图像和所述可见光图像转换成灰度图，并将以上灰度图像切分成16×16的子块，作为高分辨率图像集；

对所述第一图像集中的第一数量张原始图像进行高斯模糊处理，并加入第二图像集中的第二数量的红外光图像，再将所述第一数量张原始图像和所述第二数量红外光图像均切分成16×16的子块，作为模糊图像集。

将卷积神经网络结构在制作好的模糊图像集和高分辨率图像集上进行训练。

一种实现方式中，所述卷积神经网络,为双通道网络，每一个通道都由5层的卷积神经网络构成，包括3个卷积层，1个最大池化层，以及1个全连接层，最后的输出层是1个softmax分类器。

此外，本发明实施例还提供了一种图像融合装置，包括：

配准模块，用于对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

分类模块，用于将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

比较模块，用于对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；

第一融合模块，用于基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；

计算模块，用于计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得模块，用于获得所述第一结构相似度图和所述第二结构相似度图的差异图；

第二融合模块，用于基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。

以及，提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项图像融合方法的步骤。

应用本发明实施例提供的一种图像融合方法、装置及可读存储介质，通过卷积神经网络得到红外与可见光图像的融合图像，自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷。针对二元分割并没有完全将目标区域与背景区域准确分割，从而导致后期的融合图像出现了阴影的情况，根据红外和可见光源图像与初始融合图像的结构相似性的差异来获得显著性目标区域图，采取二次融合步骤来改善融合图像质量，基于显著性的融合方法可以保持突出目标区域的完整性，并提高融合图像的视觉质量，从而能更好的服务于后续的图像理解与识别等。

附图说明

图1为本发明实施例提供的图像融合方法的流程示意图；

图2是本发明实施例提供的第一种效果示意图；

图3是本发明实施例提供的第二种效果示意图；

图4是本发明实施例提供的第三种效果示意图；

图5是本发明实施例提供的第四种效果示意图；

图6是本发明实施例提供的第五种效果示意图；

图7是本发明实施例提供的第六种效果示意图；

图8是本发明实施例提供的第七种效果示意图；

图9是本发明实施例提供的第八种效果示意图；

图10是本发明实施例提供的第九种效果示意图；

图11是本发明实施例提供的第十种效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在图像处理技术中，红外图像中具有目标的热辐射效应较大，与可见光图像灰度差异较大甚至相反；红外图像背景灰度不具有明显的热感效应对比度低，与可见光图像相比，缺乏光谱信息，但是同样包含细节信息。因此，在对图像进行融合时只有更多的去保留原图像的信息才能进一步的提高融合效果。

参见图1，本发明实施例提供了一种图像融合方法，包括如下步骤：

S101，对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像。

需要说明的是，几何配准是指将不同时间、不同波段、不同遥感器***所获得的同一地区的图像(数据)，经几何变换使同名像点在位置上和方位上完全叠合的操作。具体的几何配准过程为现有技术，本发明实施例在此不做赘述。

可以理解的是，滑动窗口是在图像处理中常用到的图像处理工具，具体的，滑动窗口的大小可以为3*3、5*5或者是16*16等，本发明实施例在此不做具体限定。

示例性的，以第一图像为例，16*16的滑动窗口可以从左上角的第一个像素点开始，将其作为16*16滑动窗口的第一个中心像素点，然后依次移动该16*16滑动窗口。所以第一图像中的任意一个像素点均有作为中心像素点的机会，那么依次类推，对于第二图像也是如此，所以按照这种原则，可以计算第一图像中的任意一个中心像素点，与第二图像中对应中心像素点的结构相似度。

定义滑窗尺寸为16×16，步长为1，输入的已配准的红外图像与可见光图像，分别在红外图像与可见光图像做从左到右，从上到下的滑动操作，得到红外图像子块第一图像，如图2所示；可见光图像子块第二图像，如图3所示。

S102，将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图。

需要说明的是，在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，包括卷积层和池化层。

一种实现方式中，所述卷积神经网络的训练步骤，包括：从第一图像集抽取尺寸为32×32的第一数量张原始图像，并加入第二图像集中的第二数量张可见光图像；将所述原始图像和所述可见光图像转换成灰度图，并将以上灰度图像切分成16×16的子块，作为高分辨率图像集；对所述第一图像集中的第一数量张原始图像进行高斯模糊处理，并加入第二图像集中的第二数量的红外光图像，再将所述第一数量张原始图像和所述第二数量红外光图像均切分成16×16的子块，作为模糊图像集。

示例性的，从Cifar-10图像集抽取尺寸为32×32的2000张原始的清晰图像，并加入TNO_Image_Fusion_Datase图像集中的200张可见光图像，然后转换成灰度图并将图像全部切分成16×16的子块，作为高分辨率图像集；其次对来自Cifar-10图像子块全部进行高斯模糊处理(由于红外光图像背景区域较可见光图像分辨率低)，并加入TNO_Image_Fusion_Datase图像集中的200张红外光图像(全部切成16×16的子块)，作为模糊图像集。

采用双通道网络，每一个通道都由5层的卷积神经网络构成，包括3个卷积层，1个最大池化层，以及1个全连接层，最后的输出层是1个softmax分类器。输入图像块大小为16×16，卷积层的卷积核尺寸设为3×3，步长设为1；最大池化层卷积核尺寸2×2，步长为2，激活函数为Relu。动量和权重衰减分别设为0.9和0.0005，学习率为0.0001。

可以理解的是，将所述第一图像输入到训练好的卷积神经网络中，经过所述卷积神经网络对第一图像中的每一个像素点进行训练，得到对每一个像素点的得分，从而在对第一图像中的所有像素点进行训练后得到所有像素点的得分，从而得到训练后的第一得分图S_A，同理，可以获得第二图像对应的第二得分图S_B。具体过程参见图4所示，在卷积神经网络经过两次卷积、最大池化、卷积和全连接后输出训练后的图像。

S103，对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图。

具体的，针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。

对于二值图T，将第一得分图和第二得分图进行逐个像素比较，若任意一个像素点，位置为(m，n)，其值为S_A的像素点值大于S_B的对应像素点值，则该像素点在二值图对应的位置(m，n)处值为1，反之，则该像素点在二值图对应的位置得0，如下公式所示，示例性的，基于图2和图3，在通过图4所示的神经网络后得到的二值图如图5所示。

这样就得到了一张目标区域与背景区域的二值图，其中，白色区域表示红外图像的目标区域，黑色区域即为背景区域，该二值图可作为图像融合的决策图。

S104，基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像。

将第一图像与第二图像根据二值图进行加权可得初次融合结果，初次融合的目的是将红外图像的目标区域与高分辨率的可见光图像的背景区域整合到一张图像，基于图2、图3和图5得到如图6所示的第一融合图像。

一种实现方式中，所述第一融合图像的具体表达公式为：

F₁(x,y)＝D₁(x,y)A(x,y)+(1-D₁(x,y)B(x,y))

其中，D₁为二值图，A为第一图像，B为第二图像，F₁为第一融合图像，x、y为构成像素点的坐标值。

S105，计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图。

红外图像与可见光图像像素间存在很强的关联性，这些关联性之中存在着大量的结构信息，图像结构相似度SSIM(structural similarity index)是一种用来评估图像质量的指标。从图像构成的角度来看，结构相似度指数将结构信息定义为亮度和对比度，以此来反映图像中物体的结构性。对于两幅图像C和D，则两幅图像的相似测量函数定义为：

其中，μ_a，μ_b是图像C和D的平均灰度，σ_a，μ_b是图像C和D的标准差，σ_ab是图像C和D的协方差，C₁，C₂，C₃是极小的正常数，目的是避免分母接近0时造成的不稳定。α，β，γ＞0，是用来调整亮度、对比度、结构函数的权重。

因此，计算第一图像A与第一融合图像F₁的第一结构相似度图S_AF，示例性的，基于图2和图6得到如图7所示的第一结构相似度图，计算第二图像B与第一融合图像F₁的第二结构相似度图S_BF，基于图3和图6得到如图8所示的第二结构相似度图。

S106，获得所述第一结构相似度图和所述第二结构相似度图的差异图。

一种实现方式中，所述获得所述第一结构相似度图和所述第二结构相似度图的差异图的步骤，包括：获得所述第一结构相似度图和所述第二结构相似度图的差值；将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图。具体的，第一结构相似度图和第二结构相似度图差异图为：

S＝|S_AF-S_BF|

其中，第一结构相似度图S_AF，第二结构相似度图S_BF，S为差异图，示例性的，基于图7和图8得到的差异图如图9所示。

S107，基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。

由于初次融合得到的第一融合图像并没有完全将目标区域与背景区域准确分割，导致后期的融合图像出现了阴影，因此采取二次融合步骤来改善融合图像质量。

一种实现方式中，所述基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像的步骤包括：基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像。

示例性的，基于图9所示的差异图，得到如图10所示的目标特征提取图像。

一种实现方式中，所述第二融合图像的具体表达公式为：

F₂(x,y)＝D₂(x,y)A(x,y)+(1-D₂(x,y)B(x,y))

其中，D₂为目标特征提取图像，A为第一图像，B为第二图像，x、y为构成像素点的坐标值，F₂为第二融合图像。

将二次融合看作是基于显著性目标提取的红外图像与可见光图像融合。差异图S包含了红外图像的显著性区域。采用形态学图像处理方法，去除差异图中与目标无关的区域，得到目标特征提取图，可以理解的是目标区域即为由红外传感器提取到的目标人物的红外图，因此，增强了目标区域的显著性，从而可以改善融合图像中保留的细节信息，如图11所示，基于图10和图2、图3获得的第二融合图像。

采用二元分割的思想，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积神经网络作为深度学习的算法，可以自动选择图像特征，改善特征提取的单一性，避免了现有红外图像与可见光图像融合方法的缺陷(多数需要手动设计提取特征且特征提取单一、容易丢失)。其次，针对二元分割并没有完全将目标区域与背景区域准确分割，从而导致后期的融合图像出现了阴影的情况，根据红外和可见光源图像与初始融合图像的结构相似性的差异来获得显著性目标区域图，采取二次融合步骤来改善融合图像质量，基于显著性的融合方法可以保持突出目标区域的完整性，并提高融合图像的视觉质量，从而能更好的服务于后续的图像理解与识别等。

此外，本发明实施例还提供了一种图像融合装置，包括：

配准模块，用于对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

分类模块，用于将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

比较模块，用于对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；

第一融合模块，用于基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；

计算模块，用于计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得模块，用于获得所述第一结构相似度图和所述第二结构相似度图的差异图；

第二融合模块，用于基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。

以及，提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项图像融合方法的步骤。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种图像融合方法，其特征在于，包括：

对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像，所述第一融合图像的具体表达公式为：F1(x,y)＝D1(x,y)A(x,y)+(1-D1(x,y)B(x,y))

其中，D1为二值图，A为第一图像，B为第二图像，F1为第一融合图像，x、y为构成像素点的坐标值；

计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得所述第一结构相似度图和所述第二结构相似度图的差异图；基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像；

所述获得所述第一结构相似度图和所述第二结构相似度图的差异图的步骤，包括：

获得所述第一结构相似度图和所述第二结构相似度图的差值；

将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图；

所述基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像的步骤包括：

基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；

根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像；

所述第二融合图像的具体表达公式为：F2(x,y)＝D2(x,y)A(x,y)+(1-D2(x,y)B(x,y))

其中，D2为目标特征提取图像，A为第一图像，B为第二图像，x、y为构成像素点的坐标值，F2为第二融合图像。

2.根据权利要求1所述的一种图像融合方法，其特征在于，所述对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图的步骤，包括：

针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；

如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。

3.根据权利要求1所述的一种图像融合方法，其特征在于，所述卷积神经网络的训练步骤，包括：

从第一图像集抽取尺寸为32×32的第一数量张原始图像，并加入第二图像集中的第二数量张可见光图像；

将所述原始图像和所述可见光图像转换成灰度图，并将以上灰度图像切分成16×16的子块，作为高分辨率图像集；

对所述第一图像集中的第一数量张原始图像进行高斯模糊处理，并加入第二图像集中的第二数量的红外光图像，再将所述第一数量张原始图像和所述第二数量红外光图像均切分成16×16的子块，作为模糊图像集。

4.根据权利要求1或3所述的一种图像融合方法，其特征在于，所述卷积神经网络,为双通道网络，每一个通道都由5层的卷积神经网络构成，包括3个卷积层，1个最大池化层，以及1个全连接层，最后的输出层是1个softmax分类器。

5.一种图像融合装置，其特征在于，包括：

配准模块，用于对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；

分类模块，用于将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；

比较模块，用于对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；

第一融合模块，用于基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像，所述第一融合图像的具体表达公式为：F1(x,y)＝D1(x,y)A(x,y)+(1-D1(x,y)B(x,y))

其中，D1为二值图，A为第一图像，B为第二图像，F1为第一融合图像，x、y为构成像素点的坐标值；

计算模块，用于计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；

获得模块，用于获得所述第一结构相似度图和所述第二结构相似度图的差异图；

第二融合模块，用于基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像；

所述获得模块具体用于：获得所述第一结构相似度图和所述第二结构相似度图的差值；将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图；

所述第二融合模块具体用于：基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像；所述第二融合图像的具体表达公式为：

F2(x,y)＝D2(x,y)A(x,y)+(1-D2(x,y)B(x,y))

其中，D2为目标特征提取图像，A为第一图像，B为第二图像，x、y为构成像素点的坐标值，F2为第二融合图像。

6.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述的图像融合方法的步骤。

Images