CN110084774B - 一种增强的梯度传递和总变差最小化融合图像的方法 - Google Patents

Abstract

本发明公开了一种增强的梯度传递和总变差最小化融合图像的方法，属于图像融合领域。主要解决红外和可见光图像融合时目标和背景纹理信息不详细的问题。通过将融合图像约束为具有与红外图像、可见光图像相似的像素强度和与红外图像、可见光图像相似的梯度。我们将融合问题转化为L¹‑TV最小化问题，使用m、λ₁和λ₂三个参数控制数据保真项和正则化项之间的关系，以达到同时保持源图像中的热辐射和外观信息的效果。本发明能充分整合红外和可见光图像的目标纹理细节信息，有效保护图像细节，改善视觉效果，相比传统的融合方法极大地提高了融合图像的质量。

Description

一种增强的梯度传递和总变差最小化融合图像的方法

技术领域

本发明属于图像融合领域，涉及一种增强的梯度传递和总变差最小化融合红外和可见光图像的方法，是红外和可见光图像处理技术领域的一项融合方法，在商业和军事中有广泛地应用。

背景技术

作为图像融合领域的一个研究分支和研究重点，随着热辐射影像技术的快速发展，红外和可见光图像融合已成为当前国内外的研究热点。红外图像可以准确的提供目标物的位置细节等信息，可见光图像可以准确的提供详细的细节和背景信息。红外和可见光图像融合能有效地综合红外图像目标特征信息和可见光图像的场景细节信息，得到信息更全面的融合图像。红外和可见光成像传感器提供的互补信息，使融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别。在像素图像融合中，要解决的第一个问题是确定源图像中最重要的信息，以将获得的信息转换成可能变化最小的融合图像，尤其是失真或丢失。为了解决这个问题，过去几十年提出了许多方法，包括基于金字塔的方法，小波变换，曲波变换，多分辨率奇异值分解，引导滤波，多焦，稀疏表示等。逐像素地对源图像求平均是最简单的策略。然而，这种直接方法产生许多不希望的效果，例如对比度降低。为了解决这个问题，已经提出了基于多尺度变换的方法，其涉及三个基本步骤：首先将源图像分解成具有低频和高频信息的多尺度表示；然后根据一些融合规则融合多尺度表示；复合多尺度系数的逆变换最终用于构成融合图像。基于多尺度变换的方法能够提供更好的性能，因为它们与人类视觉***一致，而真实世界的物体通常由不同尺度的结构组成。这些方法的例子包括拉普拉斯金字塔，离散小波变换，非子采样轮廓波变换等。基于多尺度变换的方法在许多情况下取得了巨大成功；但是，它们对不同的源图像使用相同的表示，并尝试保留相同的显着特征例如源图像中的边和线。对于红外和可见光图像融合的问题，红外图像中的热辐射信息由像素强度表征，并且目标通常具有比背景更大的强度，因此可以容易地检测到；而可见图像中的纹理信息主要由梯度表征，而具有大幅度的梯度(例如边缘)提供场景的细节信息。因此，在融合过程中对这两种类型的图像使用相同的表示是不合适的。相反，为了尽可能地保留重要信息，期望融合图像以保持红外图像中的主要强度分布和可见图像中的梯度变化。

最初的去除加性噪声的变分模型，该模型中总共分成正则化项和数据保真项，正则化项是起到抑制噪声的作用，数据保真项是保持去噪后图像与观测图像的相似性，保持图像的边缘特征。后来又提出了基于梯度传递和总变差最小化红外和可见图像融合，简称梯度传递融合(GTF)。将融合表示为优化问题，其中目标函数由数据保真度项和正则化项组成。数据保真度项约束融合图像应具有与给定红外图像相似的像素强度，而正则化项确保可见图像中的梯度分布可以传递到融合图像中，L¹范数用于促进梯度的稀疏性，然后可以通过现有的L¹-TV最小化技术来解决优化问题。在GTF中，它虽然能较好地捕捉背景信息，但目标不够突出，融合图像对比度较低。为此，本发明提出了一种改进的算法梯度传递和总变差最小化融合红外和可见光图像方法。它同时保留了红外和可见光图像的梯度和像素强度，并且引入了三个参数来适当的调节正则化项与保真项之间的关系，从而得到更好的融合效果

为了提高融合图像的性能，融合规则的选取同样至关重要。本发明中选用基于梯度传递和总变差最小化的融合规则，更好地保持了图像的梯度和像素强度，通过同时保留红外和可见光图像的梯度和像素强度，使得融合的图像目标更加精确，背景细节清晰，提高了融合图像的质量。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种增强的梯度传递和总变差最小化融合红外和可见光图像方法，解决已有的红外和可见光图像融合方法所得融合图像目标细节丢失和背景纹理不清晰的问题，并充分整合不同模态红外和可见光图像的结构信息和功能信息，有效保护图像细节，增强图像细节、纹理和边缘轮廓，改善其视觉效果，提高融合图像的质量。

本发明解决其技术问题所采用的技术方案如下：

一种增强的梯度传递和总变差最小化融合图像的方法，步骤如下：

(1)对待融合的红外图像和可见光图像进行梯度转移变换，得到相应的梯度和像素强度；

(2)建立数据保真项和正则化项，其中数据保真项用于约束融合图像应具有与给定红外图像和可见光图像相近的像素强度，而正则化项用于确保红外图像和可见光图像中的梯度分布能够传递到融合图像中；

(2.1)数据保真项

其中，x表示融合图像；ε₁(x)表示融合图像的保真项；p表示保真项的范数；u表示红外图像；v表示可见光图像；其中x、u和v图像的大小均为a×b；红外图像通常是以像素强度为特征的，同样的在可见光图像中目标与背景之间也存在着像素强度差异。由于目标和背景之间的像素强度差异，目标通常在红外图像中清晰可见，并且在一些可见光图像中目标物的纹理也十分的清晰。所以数据保真项是以像素强度为特征的，以免丢失一些像素强度信息。

(2.2)正则化项

其中，ε₂(x)表示融合图像的正则化项；q表示正则化项的范数；

表示融合图像的梯度；

表示可见光图像的梯度；

表示红外图像的梯度；在保真项中可以看出保留了目标与背景的像素强度分布，而对于目标与场景详细的外观信息基本上是以图像的梯度为特征的，因此正则化项是以像素梯度为目标的，以增强目标与背景在视觉形态上完整描绘，使得融合图像具有更多详细的外观信息。

(3)结合公式(I)和(II)将融合问题表述为初始目标函数：

其中，ε(x)表示目标函数；m、λ₁和λ₂是用来调节x与u、v之间权衡的参数。在第一、二项约束融合图像x以具有与红外图像u、可见光图像v相似的像素强度的情况下，第三、四项要求融合图像x和红外图像u、可见光图像v具有相似的梯度，m、λ₁和λ₂是用来调节x与u、v之间权衡的参数，目标函数(III)目的是使得融合的图像看起来更偏向于视觉形态，外观细节纹理清晰，目标能够突出且细节信息也不会丢失，它呈现出具有目标突出纹理清晰的同时保留并增强背景细节信息作用的图像。

(4)使用总变差最小化进行优化

对于公式(III)中p、q范数，在我们的问题中我们希望保留红外图像的热辐射信息和可见光图像中的像素强度比较高的信息，所以p＝1，同样为了促进梯度的稀疏性，用L¹范数最小化梯度差异，即q＝1，对于尺寸为a×b的图像，我们用y∈R^ab×1表示其像素强度的列矢量形式，其具有范围从0到255的灰度值。令y＝x-v即x＝y+v，优化(III)可以改写为：

其中，y表示融合图像x与可见光图像v的差值；T(y)表示最小化能量泛函；

对于每个

表示图像梯度

在像素i与

和

分别对应于水平和垂直一阶差，即

和

其中r(i)和b(i)代表右边和像素i下面的最近邻居。此外，如果像素i位于最后一行或列中，则r(i)和b(i)都被设置为i。目标函数(IV)是凸的，因此具有全局最优解，算法通过调节m、λ₁和λ₂的值使得保真项和正则化项达到合适的点，这样融合得到的图像可以保留两幅源图像的热辐射信息和清晰的外观纹理信息。

(5)利用广义全变差泛函最小化方法求解T(y)：问题(IV)是标准的L¹-TV最小化问题，其解法的思路是将公式(IV)分解成保真项和正则化项两个部分进行分步求解，最后将两项结合在一起得到如下公式：

其中：第一项是保真项，第二、三项是正则化项，C(y^(k))是一常数，

和

分别表示保真项和正则化项的迭代函数；y^(k)表示y对迭代k次；

(6)对于公式(V)需要通过现有的L¹-TV最小化优化迭代来计算T(y)，即：循环k＝0，1，...；当T^(k)(y)满足收敛条件则迭代结束，否则k＝k+1回到(5)；

(7)通过下式确定融合图像x^*的全局最优解：x^*＝T(y)+v，最后得到最终的融合图像x^*。

本发明的有益效果：

1、本发明采用基于增强的梯度传递和总变差最小化融合红外和可见光图像方法，在空间域上的融合，能够同时保留两幅源图像的梯度和像素强度，能够充分的融合源图像的纹理、轮廓等细节特征，使融合的图像清晰度更高，信息量更丰富，质量更好。

2、本发明的红外和可见光图像融合方法使用三个参数来调节融合的图像与源图像的比例关系，可以根据需求调试出需要的融合效果图，具有结构灵活、计算复杂度低的优点，因此，更能满足大众需求。

附图说明

图1(a)是本发明在参数m＝0，λ₁＝4，λ₂＝0的融合图像。

图1(b)是GTF发明在参数λ＝4的融合图像。

图1(c)是本发明在参数m＝4，λ₁＝4，λ₂＝0的融合图像。

图2(a)是本发明在不同源图像中保持参数m＝0，λ₁＝4不变情况下，λ₂的值从0到40步长为4递增的融合图像SSIM指标的显示结果。

图2(b)是本发明在不同源图像中保持参数λ₁＝4，λ₂＝0不变情况下，m的值从0到40步长为4递增的融合图像SSIM指标的显示结果。

图3是本发明在不同源图像中保持参数m＝0，λ₁＝4不变情况下，λ₂的值从0到40步长为4递增的主观融合图像结果显示。其中，(a-1)至(a-5)分别表示当λ₂＝0，8，12，16，20时，对应主观的Bunker融合图像；(b-1)至(b-5)分别表示当λ₂＝0，8，12，16，20时，对应主观的Lake融合图像；(c-1)至(c-5)分别表示当λ₂＝0，8，12，16，20时，对应主观的Tank融合图像。

图4是本发明在不同源图像中保持参数λ₁＝4，λ₂＝0不变情况下，m的值从0到40步长为4递增的主观融合图像结果显示。其中，(a-1)至(a-5)分别表示当m＝0，4，8，16，40时，对应主观的Bunker融合图像；(b-1)至(b-5)分别表示当m＝0，4，8，16，40时，对应主观的Lake融合图像；(c-1)至(c-5)分别表示当m＝0，4，8，16，40时，对应主观的Tank融合图像。

图5是本发明对6幅不同源图像的融合结果示意图，(a-1)至(f-1)为Bunker，Lake，oneman in front of hous，Sandpath，NATO-camp和Tank的可见光图像；(a-2)至(f-2)为Bunker，Lake，one man in front of hous，Sandpath，NATO-camp和Tank的红外图像；从第3行开始到第11行，是采用不同融合方法对每对可见光/红外图像进行融合的结果图，融合方法从上至下依次为：本发明方法的融合图像、基于GTF的融合图像、基于LP的融合图像、基于RP的融合图像、基于Wavelet的融合图像、基于DTCWT的融合图像、基于CVT的融合图像、基于MSVD的融合图像和基于LP-SR的融合图像。

图6是本发明的融合图像在MI指标的定量比较结果。其中，每幅图像所用的融合方法从左到右依次为：LP、RP、Wavelet、DTCWT、CVT、MSVD、LP-SR、GTF、本方法。

图7是本发明的融合图像在EN指标的定量比较结果。其中，每幅图像所用的融合方法从左到右依次为：LP、RP、Wavelet、DTCWT、CVT、MSVD、LP-SR、GTF、本方法。

图8是本发明的融合图像在Yang指标的定量比较结果。其中，每幅图像所用的融合方法从左到右依次为：LP、RP、Wavelet、DTCWT、CVT、MSVD、LP-SR、GTF、本方法。

图9是本发明的融合图像在Chen指标的定量比较结果。其中，每幅图像所用的融合方法从左到右依次为：LP、RP、Wavelet、DTCWT、CVT、MSVD、LP-SR、GTF、本方法。

图10是本发明方法的流程图。

具体实施方式

下面对本发明的一个实施例(红外和可见光图像)结合附图作详细说明，本实施例在以本发明技术方案为前提下进行，详细的实施方式和具体的操作步骤如下：

步骤1：对于公式(III)我们设置参数m、λ₂等于0，就可以将公式转换成如下格式：

对于公式(VI)令λ₁＝4对图像进行融合得到的融合图像如图1(a)所示；接着我们在原始的GTF模型中，令λ＝4得到的融合图像如图1(b)所示；

步骤2：同样的对于公式(III)我们设置m＝4，λ₁＝4，λ₂＝0得到的融合图像如图1(c)所示；

步骤3：我们用来验证公式(III)中λ₂的作用，先设定m＝0，λ₁＝4，然后调节λ₂的值从0到40步长为4逐渐递增，对6幅源图像(分别是Bunker，Lake，one man in front ofhous，Sandpath，NATO-camp和Tank)进行融合得到的融合结果，用SSIM客观指标对其进行评价，显示的结果是随着λ₂的值增加指标逐渐接近1但永远不会等于1如图2(a)所示，这与所操作的融合目的相一致，其中选取了λ₂＝0，8，12，16，20对应主观的融合图像，结果如图3所示。

步骤4：我们用来验证公式(III)中m的作用，先设定λ₁＝4，λ₂＝0然后调节m的值从0到40步长为4逐渐递增，对6幅源图像(分别是Bunker，Lake，one man in front of hous，Sandpath，NATO-camp和Tank)进行融合得到的融合结果，用SSIM客观指标对其进行评价，显示的结果是随着m的值增加指标逐渐接近1但永远不会等于1，如图2(b)所示，这与所操作的融合目的相一致，其中选取了m＝0，4，8，16，40对应主观的融合图像，结果如图4所示。

仿真实验：

为了验证本发明的可行性和有效性，采用对6组红外和可见光图像，如图5第一行和第二行所示，根据本发明方法进行融合实验。

综上所述，通过图5的融合结果比较可以看出：本发明方法所得融合图像最大程度地忠于原始信息，更好地保持了待融合图像中的目标物、纹理等特征，有效避免了目标纹理和背景像素强度的丢失，因而图像的对比度和清晰度更高，细节更突出，主观视觉效果最好，即融合结果更理想。

图6、图7、图8和图9给出了采用各种融合方法所得融合结果的客观评价指标。其中，柱状图显示的越高代表此源图像在图像融合方法所得评价指标取值最优。在其中有几幅图像在本方法中客观评价指标并不是最高的，这是因为源图像中红外图像梯度和可见光图像像素强度比较弱就会导致融合的得到的图像客观评价指标不如其它的融合方法。

由图6、图7、图8和图9数据可知，本发明方法所获得的融合图像在互信息(MI)、信息熵(EN)、Yang、Chen等客观评价指标上要优于其它融合方法。MI反映融合算法获得的融合图像与融合图像之间的互信息越大，融合图像与融合图像之间的相关性越高，融合图像的效果就越高。熵值反映了图像携带信息量的多少，熵值越大，说明包含的信息量越多，融合效果越好；Yang基于相似度的图像融合质量度量；Chen指标是利用对比敏感度函数类视觉***对图像空间频率的感知程度来进行测试的。该方法首先将图片进行分块，然后计算区域的显著度。

Claims (1)

1.一种增强的梯度传递和总变差最小化融合图像的方法，其特征在于，步骤如下：

(1)对待融合的红外图像和可见光图像进行梯度转移变换，得到相应的梯度和像素强度；

(2)建立数据保真项和正则化项，其中数据保真项用于约束融合图像应具有与给定红外图像和可见光图像相近的像素强度，而正则化项用于确保红外图像和可见光图像中的梯度分布能够传递到融合图像中；

(2.1)建立数据保真项

其中，x表示融合图像；ε₁(x)表示融合图像的保真项；p表示保真项的范数；u表示红外图像；v表示可见光图像；其中x、u和v图像的大小均为a×b；

(2.2)建立正则化项

其中，ε₂(x)表示融合图像的正则化项；q表示正则化项的范数；

表示融合图像的梯度；

表示可见光图像的梯度；

表示红外图像的梯度；

(3)将数据保真项与正则化项相结合，得到初始的目标函数

其中，e(x)表示目标函数；m、λ₁和λ₂是用来调节x与u、v之间权衡的参数；

(4)对于尺寸为a×b的图像，用y∈R^ab×1表示其像素强度的列矢量形式，其具有范围从0到255的灰度值；令p＝1，q＝1，令y＝x-v即x＝y+v，给定初始允许误差ε＞0，将融合问题转化为优化最小能量泛函模型：

其中，y表示融合图像x与可见光图像v的差值；T(y)表示最小化能量泛函；

其中(x₁，x₂)∈R²；i表示像素；

其中

表示像素i的梯度，

和

分别对应于像素i的水平和垂直一阶差，即

和

r(i)和b(i)代表像素i右边和下面的最近邻居，当像素i位于最后一行或最后一列中时，则r(i)和b(i)都被设置为i；

由于目标函数(IV)是凸的，因此具有全局最优解，通过调节目标函数(IV)中m、λ₁和λ₂的值，使得保真项和正则化项达到合适的点，融合得到的图像能够保留两幅源图像的热辐射信息和清晰的外观纹理信息；

(5)利用广义全变差泛函最小化方法求解T(y)：

将公式(IV)分解成保真项和正则化项两个部分进行分步求解，最后将两项结合在一起得到如下公式：

其中，第一项

是保真项，第二项

和第三项

是正则化项，c(y^(k))是常数，

和

分别表示保真项和正则化项的迭代函数；y^(k)表示对y迭代k次；

(6)对于公式(V)需要通过现有的L¹-TV最小化优化迭代来计算T(y)，即：循环k＝0，1，…；当T^(k)(y)满足收敛条件则迭代结束，否则k＝k+1回到(5)；

(7)通过公式x^*＝T(y)+v，确定融合图像x^*的全局最优解，最后得到最终的融合图像x^*。

Images