CN107240096A

CN107240096A - 一种红外与可见光图像融合质量评价方法

Info

Publication number: CN107240096A
Application number: CN201710405190.9A
Authority: CN
Inventors: 朱亚辉
Original assignee: Shaanxi Xueqian Normal University
Current assignee: Shaanxi Xueqian Normal University
Priority date: 2017-06-01
Filing date: 2017-06-01
Publication date: 2017-10-10

Abstract

本发明公开了一种红外与可见光图像融合质量评价方法，所述方法包括以下步骤：获取红外源图像、可见光源图像及融合图像；应用融合图像的梯度幅度信息熵计算其全局细节特征指标；采用频率域的显著区域提取法将红外源图像划分为目标区域和背景区域，并将划分结果映射到融合图像；分别计算红外图像目标区域与融合图像目标区域间的边缘结构相似度和融合图像目标与背景间的对比度，并将它们求和得到融合图像局部目标特征指标；最后将融合图像全局细节特征指标和局部目标特征指标加权求和，得到红外与可见光图像融合质量评价指标。本发明既可以评价融合图像的全局细节特征和局部目标特征，也可以评价融合图像的整体特征，兼顾了实际评价过程中的通用性和特殊性要求，与主观评价具有较高的一致性。

Description

一种红外与可见光图像融合质量评价方法

技术领域

本发明涉及图像融合质量评价领域，尤其涉及一种红外与可见光图像融合质量评价方法。

背景技术

红外与可见光图像融合是图像融合的重要分支，也是目前图像融合研究的重点。红外传感器是通过热辐射成像，有利于突出场景中的目标区域，但不能很好地表征场景细节特征；可见光传感器通过物体反射成像，能够提供目标所在场景的细节信息。因此，红外与可见光图像融合不仅具有良好的红外图像的目标特征，而且还能很好地保留可见光图像的细节信息。相对于发展迅速的图像融合技术，融合图像质量评价发展相对缓慢。图像融合质量评价不仅可以比较融合方法性能优劣，还可以作为指导融合方法改进的依据。因此，红外与可见光图像融合质量评价方法对后续融合图像的应用至关重要。

经过对现有技术的检索发现，中国专利文献号CN103049893A，公开日2013.04.17，公开了一种图像融合质量评价的方法及装置，包括以下步骤：步骤1)获取各源图像及所述源图像的融合图像；步骤2) 对各源图像采用模糊聚类方法进行分割得到分割图像，并将各分割图像合并为一个总的分割图；步骤3) 获取各源图像的视觉方差显著图，根据视觉方差显著图计算权值图，并根据视觉方差显著图和总的分割图计算源图像和融合图像各区域的显著系数；步骤4)根据总的分割图、权值图和显著系数，计算各个区域上融合图像与源图像的加权结构相似度；步骤5)将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。

中国专利文献号CN104008543A，公开日2014.08.27，公开了一种图像融合质量评价方法，包括以下步骤：步骤1)获取源图像：要求源图像时间上同步、空间上覆盖同一区域；步骤2)图像预处理步骤：采用二次多项式配准，最近邻内插法重采样；步骤3)图像融合：对源图像采用多尺度分析和成分替换法相结合的融合方法，得到不同融合方法下的融合图像；步骤4)融合质量评价：计算出融合图像与源图像间的交叉熵和结构相似度，建立交叉熵和结构相似度加权函数模型，计算预设权值下的融合质量评价总值。

虽然上述两种技术能够评价融合图像质量，但是它们在红外与可见光图像融合质量评价表现不佳，分析其原因在于：

1.上述两种技术均是通过计算源图像与融合图像间的相似度评价融合图像质量，这两种技术均忽略了融合图像本身的细节特征；

2.红外与可见光图像融合的主要目的之一是保留红外源图像的目标特征，但上述两种技术均没有针对融合图像的目标特征进行评价；

3.一种图像融合质量评价的方法及装置(中国专利文献号CN103049893A)采用模糊聚类方法分割红外图像，但该分割方法对复杂背景干扰的图像及低信噪比图像不能正确分割，影响后续的评价结果；

4.一种图像融合质量评价方法(中国专利文献号CN104008543A)和一种图像融合质量评价的方法及装置(中国专利文献号CN103049893A)均采用结构相似度计算融合图像与源图像间的相似度，以此评价融合图像质量。但当两幅图像较为模糊时，分别应用这两种技术获得的图像融合质量评价结果与主观评价具有较差的一致性。

因此，寻求一种能够反映融合图像全局细节特征和局部目标特征，且与主观评价具有较高一致性的红外与可见光图像融合质量评价方法，对评价红外与可见光图像融合质量的好坏是至关重要的。

发明内容

本发明针对现有技术存在的上述不足，提出了一种红外与可见光图像融合质量评价方法。

本发明为解决上述技术问题采用以下技术方案：

一种红外与可见光图像融合质量评价方法，包含以下步骤：

步骤1：获取红外源图像A、可见光源图像B及融合图像F；

步骤2：计算融合图像的全局细节特征指标；

步骤3：计算融合图像的局部目标特征指标；

步骤4：将融合图像的全局细节特征指标和局部目标特征指标进行加权求和，得到融合图像质量评价指标。

作为本发明一种红外与可见光图像融合质量评价方法进一步的优化方案，步骤2中所述计算融合图像的全局细节特征指标，其详细过程为：

步骤2.1：计算融合图像F的梯度幅度值

对于融合图像F，计算其水平梯度和垂直梯度

这里，将二者之和作为梯度：

步骤2.2：计算融合图像梯度幅度信息熵，并将其作为融合图像全局细节特征指标R_global。

其中，p_i表示融合图像梯度图中灰度值为i的像素出现的概率，L为图像的灰度等级。

作为本发明一种红外与可见光图像融合质量评价方法进一步的优化方案，步骤3中所述计算融合图像的局部目标特征指标，其详细过程为：

步骤3.1：红外源图像和融合图像的区域划分

采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域，基于频率域的显著区域提取方法步骤如下：

采用高斯带通滤波器抽取红外源图像的显著特征，高斯带通滤波器定义如下：

其中，σ₁,σ₂(σ₁＞σ₂)是高斯滤波器的标准方差。

为了尽可能地获得低频段的所有频率值，σ₁设置为无穷大；为了去掉图像的高频噪声和纹理信息，选择先用小高斯核滤波器拟合离散的高斯值。

利用下式计算图像的显著度图S：

S(x,y)＝|A_μ-A_whc(x,y)|

式中，A_μ为红外源图像灰度平均值；A_whc(x,y)为红外源图像经高斯滤波后的图像；||是L₁范数。

采用区域生长法对红外源图像的目标和背景进行分割，具体步骤如下：1)在显著度图中选择灰度值最大的点作为种子点；2)以种子点为中心，考虑其4邻域像素点，如果满足生长规则，将其合并。以邻域像素点与已分割区域灰度均值的差作为相似性测度，把差值最小的邻域相似点合并到分割区域；3) 当相似性测度大于分割阈值时，则停止生长。

步骤3.2：计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(A_local,F_local)

式中，分别为红外源图像的目标区域和融合图像的目标区域；l(A_local,F_local)， c(A_local,F_local)，s(A_local,F_local)，e(A_local,F_local)分别为目标区域A_local和目标区域F_local的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量；参数α,β,γ,η分别为它们的权重，通常取α＝β＝γ＝η＝1；分别为目标区域A_local和目标区域F_local的像素均值；分别为目标区域A_lo_cal和目标区域F_local的像素方差；为目标区域A_local和目标区域F_local之间的协方差，分别为目标区域A_local和目标区域F_local的边缘图像的灰度方差，为两区域边缘图像的灰度协方差，这里的边缘图像是采用Sobel边缘检测法获取；c₁,c₂,c₃,c₄为常量，引入目的是为避免分母接近0时出现不稳定性。

步骤3.3：计算融合图像的目标与背景间的对比度

首先，计算融合图像的亮度均值减损对比归一化系数(简称MSCN系数)，其计算公式如下：

式中，常数C是为避免图像平坦区分母趋向于零时发生不稳定；

为二维圆对称的高斯加权函数，这里令K＝L＝3。

其次，计算目标与背景间的韦伯对比度，计算公式为：C_w＝|L_t-L_b|/L_b

其中，L_t和L_b分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。

步骤3.4计算融合图像的局部目标特征评价指标

将融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(A_local,F_local)和融合图像的目标与背景间的对比度C_w相加，获得融合图像的局部目标特征评价指标R_local，即：

R_local＝ESSIM(A_local,F_local)+C_W

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.本发明既考虑了红外与可见光图像融合的全局细节特征，又考虑了融合图像的目标特征，体现了红外与可见光图像融合的融合目的；

2.本发明采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域，对于有复杂背景干扰的图像及低信噪比图像能够正确分割；

3.本发明首先计算融合图像的MSCN系数，用于模拟人类视觉的对比度增益掩盖过程，最后计算目标与背景间韦伯对比度，能有效实现融合图像目标与背景感知对比度的客观评价；

4.本发明采用边缘结构相似度计算融合图像目标区域与红外源图像目标区域间的相关性，在一定程度上，能有效评价较为模糊的红外与可见光图像融合质量。

5.通过仿真实验验证，本发明的红外与可见光图像融合质量评价方法具有较高的主观一致性，能更好的反映红外与可见光图像融合的质量。

附图说明

图1是本发明提供的一种红外与可见光图像融合质量评价方法的流程图；

图2是本发明提供的融合图像及其梯度幅度图和梯度幅度直方图；

图3是本发明提供的红外源图像和融合图像的分割图像；

图4是本发明提供的第一组源图像及融合图像；

图5是本发明提供的第二组源图像及融合图像；

图6是本发明提供的第三组源图像及融合图像；

图7是本发明提供的第四组源图像及融合图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

结合图1，本发明公开了一种红外与可见光图像融合质量评价方法，包含以下步骤：

步骤1：获取红外源图像A、可见光源图像B及融合图像F；

步骤2：计算融合图像的全局细节特征指标R_global；

图像的梯度信息是图像中人眼敏感程度较高的内容，可以将其作为表征图像细节信息的一种特征。

对于融合图像F，计算其水平梯度和垂直梯度

将二者之和作为融合图像的梯度：

图2给出了融合图像及其梯度幅度图和梯度幅度直方图，其中,图2a是基于均值法(AVE)的图像融合，它所对应的梯度幅度图和梯度幅度直方图分别见图2b和图2c；图2d是基于拉普拉斯金字塔(LAP) 的图像融合，其对应的梯度幅度图和梯度幅度直方图分别见图2e和图2f。

分析图2可知，图2d的纹理丰富、分辨率高、图像对比度明显，质量优于图2a。相应地，虽然两幅融合图像对应的梯度直方图的形状均是一个窄的单峰，且最高峰靠近梯度值为零的方向，但它们的宽窄和灰度动态范围存在明显不同：1)图2f的峰型较图2c的峰型缓；2)最高峰值不同，图2c的最高峰值为14000，图2f的最高峰值不到8000；3)灰度级动态范围不同，图2f的灰度动态范围较图2c宽，其包含的信息更加丰富。

应用梯度直方图可以定量评价融合图像的细节丰富程度。直方图是从概率的角度研究图像梯度的特征，通过计算融合图像梯度信息熵定量分析融合图像细节丰富程度。融合图像全局细节特征指标公式如下所示：

步骤3：计算融合图像的局部目标特征指标R_local；

计算融合图像的局部目标特征指标R_local的具体步骤如下：

步骤3.1：红外源图像和融合图像的区域划分

采用基于频率域的显著区域提取法将红外源图像划分为目标区域和背景区域，基于频率域的显著区域提取法的具体步骤如下：

其中，σ₁,σ₂(σ₁＞σ₂)是高斯滤波器的标准方差。为了尽可能地获得低频段的所有频率值，σ₁设置为无穷大；为了去掉图像的高频噪声和纹理信息，选择先用小高斯核滤波器拟合离散的高斯值。

利用下式计算图像的显著度图S：

S(x,y)＝|A_μ-A_whc(x,y)|

采用区域生长法对红外源图像的目标和背景进行分割，具体步骤如下：1)在显著度图中选择灰度值最大的点作为种子点；2)以种子点为中心，考虑其4邻域像素点，如果满足生长规则，在将其合并。以邻域像素点与已分割区域灰度均值的差作为相似性测度，把差值最小的邻域相似点合并到分割区域；3) 当相似性测度大于分割阈值时，则停止生长。

图3给出了红外源图像和融合图像的分割图像，其中图3a～图3c分别为红外源图像、AVE融合图像 (经均值法获得的融合图像)、LAP融合图像(经拉普拉斯金字塔获得的融合图像)，图3d～图3f分别为它们各自的区域分割图。

从图3可以看出，该方法有效提取了红外图像的目标区域，见图3d所示；将目标区域的划分结果分别映射到AVE融合图像和LAP融合图像，两幅融合图像的目标区域分割分别见图3e和图3f所示。从人眼观测可知，虽然AVE融合图像和LAP融合图像都能检测出热目标，但LAP融合方法的目标特征更好地保留了红外图像的目标特征，其融合质量优于AVE融合方法。

步骤3.2：计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度

式中，分别为红外源图像的目标区域和融合图像的目标区域；l(A_local,F_local)， c(A_local,F_local)，s(A_local,F_local)，e(A_local,F_local)分别为红外源图像的目标区域A_local和融合图像目标区域 F_local的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量；参数α,β,γ,η分别为它们的权重，通常取α＝β＝γ＝η＝1；分别为目标区域A_local和目标区域F_local的像素均值；分别为目标区域A_local和目标区域F_local的像素方差；为目标区域A_local和目标区域F_local之间的协方差，分别为目标区域A_local和目标区域F_local的边缘图像的灰度方差，为两区域边缘图像的灰度协方差，这里的边缘图像是采用Sobel边缘检测法获取；c₁,c₂,c₃,c₄为常量，引入目的是为避免分母接近0时出现不稳定性。

步骤3.3：计算融合图像的目标与背景间的对比度

为二维圆对称的高斯加权函数，这里令K＝L＝3。

其次，计算目标与背景间的韦伯对比度，计算公式为：C_w＝|L_t-L_b|/L_b。其中，L_t和L_b分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。

步骤3.4：计算融合图像的局部目标特征评价指标R_local

将区域边缘结构相似度ESSIM(A_local,F_local)和融合图像的目标与背景间的对比度C_w相加，获得融合图像的局部目标特征评价指标R_local，即：R_local＝ESSIM(A_local,F_local)+C_W。

步骤4：将融合图像的全局细节特征指标和局部目标特征指标进行加权求和，得到融合图像质量评价指标，计算公式为：R＝w₁R_global+w₂R_local

式中，w₁,w₂分别为全局细节特征R_global和局部目标特征R_local的权重，通常取w₁＝0.6,w₂＝0.4。

评价标准：评价指标R值越大，表示红外与可见光图像融合质量越优；反之，表示红外与可见光图像融合质量越差。

本发明给出了基于一定仿真条件下的仿真结果图，体现出本发明技术方案获得的有益效果。

本发明首先对四组红外与可见光源图像采用均值法(AVE)、主成分分析方法(PCA)、拉普拉斯金字塔方法(LAP)和离散小波(DWT)进行融合，再利用本发明一种红外与可见光图像融合质量评价方法对融合图像进行评价。

本发明选取其中具有代表性的4组红外与可见光源图像及融合图像进行展示，分别见图4—图7所示，其中，图中a、b分别为严格配准的红外与可见光源图像，图中c-f分别应用AVE、PCA、LAP、DWT获得的融合图像。

表1给出了上述4组红外与可见光图像融合的评价值。

表1 四组红外与可见光图像融合质量评价值

从表1可以看出：1)在图4中，LAP融合方法的质量最优，其次是DWT融合方法；2)在图5中，DWT融合方法质量最优，其次是LAP融合方法。虽然PCA融合方法获得的融合图像细节比较丰富，但是它的局部目标特征质量较差，导致融合图像的整体质量较差。3)在图6和图7中，均是DWT融合方法最优，其次是LAP融合方法。

综合可知，采用DWT或者LAP融合方法获得的融合图像质量较好。这是因为：一方面，由于小波分析方法考虑到了多分辨率的特性，无论从算法的合理性还是人眼主观评价等方面均优于AVE融合方法和PCA 融合方法；另一方面，从图4—图7可以看出，DWT融合方法和LAP融合方法均优于AVE融合方法和PCA 融合方法。因此，本发明是有效的，其结果与主观评价结果具有较好的一致性。

通过表1可以看出：本发明既可以评价红外与可见光融合图像的全局细节特征和局部目标特征，也可以评价融合图像的整体特征，兼顾了实际评价过程中的通用性和特殊性要求，对进一步改进红外与可见光图像融合方法具有一定的指导作用。

Claims

1.一种红外与可见光图像融合质量评价方法，其特征在于包含以下步骤：

步骤1)获取红外源图像A、可见光源图像B及融合图像F；

步骤2)计算融合图像的全局细节特征指标；

步骤3)计算融合图像的局部目标特征指标；

步骤4)将融合图像的全局细节特征指标和局部目标特征指标进行加权求和，得到红外与可见光图像融合质量评价指标。

2.根据权利要求1所述的一种红外与可见光图像融合质量评价方法，其特征在于，步骤2)中所述的计算融合图像的全局细节特征指标的详细过程为：

首先计算融合图像F的水平梯度和垂直梯度

将二者之和作为该点的梯度：

再计算融合图像梯度幅度信息熵，以此作为融合图像的全局细节特征指标R_global，其表达式如下：

式中，p_i表示融合图像梯度图中灰度值为i的像素出现的概率，L为图像的灰度等级。

3.根据权利要求1所述的一种红外与可见光图像融合质量评价方法，其特征在于，步骤3)中所述的计算融合图像的局部目标特征指标的详细过程为：

首先，采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域，并将划分结果映射到融合图像中；

其次，计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(A_local,F_local)，表达式见公式(1)所示：

ESSIM(A_local,F_local)＝[l(A_local,F_local)]^α[c(A_local,F_local)]^β[s(A_local,F_local)]^γ[e(A_local,F_local)]^η (1)

式中，A_local,F_local分别为红外源图像的目标区域和融合图像的目标区域；l(A_local,F_local)，c(A_local,F_local)，s(A_local,F_local)，e(A_local,F_local)分别为红外源图像的目标区域A_local和融合图像目标区域F_local的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量；参数α,β,γ,η分别为它们的权重，通常取α＝β＝γ＝η＝1。

然后，计算融合图像的目标与背景间的对比度C_W，表达式见公式(2)所示：

C_w＝|L_t-L_b|/L_b (2)

式中，L_t和L_b分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。其中，融合图像的MSCN系数计算公式如下：

<mrow> <mover> <mi>F</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>&mu;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&sigma;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>C</mi> </mrow> </mfrac> </mrow>

ω＝{ω_kl|k＝-K,…,K；l＝-L,…,L}为二维圆对称的高斯加权函数，这里令K＝L＝3。

最后，将目标区域边缘结构相似度ESSIM(A_local,F_local)和目标与背景间的对比度C_W求和，得到获得融合图像的局部目标特征评价指标R_local，即R_local＝ESSIM(A_local,F_local)+C_W。