CN107240096A - 一种红外与可见光图像融合质量评价方法 - Google Patents
一种红外与可见光图像融合质量评价方法 Download PDFInfo
- Publication number
- CN107240096A CN107240096A CN201710405190.9A CN201710405190A CN107240096A CN 107240096 A CN107240096 A CN 107240096A CN 201710405190 A CN201710405190 A CN 201710405190A CN 107240096 A CN107240096 A CN 107240096A
- Authority
- CN
- China
- Prior art keywords
- local
- mrow
- fused images
- infrared
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种红外与可见光图像融合质量评价方法,所述方法包括以下步骤:获取红外源图像、可见光源图像及融合图像;应用融合图像的梯度幅度信息熵计算其全局细节特征指标;采用频率域的显著区域提取法将红外源图像划分为目标区域和背景区域,并将划分结果映射到融合图像;分别计算红外图像目标区域与融合图像目标区域间的边缘结构相似度和融合图像目标与背景间的对比度,并将它们求和得到融合图像局部目标特征指标;最后将融合图像全局细节特征指标和局部目标特征指标加权求和,得到红外与可见光图像融合质量评价指标。本发明既可以评价融合图像的全局细节特征和局部目标特征,也可以评价融合图像的整体特征,兼顾了实际评价过程中的通用性和特殊性要求,与主观评价具有较高的一致性。
Description
技术领域
本发明涉及图像融合质量评价领域,尤其涉及一种红外与可见光图像融合质量评价方法。
背景技术
红外与可见光图像融合是图像融合的重要分支,也是目前图像融合研究的重点。红外传感器是通过热辐射成像,有利于突出场景中的目标区域,但不能很好地表征场景细节特征;可见光传感器通过物体反射成像,能够提供目标所在场景的细节信息。因此,红外与可见光图像融合不仅具有良好的红外图像的目标特征,而且还能很好地保留可见光图像的细节信息。相对于发展迅速的图像融合技术,融合图像质量评价发展相对缓慢。图像融合质量评价不仅可以比较融合方法性能优劣,还可以作为指导融合方法改进的依据。因此,红外与可见光图像融合质量评价方法对后续融合图像的应用至关重要。
经过对现有技术的检索发现,中国专利文献号CN103049893A,公开日2013.04.17,公开了一种图像融合质量评价的方法及装置,包括以下步骤:步骤1)获取各源图像及所述源图像的融合图像;步骤2) 对各源图像采用模糊聚类方法进行分割得到分割图像,并将各分割图像合并为一个总的分割图;步骤3) 获取各源图像的视觉方差显著图,根据视觉方差显著图计算权值图,并根据视觉方差显著图和总的分割图计算源图像和融合图像各区域的显著系数;步骤4)根据总的分割图、权值图和显著系数,计算各个区域上融合图像与源图像的加权结构相似度;步骤5)将所有区域的加权结构相似度求和得到该融合图像质量的评价指标。
中国专利文献号CN104008543A,公开日2014.08.27,公开了一种图像融合质量评价方法,包括以下步骤:步骤1)获取源图像:要求源图像时间上同步、空间上覆盖同一区域;步骤2)图像预处理步骤:采用二次多项式配准,最近邻内插法重采样;步骤3)图像融合:对源图像采用多尺度分析和成分替换法相结合的融合方法,得到不同融合方法下的融合图像;步骤4)融合质量评价:计算出融合图像与源图像间的交叉熵和结构相似度,建立交叉熵和结构相似度加权函数模型,计算预设权值下的融合质量评价总值。
虽然上述两种技术能够评价融合图像质量,但是它们在红外与可见光图像融合质量评价表现不佳,分析其原因在于:
1.上述两种技术均是通过计算源图像与融合图像间的相似度评价融合图像质量,这两种技术均忽略了融合图像本身的细节特征;
2.红外与可见光图像融合的主要目的之一是保留红外源图像的目标特征,但上述两种技术均没有针对融合图像的目标特征进行评价;
3.一种图像融合质量评价的方法及装置(中国专利文献号CN103049893A)采用模糊聚类方法分割红外图像,但该分割方法对复杂背景干扰的图像及低信噪比图像不能正确分割,影响后续的评价结果;
4.一种图像融合质量评价方法(中国专利文献号CN104008543A)和一种图像融合质量评价的方法及装置(中国专利文献号CN103049893A)均采用结构相似度计算融合图像与源图像间的相似度,以此评价融合图像质量。但当两幅图像较为模糊时,分别应用这两种技术获得的图像融合质量评价结果与主观评价具有较差的一致性。
因此,寻求一种能够反映融合图像全局细节特征和局部目标特征,且与主观评价具有较高一致性的红外与可见光图像融合质量评价方法,对评价红外与可见光图像融合质量的好坏是至关重要的。
发明内容
本发明针对现有技术存在的上述不足,提出了一种红外与可见光图像融合质量评价方法。
本发明为解决上述技术问题采用以下技术方案:
一种红外与可见光图像融合质量评价方法,包含以下步骤:
步骤1:获取红外源图像A、可见光源图像B及融合图像F;
步骤2:计算融合图像的全局细节特征指标;
步骤3:计算融合图像的局部目标特征指标;
步骤4:将融合图像的全局细节特征指标和局部目标特征指标进行加权求和,得到融合图像质量评价指标。
作为本发明一种红外与可见光图像融合质量评价方法进一步的优化方案,步骤2中所述计算融合图像的全局细节特征指标,其详细过程为:
步骤2.1:计算融合图像F的梯度幅度值
对于融合图像F,计算其水平梯度和垂直梯度
这里,将二者之和作为梯度:
步骤2.2:计算融合图像梯度幅度信息熵,并将其作为融合图像全局细节特征指标Rglobal。
其中,pi表示融合图像梯度图中灰度值为i的像素出现的概率,L为图像的灰度等级。
作为本发明一种红外与可见光图像融合质量评价方法进一步的优化方案,步骤3中所述计算融合图像的局部目标特征指标,其详细过程为:
步骤3.1:红外源图像和融合图像的区域划分
采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域,基于频率域的显著区域提取方法步骤如下:
采用高斯带通滤波器抽取红外源图像的显著特征,高斯带通滤波器定义如下:
其中,σ1,σ2(σ1>σ2)是高斯滤波器的标准方差。
为了尽可能地获得低频段的所有频率值,σ1设置为无穷大;为了去掉图像的高频噪声和纹理信息,选择先用小高斯核滤波器拟合离散的高斯值。
利用下式计算图像的显著度图S:
S(x,y)=|Aμ-Awhc(x,y)|
式中,Aμ为红外源图像灰度平均值;Awhc(x,y)为红外源图像经高斯滤波后的图像;||是L1范数。
采用区域生长法对红外源图像的目标和背景进行分割,具体步骤如下:1)在显著度图中选择灰度值最大的点作为种子点;2)以种子点为中心,考虑其4邻域像素点,如果满足生长规则,将其合并。以邻域像素点与已分割区域灰度均值的差作为相似性测度,把差值最小的邻域相似点合并到分割区域;3) 当相似性测度大于分割阈值时,则停止生长。
步骤3.2:计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(Alocal,Flocal)
式中,分别为红外源图像的目标区域和融合图像的目标区域;l(Alocal,Flocal), c(Alocal,Flocal),s(Alocal,Flocal),e(Alocal,Flocal)分别为目标区域Alocal和目标区域Flocal的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量;参数α,β,γ,η分别为它们的权重,通常取α=β=γ=η=1;分别为目标区域Alocal和目标区域Flocal的像素均值;分别为目标区域Alocal和目标区域Flocal的像素方差;为目标区域Alocal和目标区域Flocal之间的协方差,分别为目标区域Alocal和目标区域Flocal的边缘图像的灰度方差,为两区域边缘图像的灰度协方差,这里的边缘图像是采用Sobel边缘检测法获取;c1,c2,c3,c4为常量,引入目的是为避免分母接近0时出现不稳定性。
步骤3.3:计算融合图像的目标与背景间的对比度
首先,计算融合图像的亮度均值减损对比归一化系数(简称MSCN系数),其计算公式如下:
式中,常数C是为避免图像平坦区分母趋向于零时发生不稳定;
为二维圆对称的高斯加权函数,这里令K=L=3。
其次,计算目标与背景间的韦伯对比度,计算公式为:Cw=|Lt-Lb|/Lb
其中,Lt和Lb分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。
步骤3.4计算融合图像的局部目标特征评价指标
将融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(Alocal,Flocal)和融合图像的目标与背景间的对比度Cw相加,获得融合图像的局部目标特征评价指标Rlocal,即:
Rlocal=ESSIM(Alocal,Flocal)+CW
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
1.本发明既考虑了红外与可见光图像融合的全局细节特征,又考虑了融合图像的目标特征,体现了红外与可见光图像融合的融合目的;
2.本发明采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域,对于有复杂背景干扰的图像及低信噪比图像能够正确分割;
3.本发明首先计算融合图像的MSCN系数,用于模拟人类视觉的对比度增益掩盖过程,最后计算目标与背景间韦伯对比度,能有效实现融合图像目标与背景感知对比度的客观评价;
4.本发明采用边缘结构相似度计算融合图像目标区域与红外源图像目标区域间的相关性,在一定程度上,能有效评价较为模糊的红外与可见光图像融合质量。
5.通过仿真实验验证,本发明的红外与可见光图像融合质量评价方法具有较高的主观一致性,能更好的反映红外与可见光图像融合的质量。
附图说明
图1是本发明提供的一种红外与可见光图像融合质量评价方法的流程图;
图2是本发明提供的融合图像及其梯度幅度图和梯度幅度直方图;
图3是本发明提供的红外源图像和融合图像的分割图像;
图4是本发明提供的第一组源图像及融合图像;
图5是本发明提供的第二组源图像及融合图像;
图6是本发明提供的第三组源图像及融合图像;
图7是本发明提供的第四组源图像及融合图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
结合图1,本发明公开了一种红外与可见光图像融合质量评价方法,包含以下步骤:
步骤1:获取红外源图像A、可见光源图像B及融合图像F;
步骤2:计算融合图像的全局细节特征指标Rglobal;
图像的梯度信息是图像中人眼敏感程度较高的内容,可以将其作为表征图像细节信息的一种特征。
对于融合图像F,计算其水平梯度和垂直梯度
将二者之和作为融合图像的梯度:
图2给出了融合图像及其梯度幅度图和梯度幅度直方图,其中,图2a是基于均值法(AVE)的图像融合,它所对应的梯度幅度图和梯度幅度直方图分别见图2b和图2c;图2d是基于拉普拉斯金字塔(LAP) 的图像融合,其对应的梯度幅度图和梯度幅度直方图分别见图2e和图2f。
分析图2可知,图2d的纹理丰富、分辨率高、图像对比度明显,质量优于图2a。相应地,虽然两幅融合图像对应的梯度直方图的形状均是一个窄的单峰,且最高峰靠近梯度值为零的方向,但它们的宽窄和灰度动态范围存在明显不同:1)图2f的峰型较图2c的峰型缓;2)最高峰值不同,图2c的最高峰值为14000,图2f的最高峰值不到8000;3)灰度级动态范围不同,图2f的灰度动态范围较图2c宽,其包含的信息更加丰富。
应用梯度直方图可以定量评价融合图像的细节丰富程度。直方图是从概率的角度研究图像梯度的特征,通过计算融合图像梯度信息熵定量分析融合图像细节丰富程度。融合图像全局细节特征指标公式如下所示:
其中,pi表示融合图像梯度图中灰度值为i的像素出现的概率,L为图像的灰度等级。
步骤3:计算融合图像的局部目标特征指标Rlocal;
计算融合图像的局部目标特征指标Rlocal的具体步骤如下:
步骤3.1:红外源图像和融合图像的区域划分
采用基于频率域的显著区域提取法将红外源图像划分为目标区域和背景区域,基于频率域的显著区域提取法的具体步骤如下:
采用高斯带通滤波器抽取红外源图像的显著特征,高斯带通滤波器定义如下:
其中,σ1,σ2(σ1>σ2)是高斯滤波器的标准方差。为了尽可能地获得低频段的所有频率值,σ1设置为无穷大;为了去掉图像的高频噪声和纹理信息,选择先用小高斯核滤波器拟合离散的高斯值。
利用下式计算图像的显著度图S:
S(x,y)=|Aμ-Awhc(x,y)|
式中,Aμ为红外源图像灰度平均值;Awhc(x,y)为红外源图像经高斯滤波后的图像;||是L1范数。
采用区域生长法对红外源图像的目标和背景进行分割,具体步骤如下:1)在显著度图中选择灰度值最大的点作为种子点;2)以种子点为中心,考虑其4邻域像素点,如果满足生长规则,在将其合并。以邻域像素点与已分割区域灰度均值的差作为相似性测度,把差值最小的邻域相似点合并到分割区域;3) 当相似性测度大于分割阈值时,则停止生长。
图3给出了红外源图像和融合图像的分割图像,其中图3a~图3c分别为红外源图像、AVE融合图像 (经均值法获得的融合图像)、LAP融合图像(经拉普拉斯金字塔获得的融合图像),图3d~图3f分别为它们各自的区域分割图。
从图3可以看出,该方法有效提取了红外图像的目标区域,见图3d所示;将目标区域的划分结果分别映射到AVE融合图像和LAP融合图像,两幅融合图像的目标区域分割分别见图3e和图3f所示。从人眼观测可知,虽然AVE融合图像和LAP融合图像都能检测出热目标,但LAP融合方法的目标特征更好地保留了红外图像的目标特征,其融合质量优于AVE融合方法。
步骤3.2:计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度
式中,分别为红外源图像的目标区域和融合图像的目标区域;l(Alocal,Flocal), c(Alocal,Flocal),s(Alocal,Flocal),e(Alocal,Flocal)分别为红外源图像的目标区域Alocal和融合图像目标区域 Flocal的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量;参数α,β,γ,η分别为它们的权重,通常取α=β=γ=η=1;分别为目标区域Alocal和目标区域Flocal的像素均值;分别为目标区域Alocal和目标区域Flocal的像素方差;为目标区域Alocal和目标区域Flocal之间的协方差,分别为目标区域Alocal和目标区域Flocal的边缘图像的灰度方差,为两区域边缘图像的灰度协方差,这里的边缘图像是采用Sobel边缘检测法获取;c1,c2,c3,c4为常量,引入目的是为避免分母接近0时出现不稳定性。
步骤3.3:计算融合图像的目标与背景间的对比度
首先,计算融合图像的亮度均值减损对比归一化系数(简称MSCN系数),其计算公式如下:
式中,常数C是为避免图像平坦区分母趋向于零时发生不稳定;
为二维圆对称的高斯加权函数,这里令K=L=3。
其次,计算目标与背景间的韦伯对比度,计算公式为:Cw=|Lt-Lb|/Lb。其中,Lt和Lb分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。
步骤3.4:计算融合图像的局部目标特征评价指标Rlocal
将区域边缘结构相似度ESSIM(Alocal,Flocal)和融合图像的目标与背景间的对比度Cw相加,获得融合图像的局部目标特征评价指标Rlocal,即:Rlocal=ESSIM(Alocal,Flocal)+CW。
步骤4:将融合图像的全局细节特征指标和局部目标特征指标进行加权求和,得到融合图像质量评价指标,计算公式为:R=w1Rglobal+w2Rlocal
式中,w1,w2分别为全局细节特征Rglobal和局部目标特征Rlocal的权重,通常取w1=0.6,w2=0.4。
评价标准:评价指标R值越大,表示红外与可见光图像融合质量越优;反之,表示红外与可见光图像融合质量越差。
本发明给出了基于一定仿真条件下的仿真结果图,体现出本发明技术方案获得的有益效果。
本发明首先对四组红外与可见光源图像采用均值法(AVE)、主成分分析方法(PCA)、拉普拉斯金字塔方法(LAP)和离散小波(DWT)进行融合,再利用本发明一种红外与可见光图像融合质量评价方法对融合图像进行评价。
本发明选取其中具有代表性的4组红外与可见光源图像及融合图像进行展示,分别见图4—图7所示,其中,图中a、b分别为严格配准的红外与可见光源图像,图中c-f分别应用AVE、PCA、LAP、DWT获得的融合图像。
表1给出了上述4组红外与可见光图像融合的评价值。
表1 四组红外与可见光图像融合质量评价值
从表1可以看出:1)在图4中,LAP融合方法的质量最优,其次是DWT融合方法;2)在图5中,DWT融合方法质量最优,其次是LAP融合方法。虽然PCA融合方法获得的融合图像细节比较丰富,但是它的局部目标特征质量较差,导致融合图像的整体质量较差。3)在图6和图7中,均是DWT融合方法最优,其次是LAP融合方法。
综合可知,采用DWT或者LAP融合方法获得的融合图像质量较好。这是因为:一方面,由于小波分析方法考虑到了多分辨率的特性,无论从算法的合理性还是人眼主观评价等方面均优于AVE融合方法和PCA 融合方法;另一方面,从图4—图7可以看出,DWT融合方法和LAP融合方法均优于AVE融合方法和PCA 融合方法。因此,本发明是有效的,其结果与主观评价结果具有较好的一致性。
通过表1可以看出:本发明既可以评价红外与可见光融合图像的全局细节特征和局部目标特征,也可以评价融合图像的整体特征,兼顾了实际评价过程中的通用性和特殊性要求,对进一步改进红外与可见光图像融合方法具有一定的指导作用。
Claims (3)
1.一种红外与可见光图像融合质量评价方法,其特征在于包含以下步骤:
步骤1)获取红外源图像A、可见光源图像B及融合图像F;
步骤2)计算融合图像的全局细节特征指标;
步骤3)计算融合图像的局部目标特征指标;
步骤4)将融合图像的全局细节特征指标和局部目标特征指标进行加权求和,得到红外与可见光图像融合质量评价指标。
2.根据权利要求1所述的一种红外与可见光图像融合质量评价方法,其特征在于,步骤2)中所述的计算融合图像的全局细节特征指标的详细过程为:
首先计算融合图像F的水平梯度和垂直梯度
<mrow>
<mo>&dtri;</mo>
<msub>
<mi>f</mi>
<mi>H</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>+</mo>
<mn>1</mn>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&dtri;</mo>
<msub>
<mi>f</mi>
<mi>V</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
将二者之和作为该点的梯度:
<mrow>
<mo>&dtri;</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<msub>
<mi>f</mi>
<mi>H</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<msub>
<mi>f</mi>
<mi>V</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
再计算融合图像梯度幅度信息熵,以此作为融合图像的全局细节特征指标Rglobal,其表达式如下:
式中,pi表示融合图像梯度图中灰度值为i的像素出现的概率,L为图像的灰度等级。
3.根据权利要求1所述的一种红外与可见光图像融合质量评价方法,其特征在于,步骤3)中所述的计算融合图像的局部目标特征指标的详细过程为:
首先,采用基于频率域的显著区域提取方法将红外源图像划分为目标区域和背景区域,并将划分结果映射到融合图像中;
其次,计算融合图像目标区域与红外源图像目标区域间的边缘结构相似度ESSIM(Alocal,Flocal),表达式见公式(1)所示:
ESSIM(Alocal,Flocal)=[l(Alocal,Flocal)]α[c(Alocal,Flocal)]β[s(Alocal,Flocal)]γ[e(Alocal,Flocal)]η (1)
式中,Alocal,Flocal分别为红外源图像的目标区域和融合图像的目标区域;l(Alocal,Flocal),c(Alocal,Flocal),s(Alocal,Flocal),e(Alocal,Flocal)分别为红外源图像的目标区域Alocal和融合图像目标区域Flocal的亮度比较分量、对比度比较分量、结构比较分量和边缘比较分量;参数α,β,γ,η分别为它们的权重,通常取α=β=γ=η=1。
然后,计算融合图像的目标与背景间的对比度CW,表达式见公式(2)所示:
Cw=|Lt-Lb|/Lb (2)
式中,Lt和Lb分别为目标区域和邻近背景区域中像素的MSCN系数的平均值。其中,融合图像的MSCN系数计算公式如下:
<mrow>
<mover>
<mi>F</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>C</mi>
</mrow>
</mfrac>
</mrow>
式中,常数C是为避免图像平坦区分母趋向于零时发生不稳定;
ω={ωkl|k=-K,…,K;l=-L,…,L}为二维圆对称的高斯加权函数,这里令K=L=3。
最后,将目标区域边缘结构相似度ESSIM(Alocal,Flocal)和目标与背景间的对比度CW求和,得到获得融合图像的局部目标特征评价指标Rlocal,即Rlocal=ESSIM(Alocal,Flocal)+CW。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710405190.9A CN107240096A (zh) | 2017-06-01 | 2017-06-01 | 一种红外与可见光图像融合质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710405190.9A CN107240096A (zh) | 2017-06-01 | 2017-06-01 | 一种红外与可见光图像融合质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107240096A true CN107240096A (zh) | 2017-10-10 |
Family
ID=59985675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710405190.9A Pending CN107240096A (zh) | 2017-06-01 | 2017-06-01 | 一种红外与可见光图像融合质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107240096A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062757A (zh) * | 2018-01-05 | 2018-05-22 | 北京航空航天大学 | 一种利用改进直觉模糊聚类算法提取红外目标的方法 |
CN108256519A (zh) * | 2017-12-13 | 2018-07-06 | 苏州长风航空电子有限公司 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
CN108447058A (zh) * | 2018-03-30 | 2018-08-24 | 北京理工大学 | 一种图像质量评价方法及*** |
CN108549874A (zh) * | 2018-04-19 | 2018-09-18 | 广州广电运通金融电子股份有限公司 | 一种目标检测方法、设备及计算机可读存储介质 |
CN108830847A (zh) * | 2018-06-19 | 2018-11-16 | 中国石油大学(华东) | 可见光与红外灰度融合图像感知对比度客观评价 |
CN109118493A (zh) * | 2018-07-11 | 2019-01-01 | 南京理工大学 | 一种深度图像中的显著区域检测方法 |
CN109166131A (zh) * | 2018-09-29 | 2019-01-08 | 西安工业大学 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
CN109447980A (zh) * | 2018-11-12 | 2019-03-08 | 公安部第三研究所 | 实现图像质量评价控制的方法、计算机可读存储介质和处理器 |
CN110035239A (zh) * | 2019-05-21 | 2019-07-19 | 北京理工大学 | 一种基于灰度—梯度优化的多积分时间红外图像融合方法 |
CN110111292A (zh) * | 2019-04-30 | 2019-08-09 | 淮阴师范学院 | 一种红外与可见光图像融合方法 |
CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
CN110428455A (zh) * | 2019-04-19 | 2019-11-08 | 中国航空无线电电子研究所 | 一种可见光图像与远红外图像目标配准方法 |
CN110555823A (zh) * | 2019-04-11 | 2019-12-10 | 江南大学 | 一种基于tvl结构纹理分解的图像融合质量评价方法 |
CN110889817A (zh) * | 2019-11-19 | 2020-03-17 | 中国人民解放军海军工程大学 | 图像融合质量评价方法及装置 |
CN111583315A (zh) * | 2020-04-23 | 2020-08-25 | 武汉卓目科技有限公司 | 一种新的可见光图像和红外图像配准方法及装置 |
CN114331937A (zh) * | 2021-12-27 | 2022-04-12 | 哈尔滨工业大学 | 基于反馈迭代调节的低光照条件下多源图像融合方法 |
CN117893525A (zh) * | 2024-02-28 | 2024-04-16 | 广州威睛光学科技有限公司 | 基于红外热成像的芯片热点检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881010A (zh) * | 2012-08-28 | 2013-01-16 | 北京理工大学 | 基于人眼视觉特性的融合图像感知清晰度评价方法 |
CN106709916A (zh) * | 2017-01-19 | 2017-05-24 | 泰康保险集团股份有限公司 | 图像质量评估方法及装置 |
-
2017
- 2017-06-01 CN CN201710405190.9A patent/CN107240096A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881010A (zh) * | 2012-08-28 | 2013-01-16 | 北京理工大学 | 基于人眼视觉特性的融合图像感知清晰度评价方法 |
CN106709916A (zh) * | 2017-01-19 | 2017-05-24 | 泰康保险集团股份有限公司 | 图像质量评估方法及装置 |
Non-Patent Citations (4)
Title |
---|
张小凤: "可见光和红外图像融合质量评价研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张玉珍 等: "基于相位一致性的结构相似度图像融合质量评价方法", 《兵工学报》 * |
沈军民 等: "结合结构信息和亮度统计的无参考图像质量评价", 《电子学报》 * |
郑加苏: "基于图像信息熵的无参考图像质量评估算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256519A (zh) * | 2017-12-13 | 2018-07-06 | 苏州长风航空电子有限公司 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
CN108256519B (zh) * | 2017-12-13 | 2022-06-17 | 苏州长风航空电子有限公司 | 一种基于全局和局部相互作用的红外图像显著检测方法 |
CN108062757A (zh) * | 2018-01-05 | 2018-05-22 | 北京航空航天大学 | 一种利用改进直觉模糊聚类算法提取红外目标的方法 |
CN108062757B (zh) * | 2018-01-05 | 2021-04-30 | 北京航空航天大学 | 一种利用改进直觉模糊聚类算法提取红外目标的方法 |
CN108447058A (zh) * | 2018-03-30 | 2018-08-24 | 北京理工大学 | 一种图像质量评价方法及*** |
CN108447058B (zh) * | 2018-03-30 | 2020-07-14 | 北京理工大学 | 一种图像质量评价方法及*** |
CN108549874A (zh) * | 2018-04-19 | 2018-09-18 | 广州广电运通金融电子股份有限公司 | 一种目标检测方法、设备及计算机可读存储介质 |
CN108830847A (zh) * | 2018-06-19 | 2018-11-16 | 中国石油大学(华东) | 可见光与红外灰度融合图像感知对比度客观评价 |
CN109118493A (zh) * | 2018-07-11 | 2019-01-01 | 南京理工大学 | 一种深度图像中的显著区域检测方法 |
CN109118493B (zh) * | 2018-07-11 | 2021-09-10 | 南京理工大学 | 一种深度图像中的显著区域检测方法 |
CN109166131A (zh) * | 2018-09-29 | 2019-01-08 | 西安工业大学 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
CN113077482B (zh) * | 2018-09-29 | 2024-01-19 | 西安工业大学 | 一种融合图像的质量评价方法 |
CN113077482A (zh) * | 2018-09-29 | 2021-07-06 | 西安工业大学 | 一种融合图像的质量评价方法 |
CN109166131B (zh) * | 2018-09-29 | 2021-06-29 | 西安工业大学 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
CN109447980A (zh) * | 2018-11-12 | 2019-03-08 | 公安部第三研究所 | 实现图像质量评价控制的方法、计算机可读存储介质和处理器 |
CN109447980B (zh) * | 2018-11-12 | 2021-12-10 | 公安部第三研究所 | 实现图像质量评价控制的方法、计算机可读存储介质和处理器 |
CN110555823B (zh) * | 2019-04-11 | 2023-04-07 | 江南大学 | 一种基于tvl结构纹理分解的图像融合质量评价方法 |
CN110555823A (zh) * | 2019-04-11 | 2019-12-10 | 江南大学 | 一种基于tvl结构纹理分解的图像融合质量评价方法 |
CN110428455A (zh) * | 2019-04-19 | 2019-11-08 | 中国航空无线电电子研究所 | 一种可见光图像与远红外图像目标配准方法 |
CN110428455B (zh) * | 2019-04-19 | 2022-11-04 | 中国航空无线电电子研究所 | 一种可见光图像与远红外图像目标配准方法 |
CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
CN110111292A (zh) * | 2019-04-30 | 2019-08-09 | 淮阴师范学院 | 一种红外与可见光图像融合方法 |
CN110111292B (zh) * | 2019-04-30 | 2023-07-21 | 淮阴师范学院 | 一种红外与可见光图像融合方法 |
CN110035239A (zh) * | 2019-05-21 | 2019-07-19 | 北京理工大学 | 一种基于灰度—梯度优化的多积分时间红外图像融合方法 |
CN110889817A (zh) * | 2019-11-19 | 2020-03-17 | 中国人民解放军海军工程大学 | 图像融合质量评价方法及装置 |
CN111583315A (zh) * | 2020-04-23 | 2020-08-25 | 武汉卓目科技有限公司 | 一种新的可见光图像和红外图像配准方法及装置 |
CN114331937A (zh) * | 2021-12-27 | 2022-04-12 | 哈尔滨工业大学 | 基于反馈迭代调节的低光照条件下多源图像融合方法 |
CN117893525A (zh) * | 2024-02-28 | 2024-04-16 | 广州威睛光学科技有限公司 | 基于红外热成像的芯片热点检测方法 |
CN117893525B (zh) * | 2024-02-28 | 2024-06-11 | 广州威睛光学科技有限公司 | 基于红外热成像的芯片热点检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107240096A (zh) | 一种红外与可见光图像融合质量评价方法 | |
CN104637064B (zh) | 一种基于边缘强度权重的离焦模糊图像清晰度检测方法 | |
CN101976444B (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
CN116205823B (zh) | 一种基于空域滤波的超声影像去噪方法 | |
CN106651888B (zh) | 基于多特征融合的彩色眼底图像视杯分割方法 | |
CN103281559A (zh) | 视频质量检测的方法及*** | |
CN103606132A (zh) | 基于空域和时域联合滤波的多帧数字图像去噪方法 | |
CN109242888A (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
CN109919959A (zh) | 基于色彩、自然性及结构的色调映射图像质量评价方法 | |
CN104182983B (zh) | 基于角点特征的高速公路监控视频清晰度的检测方法 | |
CN104361582A (zh) | 一种对象级高分辨率sar影像洪水灾害变化检测方法 | |
CN108171695A (zh) | 一种基于图像处理的高速公路路面检测方法 | |
CN104574381B (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
CN108550145A (zh) | 一种sar图像质量评估方法和装置 | |
CN106815583A (zh) | 一种基于mser和swt相结合的夜间车辆车牌定位方法 | |
CN101650439A (zh) | 基于差异边缘和联合概率一致性的遥感图像变化检测方法 | |
CN107341790A (zh) | 一种环境洁净度检测的图像处理方法 | |
CN109993797A (zh) | 门窗位置检测方法及装置 | |
CN101968885A (zh) | 一种基于边缘和灰度的遥感图像变化检测方法 | |
CN102842120A (zh) | 基于超复数小波相位测量的图像模糊程度检测方法 | |
CN110120032A (zh) | 基于相对总变差模型与mser的织物毛球等级评价方法 | |
CN101964108A (zh) | 基于实时在线***的叶片田间图像边缘提取方法及其*** | |
CN109886195A (zh) | 基于深度相机近红外单色灰度图的皮肤识别方法 | |
CN105787912A (zh) | 一种基于分类的阶跃型边缘亚像素定位方法 | |
CN106600615A (zh) | 一种图像边缘检测算法评价***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171010 |
|
WD01 | Invention patent application deemed withdrawn after publication |