CN101840573A - 一种像素级图像融合质量评估方法 - Google Patents
一种像素级图像融合质量评估方法 Download PDFInfo
- Publication number
- CN101840573A CN101840573A CN201010145894A CN201010145894A CN101840573A CN 101840573 A CN101840573 A CN 101840573A CN 201010145894 A CN201010145894 A CN 201010145894A CN 201010145894 A CN201010145894 A CN 201010145894A CN 101840573 A CN101840573 A CN 101840573A
- Authority
- CN
- China
- Prior art keywords
- likelihood function
- calculate
- image
- color likelihood
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种新的图像融合质量无基准图像客观评估方法,可以克服现有评估方法的不足。特点是利用灰度相似性来进行融合效果评估的方法,也就是用基于Minkovski距离的颜色似然函数来度量融合效果,用每幅源图像的局部显著程度对颜色似然函数值加权,兼顾计算复杂度和局部信息含量。与现有评估方法相比,本发明与人的视觉物理模型更为接近,可以得到更符合人的主观评测标准的结果,而且并不将输入图像的数目局限于二,而是可以扩展为任何大的正整数。
Description
技术领域
本发明涉及一种图像处理质量评估,具体是一种多源图像像素级融合后图像质量的评估方法。属于图像处理技术。
背景技术
现阶段对融合图像的质量好坏的评价标准主要集中于计算融合后的图像对输入图像有用信息量的保存状况上。输入图像的有用信息可以包括亮度、对比度、结构、梯度、傅立叶变换后的幅值和辐角、空间分辨率等等像素级特征值。对有用信息的选择可以生成各种不同的评估度量方法。对这些有用信息的保存状况的度量,一般来说,除了交互信息可以直接量化这种保存的情况外,其它评估方法多会选择通过计算融合后图像的信息值与先验有用信息值之间的相似程度来达到这个目的。
相似度的计算,即距离度量是模式识别领域的核心问题之一。通过选择不同的度量方法,也可以达到生成不同的评估度量方法的目的。
经文献检索发现,2007年在Information Fusion发表的文章《Sub jective tests forimage fusion evaluation and objective metric validation》采用了最直接的人工进行主观测试,因为对于像素级图像融合而言,最终评估标准就是人眼的识别标准,所有评估方法都希望能尽可能的与人的视觉感受一致。但人主观评测耗时、昂贵、不能量化和优选某些融合系数;2007年在Computer Vision and Image Understanding发表的文章《A feature-basedmetric for the quantitative evalution》中,采用了客观质量评价的基准图像比较法,也就是把融合后图像与理想的融合后图像(即基准图像)进行比较,从而评价融合后图像质量的方法。但理想图像在实际操作中几乎是不可能得到的;2002年发表于IEEE ElectricLetters上的《Information measure for performance of image fusion》和2003年发表于IEEE International Conference on Image Processing的《A new quality metric for imagefusion》分别提出了使用交互信息和机遇结构相似度量的无基准图像客观评估方法。这种方法相对于主观评价和基准图像比较法而言,易于机器实现,适用范围广泛,并且被证明了能够得到合理的效果。但是他们的物理模型过于简单,因此对于某些特定的图像和融合方法,其评估结果与人的主观印象并不能很好的吻合。
发明内容
本发明的技术目的是提出一种新的图像融合质量无基准图像客观评估方法,可以克服现有评估方法的不足。利用灰度相似性来进行融合效果评估的方法,也就是用基于Minkovski距离的颜色似然函数来度量融合效果。与现有评估方法相比,本发明与人的视觉物理模型更为接近,可以得到更符合人的主观评测标准的结果,而且并不将输入图像的数目局限于二,而是可以扩展为任何大的正整数。
这种新的像素级图像融合质量评估标准,通过以下技术方案实现,步骤如下:
步骤一:选定滑动窗口的大小和步长;
步骤二:对于窗口覆盖的所有源图像和结果图像区域,统计其灰度直方图的分布,计算其概率分布;
步骤三:计算每一幅源图像与结果图像区域直方图概率分布的Minkovski距离,在此基础上计算各自的颜色似然函数值;
步骤四:计算每幅源图像在该窗口区域的局部显著程度;
步骤五:用局部显著程度对颜色似然函数值加权,得到该窗口区域的加权颜色似然函数值;
步骤六:通过每个窗口内的区域加权颜色相似程度函数值,计算出整幅图像的图像融合质量评估值。
本发明对图像融合质量进行无基准客观评估,主要具有以下特点和作用:(1)选择了图像的颜色信息作为融合过程中需要保持的有用信息;(2)相似度的度量使用了Minkovski距离;(3)计算复杂度简单;(4)充分利用源图像的局部信息。
附图说明:
图1为本发明的像素级图像融合质量评估算法的流程图
图2为TNO Human Factors Research Institute所提供的“UNcamp”图像序列中的一祯,作为实验图像
图3为对UNcamp图像序列中的一祯用各种像素级融合方法进行融合后的结果图像
图4为对UNcamp总共三十二组图像的融合结果用各种评估方法进行评估得到的结果曲线
图2中
201为可见光图像
202为红外图像
图3中
301为均值融合得到的结果图像
302为离散小波变换融合得到的结果图像
303为拉普帕斯金字塔融合得到的结果图像
304为形态学差异金字塔融合得到的结果图像
图4中
401为互信息评估标准的评估结果
402为Gemma Piella和Henk Heijmans在2003年提出的质量评估标准的评估结果
403为V.Xydeas和Petrovic在2000年提出的客观质量评估标准的评估结果
404为本发明提出的评估标准的评估结果
具体实施方法:
下面本发明将结合附图中的实施例作进一步描述
步骤一:选定滑动窗口的大小和步长。
滑动窗口的大小决定了区域信息量,如果太小,则信息量太小,灰度直方图分布在有限的几个点上,计算他们之间的Minkovski距离以及颜色似然函数都是没有意义的;如果太大,则计算复杂量大幅上涨,导致运算负担加重运算时间加长。因此,根据各种实验我们得到同时兼顾区域信息量和计算量大小的经验值:滑动窗口的大小为128*128像素,步长为32像素。
步骤二:对于窗口覆盖的所有源图像和结果图像区域,统计其灰度直方图的分布,计算其概率分布。
滑动窗口从图像的左上角开始滑动,在滑动出图像范围之前,对于每次窗口所覆盖的区域,分别统计源图像和结果图像的灰度直方图分布,假设他们分别是h1,h2(此处假设有两幅源图像)和hr
对应的概率分布为
步骤三:计算每一幅源图像与结果图像区域直方图概率分布的Minkovski距离,在此基础上计算各自的颜色似然函数值。
任意源图像与结果图像的区域直方图概率分布的q阶Minkovski距离计算公式如下:
本发明中经实验证明,q取2可以得到比较好的结果,因此在后面的实验中,q的取值为2。
颜色似然函数值与Dm的指数函数成比例
其中i在后面的实验中取经验值1,σ在后面的实验中取经验值0.015。
这样我们就得到了源图像1与结果图像之间的颜色似然函数值L(z1,f),源图像2与结果图像之间的似然函数之L(z2,f)。
步骤四:计算每幅源图像在该窗口区域的局部显著程度;
对于每一幅源图像而言,我们选择窗内方差为窗口区域的局部显著程度。方差越大,说明该源图像在该区域内显著程度越高。
步骤五:用局部显著程度对颜色似然函数值加权,得到该窗口区域的加权颜色似然函数值。
假设两幅源图像在滑动窗口区域w内的局部显著程度分别为s(z1|w)和s(z2|w),则源图像1的颜色似然函数值权重为
图像2的权重为1-λ(w)。
这时,该窗口区域的加权颜色似然函数值为
Q(w)=λ(w)L(z1,f)+(1-λ(w))L(z2,f)
步骤六:通过每个窗口内的区域加权颜色相似程度函数值,计算出整幅图像的图像融合质量评估值。
当滑动窗口自右下角滑动出图像区域时,我们得到了全部的Q(w)值,这时,整幅图像的图像融合质量评估值为
其中W是窗口族,|W|是该集合的势。
实施例1:UNcamp图像序列融合结果评估
本发明将这种新的像素级图像融合评估标准应用于UNcamp图像序列融合结果上。
实验平台为MATLAB7.0,在2GHz Intel Pentium(R)4CPU的PC机上实现。实验中滑动窗口的大小为128*128像素,步长为32像素;灰度直方图概率分布间的Minkovski距离计算时q=2,颜色似然函数计算时i取经验值1,σ取经验值0.015。
(1)对于一组图像用不同方法进行融合后,用不同的评估方法得到的质量评估结果。
对图2所示的源图像,用不同的像素级图像融合方法,得到图3所示的融合结果。对这些结果用不同的评估方法进行质量评估,其中,MI为互信息评估标准,Q为Gemma Piella和Henk Heijmans在2003年提出的质量评估标准,QP AB/F为V.Xydeas和Petrovic在2000年提出的客观质量评估标准,Qm为本发明提出的评估标准;Average指均值融合方法,DWT指离散小波变换融合法,LP指拉普拉斯金字塔融合法,MDP指形态学差异金字塔融合法。得到如表格1所示结果:
表格1不同评估方法对图3中融合图像的评估结果
Average | DWT | LP | MDP | |
MI | 1.0586 | 0.93407 | 0.98914 | 1.0014 |
Q | 0.64811 | 0.651 | 0.68838 | 0.58776 |
QP AB/F | 0.3527 | 0.42368 | 0.45874 | 0.40622 |
Qm | 0.82387 | 0.90909 | 0.92706 | 0.94425 |
从图3中可以清楚地看出,LP和MDP的结果显然要优于均值法和DWT的。对比表1中的结果,Qm与直观结果很吻合;MI认为均值法的效果是最好的;Q将均值法和DWT排在了MDP之上;QP AB/F是除了Qm之外表现最好的评估方法,但它也认为MDP的效果不及DWT,这也是与直观效果不符合的。
总之,本发明所提出的方法人的视觉物理模型更为接近,可以得到更符合人的主观评测标准的结果。
(2)对整个序列图像组用不同方法进行融合后,用不同的评估方法得到的质量评估结果。
对全部32组源图像用不同的方法进行融合,然后再用不同的评估方法对融合后的图像进行评估,得到的结果如图4所示。
从图4中可以看到,MI始终认为均值法是最好的;Q和QP AB/F在评估MDP的效果时不同程度上与人眼的主观印象出现偏差;而Qm将这四种融合方法按照MDP、LP、DWT和均值法排序,与视觉感官相符合。
Claims (5)
1.一种新的像素级图像融合质量评估方法,其特征在于,方法步骤如下:
步骤一:选定滑动窗口的大小和步长;
步骤二:对于窗口覆盖的所有源图像和结果图像区域,统计其灰度直方图的分布,计算其概率分布;
步骤三:计算每一幅源图像与结果图像区域直方图概率分布的Minkovski距离,在此基础上计算各自的颜色似然函数值;
步骤四:计算每幅源图像在该窗口区域的局部显著程度;
步骤五:用局部显著程度对颜色似然函数值加权,得到该窗口区域的加权颜色似然函数值;
步骤六:通过每个窗口内的区域加权颜色相似程度函数值,计算出整幅图像的图像融合质量评估值。
2.根据权利要求1所述的像素级图像融合质量评估方法,其特征是,所述的步骤一,为了兼顾区域信息量和计算复杂度,我们所选用的滑动窗口大小为128*128像素,步长为32像素。
4.根据权利要求1所述的像素级图像融合质量评估方法步骤三和权利要求2,其特征是,在计算时其中的系数分别已经验取值,为
q=2,i=1,σ=0.015。
5.根据权利要求1所述的像素级图像融合质量评估方法步骤四,其特征是,取窗口区域内的方差为局部显著程度,并以此计算权重,用于对颜色似然函数的加权。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010145894A CN101840573A (zh) | 2010-04-12 | 2010-04-12 | 一种像素级图像融合质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010145894A CN101840573A (zh) | 2010-04-12 | 2010-04-12 | 一种像素级图像融合质量评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101840573A true CN101840573A (zh) | 2010-09-22 |
Family
ID=42743930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010145894A Pending CN101840573A (zh) | 2010-04-12 | 2010-04-12 | 一种像素级图像融合质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101840573A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN102156982A (zh) * | 2011-03-18 | 2011-08-17 | 北京中星微电子有限公司 | 一种图像嘈杂度的分析方法和装置 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102231844A (zh) * | 2011-07-21 | 2011-11-02 | 西安电子科技大学 | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 |
CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和*** |
CN102567744A (zh) * | 2011-12-29 | 2012-07-11 | 中国科学院自动化研究所 | 基于机器学习的虹膜图像质量确定方法 |
CN103049893A (zh) * | 2011-10-14 | 2013-04-17 | 深圳信息职业技术学院 | 一种图像融合质量评价的方法及装置 |
WO2013177779A1 (en) * | 2012-05-31 | 2013-12-05 | Thomson Licensing | Image quality measurement based on local amplitude and phase spectra |
CN104318539A (zh) * | 2014-10-16 | 2015-01-28 | 哈尔滨工程大学 | 一种基于扩展Piella框架的声纳图像融合方法 |
CN111507969A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
-
2010
- 2010-04-12 CN CN201010145894A patent/CN101840573A/zh active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
CN102156982A (zh) * | 2011-03-18 | 2011-08-17 | 北京中星微电子有限公司 | 一种图像嘈杂度的分析方法和装置 |
CN102156982B (zh) * | 2011-03-18 | 2016-05-11 | 北京中星微电子有限公司 | 一种图像嘈杂度的分析方法和装置 |
CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102169576B (zh) * | 2011-04-02 | 2013-01-16 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
CN102231844B (zh) * | 2011-07-21 | 2013-04-03 | 西安电子科技大学 | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 |
CN102231844A (zh) * | 2011-07-21 | 2011-11-02 | 西安电子科技大学 | 基于结构相似度和人眼视觉的视频图像融合性能评价方法 |
CN102289808B (zh) * | 2011-07-22 | 2015-11-04 | 清华大学 | 一种图像融合质量评估方法和*** |
CN102289808A (zh) * | 2011-07-22 | 2011-12-21 | 清华大学 | 一种图像融合质量评估方法和*** |
CN103049893A (zh) * | 2011-10-14 | 2013-04-17 | 深圳信息职业技术学院 | 一种图像融合质量评价的方法及装置 |
CN103049893B (zh) * | 2011-10-14 | 2015-12-16 | 深圳信息职业技术学院 | 一种图像融合质量评价的方法及装置 |
CN102567744B (zh) * | 2011-12-29 | 2014-06-18 | 中国科学院自动化研究所 | 基于机器学习的虹膜图像质量确定方法 |
CN102567744A (zh) * | 2011-12-29 | 2012-07-11 | 中国科学院自动化研究所 | 基于机器学习的虹膜图像质量确定方法 |
WO2013177779A1 (en) * | 2012-05-31 | 2013-12-05 | Thomson Licensing | Image quality measurement based on local amplitude and phase spectra |
CN104318539A (zh) * | 2014-10-16 | 2015-01-28 | 哈尔滨工程大学 | 一种基于扩展Piella框架的声纳图像融合方法 |
CN111507969A (zh) * | 2020-04-20 | 2020-08-07 | 北京英迈琪科技有限公司 | 一种图像融合质量检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101840573A (zh) | 一种像素级图像融合质量评估方法 | |
Rao et al. | Application of normalized cross correlation to image registration | |
CN111429391B (zh) | 一种红外和可见光图像融合方法、融合***及应用 | |
CN106462771A (zh) | 一种3d图像的显著性检测方法 | |
CN102169576A (zh) | 一种图像拼接算法定量评价方法 | |
CN104318545B (zh) | 一种用于雾天偏振图像的质量评价方法 | |
CN107318014B (zh) | 基于视觉显著区域和时空特性的视频质量评估方法 | |
CN101976444A (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
CN105426872B (zh) | 一种基于相关高斯过程回归的面部年龄估计方法 | |
CN103049893A (zh) | 一种图像融合质量评价的方法及装置 | |
CN105976351B (zh) | 基于中央偏移的立体图像质量评价方法 | |
CN107133938B (zh) | 基于小波系数统计模型的鲁棒图像融合方法 | |
CN103871054A (zh) | 一种基于组合指标的图像分割结果定量评价方法 | |
KR102030131B1 (ko) | 적외선 영상을 이용한 연속적인 피부 상태 측정 방법 | |
CN106934770A (zh) | 一种评价雾霾图像去雾效果的方法和装置 | |
CN109754390A (zh) | 一种基于混合视觉特征的无参考图像质量评价方法 | |
CN101183460A (zh) | 彩色图像背景杂波量化方法 | |
Pascal et al. | Strongly convex optimization for joint fractal feature estimation and texture segmentation | |
CN104951800A (zh) | 一种面向资源开采型地区的遥感影像融合方法 | |
Ortiz-Jaramillo et al. | Content-aware contrast ratio measure for images | |
CN104392209B (zh) | 一种目标与背景的图像复杂度评价方法 | |
Abouelaziz et al. | A blind mesh visual quality assessment method based on convolutional neural network | |
CN116664462B (zh) | 一种基于ms-dsc和i_cbam的红外和可见光图像融合方法 | |
Jiang et al. | A comprehensive method of contour extraction for industrial computed tomography images | |
Zengzhen | Image quality assessment in multiband DCT domain based on SSIM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
DD01 | Delivery of document by public notice |
Addressee: Dong Na Document name: Notification of Publication of the Application for Invention |
|
DD01 | Delivery of document by public notice |
Addressee: Li Shanshan Document name: Notification of before Expiration of Request of Examination as to Substance |
|
DD01 | Delivery of document by public notice |
Addressee: Li Shanshan Document name: Notification that Application Deemed to be Withdrawn |
|
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20100922 |