CN107316323B - 基于多尺度分析法建立的无参考图像质量评估方法 - Google Patents
基于多尺度分析法建立的无参考图像质量评估方法 Download PDFInfo
- Publication number
- CN107316323B CN107316323B CN201710505135.7A CN201710505135A CN107316323B CN 107316323 B CN107316323 B CN 107316323B CN 201710505135 A CN201710505135 A CN 201710505135A CN 107316323 B CN107316323 B CN 107316323B
- Authority
- CN
- China
- Prior art keywords
- image
- quality evaluation
- scale
- pixel point
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多尺度分析法建立的无参考图像质量评估方法,能有效评估基于深度图像绘制技术合成图像的质量。本发明考虑到基于深度图像绘制技术合成图像的参考图像通常不可获得,利用深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随图像尺寸缩小而趋于减小的先验知识建立了无参考图像多尺度分析质量评估模型。根据利用主流数据库来对模型进行性能测试的结果,本发明的性能和现有的评估方法相比有较大优势。值得注意的是,由于目前很少有关于深度图像绘制技术合成图像的无参考评估方法的研究,本发明填补了这方面的空白,为将来无参考图像质量评价算法的提高开辟了一个方向。
Description
技术领域
本发明属于图像质量评价方法,利用多尺度分析法建立一种新型无参考图像质量评估方法,能有效评价基于深度图像绘制技术合成的图像质量。
背景技术
基于深度图像绘制技术合成的图像可为用户提供自由视角的体验,使得它能被广泛应用于远程教育、监控、医疗和娱乐等领域。基于深度图像绘制技术合成的图像原理是通过相邻图像合成出虚拟图像。在此过程中,不可避免会引入几何失真。如图1,几何失真和模糊、噪声失真等相比呈现出不同的视觉影响。然而,目前缺乏对基于深度图像绘制技术合成的图像的质量评估方法的研究。现有的图像质量评估算法多依据于参考图像,由于基于深度图像绘制技术合成的图像本身为虚拟图像,通常不能获取其参考图像,因此现有方法难以适用。
为此,本发明提出了基于多尺度分析的无参考图像质量评估方法。本发明主要依据原理是深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随着图像尺寸缩小而趋于减小的先验知识。以图1(a)为参考图像X,(d)为相应的基于深度图像绘制技术合成的图像Y为例。由图2可知,X和Y的距离随着尺寸缩小而减小,其中结构相似度(SSIM[1])的值与图像相似度成正相关,与图像距离成负相关。我们发现Y5和相对应的参考图像X5之间SSIM非常高,意味着两者之间具有非常高的相似度。由此规律,提出了基于多尺度分析的无参考图像质量评估方法,经过和其它一些图像质量评估方法进行对比实验,本发明的性能有明显的优势。
发明内容
本发明利用多尺度分析法建立一种新型无参考图像质量分析方法。本发明主要依据原理是深度图像绘制技术造成几何失真破坏自然图像自相似特性,并且破坏程度随图像尺寸缩小而趋于减小的先验知识。当图像尺寸缩小到一定程度时,通过升采样技术使图片尺寸匹配估计图像的大小就可以近似的作为相应的参考图像。使得本方法在没有参考图像的情况下也能对图像进行评估,并且通过实验可知,本方法的性能比现有无参考评估方法都要优越。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第五步、最后计算出基于深度图像绘制技术合成图像的质量评估分数QMSA。
本发明的原理是:主要依据两点,其一是深度图像绘制技术造成几何失真破坏自然图像自相似特性,另一是失真程度随着图像尺寸缩小而趋于减小。由图2所示,X5和Y5的SSIM值很高,也就意味着Y5与X5相似度很高,因此可以用Y5近似为参考图像X5。参考图像和基于深度图像绘制技术合成图像的距离公式可以近似为:例如其中“^”表示将图像升采样得到相匹配的尺寸。为了解决升采样引入模糊失真的问题,用相似度代替距离通过计算每一个像素的相似度并设置阈值τ来过滤模糊失真得到提取出几何失真区域,效果如图3。最后计算出几何失真像素点占总图像像素点比例作为多尺度质量评估值QMSA。可知QMSA值越小代表几何失真比例越小,主观评分将会越高。
附图说明
图1、典型失真(白噪声和高斯模糊)与几何失真之间的差异的图示。
图2、参考图像和基于深度图像绘制技术合成图像在多尺度上的比较。2↓:降采样缩小2倍。4↑:升采样放大4倍。
具体实施方式:
下面对本发明的实施例作详细说明,本实施例在本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例:
其中N为尺度数,N由第一步可知为5,j指图像中像素点的索引,{θ1,θ2,θ3,θ4,θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333}。
其中阈值τ基于大数据样本的自然图像的统计特性得出。随机选取300幅高质量自然场景图像,并且计算它们的上述所选图像均不含有几何失真,即,所有300幅图像的大约5千万像素点的值均高于阈值τ。绘制出所有像素点值的直方图。通过直方图可得出99.85%的像素点的值大于0.1,因此将阈值τ设置为0.1来提取出几何失真区域。通过此公式可提取出几何失真区域,由第三步求得。
第五步,最后计算出基于深度图像绘制技术合成的图像的质量评估分数QMSA,方法如下:
实施效果
依据上述步骤,本发明利用IRCCyN/IVC数据库[2]来对方法进行性能测试。同时,以9种其它质量评估方法进行比较。这9种方法分为两类,一类为6种有参考评估方法:SSIM、FSIM、IGM、ADD-SSIM、PSIM和MW-PSNR,另一类为3种无参考评估方法NIQE、SISBLIM和ASIQE。采用三种常用的评价指标,斯皮尔曼有序等级相关系数(SROCC)、皮尔森线性相关系数(PLCC)和平均绝对误差(MAE)。
主客观评估分数非线性回归方程:
其中QMSA为客观评估分数,f(QMSA)为回归后的客观分数,{v1,v2,v3,v4,v5}为非线性回归拟合过程的参数,使得f(QMSA)与主观分数尽量接近。
SROCC的计算公式如下:
其中di表示第i幅图像主客观评估等级差异。W表示主客观评估对的总数。SROCC的值越接近于1越好。
PLCC的计算公式为:
MAE的计算公式为:
其中oi和qi分别为第i幅图像的主观分数和回归后的客观分数,W为图像总数。MAE的值越小越好。
最终可得本发明提出方法的SROCC、PLCC和MAE分别达到0.6521、0.6393和0.3938。接近性能最好的全参考图像质量估计方法,与现有的无参考图像质量估计方法相比有很大优势。
[1]SSIM:Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment:From error visibility to structuralsimilarity”;
表1中所述的算法具体是指:
[2]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image qualityassessment:From error visibility to structural similarity,”IEEE Trans.ImageProcess.,vol.13,no.4,pp.600-612,Apr.2004.Online at:http://live.ece.utexas.edu/research/quality
[3]L.Zhang,L.Zhang,X.Mou,and D.Zhang,“FSIM:Afeature similarity indexfor image quality assessment,”IEEE Trans.Image Process.,vol.20,no.8,pp.2378-2386,Aug.2011.
[4]J.Wu,W.Lin,G.Shi,and A.Liu,“Perceptual qualitymetric with internalgenerativemechanism,”IEEE Trans.Image Process.,vol.22,no.1,pp.43-54,Jan.2013
[5]K.Gu,S.Wang,G.Zhai,W.Lin,X.Yang,and W.Zhang,“Analysis ofdistortiondistribution for pooling in imagequality prediction,”IEEETrans.Broadcasting,vol.62,no.2,pp.446-456,Jun.2016.
[6]K.Gu,L.Li,H.Lu,X.Min,and W.Lin,“A fast reliable image qualitypredictor by fusing micro-and macrostructures,”IEEE Trans.Ind.Electron.,vol.64,no.5,pp.3903-3912,May 2017.
[7]D.S.Stankovic,D.Kukolj,and P.Le Callet,“DIBRsynthesized imagequality assessment based on morphological wavelets,”in QoMEX,pp.1-6,Jan.2015.
[8]A.Mittal,R.Soundararajan,and A.C.Bovik,“Makinga‘completely blind’image qualityanalyzer,”IEEE SPL,vol.22,no.3,pp.209-212,Mar.2013.
[9]K.Gu,G.Zhai,X.Yang,and W.Zhang,“Hybrid noreference quality metricfor singly and multiply distortedimages,”IEEE Trans.Broadcasting,vol.60,no.3,pp.555-567,Sep.2014.
[10]K.Gu,J.Zhou,J.-F.Qiao,G.Zhai,W.Lin,and A.C.Bovik,“No-referencequalityassessment of screen content pictures,”IEEE Trans.Image Process.,2017.
Claims (1)
1.基于多尺度分析方法建立无参考图像质量评估方法,其特征在于包括以下步骤:
第一步、多尺度近似参考图像生成,其方法是:通过双边插值技术将Yi图像进行升采样达到与Y1相匹配的尺寸,得到近似参考图像其中Y1为基于深度图像绘制技术合成的原尺寸图像,Yi为Y1按比例缩小的图像,随i增大依次缩小2倍,由实验得出i={1,2,3,4,5}即可,为升采样近似参考图像;
其中N为尺度数,N由第一步可知为5,j指图像中像素点的索引,{θ1θ2θ3θ4θ5}根据心理学实验获得为{0.0448,0.2856,0.3001,0.2363,0.1333};
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710505135.7A CN107316323B (zh) | 2017-06-28 | 2017-06-28 | 基于多尺度分析法建立的无参考图像质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710505135.7A CN107316323B (zh) | 2017-06-28 | 2017-06-28 | 基于多尺度分析法建立的无参考图像质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107316323A CN107316323A (zh) | 2017-11-03 |
CN107316323B true CN107316323B (zh) | 2020-09-25 |
Family
ID=60181267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710505135.7A Active CN107316323B (zh) | 2017-06-28 | 2017-06-28 | 基于多尺度分析法建立的无参考图像质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107316323B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108376396B (zh) * | 2018-01-05 | 2022-07-05 | 北京工业大学 | 基于图像的高效pm2.5浓度预测方法 |
CN108257125B (zh) * | 2018-01-24 | 2022-04-29 | 中国矿业大学 | 一种基于自然场景统计的深度图像质量无参考评价方法 |
CN109448037B (zh) * | 2018-11-14 | 2020-11-03 | 北京奇艺世纪科技有限公司 | 一种图像质量评价方法及装置 |
CN110208658B (zh) * | 2019-05-23 | 2021-03-19 | 国网天津市电力公司电力科学研究院 | 一种对局部放电诊断结果进行多元互补交叉验证的方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6678421B1 (en) * | 2000-06-09 | 2004-01-13 | Hrl Laboratories, Llc | Subband coefficient prediction with pattern recognition techniques |
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
CN104023230A (zh) * | 2014-06-23 | 2014-09-03 | 北京理工大学 | 一种基于梯度关联性的无参考图像质量评价方法 |
JP2014168150A (ja) * | 2013-02-28 | 2014-09-11 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム |
CN104112274A (zh) * | 2014-07-04 | 2014-10-22 | 上海交通大学 | 基于混合尺度变换的图像质量评价方法 |
CN105261013A (zh) * | 2015-09-25 | 2016-01-20 | 孙高磊 | 一种扫描图像质量综合评价方法及评价*** |
CN106028026A (zh) * | 2016-05-27 | 2016-10-12 | 宁波大学 | 一种基于时空域结构的高效视频质量客观评价方法 |
CN106169174A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像放大方法 |
CN106415657A (zh) * | 2014-01-30 | 2017-02-15 | 汤姆逊许可公司 | 用于增强图像质量的方法和设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097327B (zh) * | 2016-06-06 | 2018-11-02 | 宁波大学 | 结合流形特征及双目特性的立体图像质量客观评价方法 |
-
2017
- 2017-06-28 CN CN201710505135.7A patent/CN107316323B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6678421B1 (en) * | 2000-06-09 | 2004-01-13 | Hrl Laboratories, Llc | Subband coefficient prediction with pattern recognition techniques |
WO2010091494A1 (en) * | 2009-02-11 | 2010-08-19 | Ecole De Technologie Superieure | Method and system for determining structural similarity between images |
JP2014168150A (ja) * | 2013-02-28 | 2014-09-11 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び画像符号化復号システム |
CN106415657A (zh) * | 2014-01-30 | 2017-02-15 | 汤姆逊许可公司 | 用于增强图像质量的方法和设备 |
CN104023230A (zh) * | 2014-06-23 | 2014-09-03 | 北京理工大学 | 一种基于梯度关联性的无参考图像质量评价方法 |
CN104112274A (zh) * | 2014-07-04 | 2014-10-22 | 上海交通大学 | 基于混合尺度变换的图像质量评价方法 |
CN105261013A (zh) * | 2015-09-25 | 2016-01-20 | 孙高磊 | 一种扫描图像质量综合评价方法及评价*** |
CN106028026A (zh) * | 2016-05-27 | 2016-10-12 | 宁波大学 | 一种基于时空域结构的高效视频质量客观评价方法 |
CN106169174A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像放大方法 |
Non-Patent Citations (3)
Title |
---|
No-Reference Image Quality Assessment in the Spatial Domain;Anish Mit等;《IEEE TRANSACTIONS ON IMAGE PROCESSING,》;20121231;第4695-4707页 * |
基于多尺度几何分析的医学图像融合算法研究;姜晓丽;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20151015(第10期);第I138-481页 * |
基于自然图像信息统计的无参考图像质量评估研究;楼斌等;《浙江大学学报(工学版)》;20100228;第44卷(第2期);第248-252页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107316323A (zh) | 2017-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316323B (zh) | 基于多尺度分析法建立的无参考图像质量评估方法 | |
Varghese et al. | Video denoising based on a spatiotemporal Gaussian scale mixture model | |
KR102104403B1 (ko) | 단일영상 내의 안개 제거 방법 및 장치 | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
CN103440630A (zh) | 基于引导滤波器的大动态范围红外图像显示与细节增强方法 | |
CN104796582B (zh) | 基于随机喷射retinex的视频图像去噪与增强方法及装置 | |
CN107730536B (zh) | 一种基于深度特征的高速相关滤波物体追踪方法 | |
CN112270654A (zh) | 基于多通道gan的图像去噪方法 | |
CN102298774B (zh) | 基于联合相似性的非局部均值去噪方法 | |
Kaur et al. | Performance evaluation of fuzzy and histogram based color image enhancement | |
CN108492268A (zh) | 基于小波系数融合的低照度图像增强算法 | |
Kumari et al. | Real time visibility enhancement for single image haze removal | |
CN115660998A (zh) | 基于深度学习和传统先验知识融合的图像去雾方法 | |
Josephus et al. | Multilayered contrast limited adaptive histogram equalization using frost filter | |
CN107798676B (zh) | 基于多尺度自然场景统计建立的无参考图像质量感知方法 | |
Wang et al. | Retinex algorithm on changing scales for haze removal with depth map | |
CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
CN106780398B (zh) | 一种基于噪声预测的图像去噪方法 | |
Thayammal et al. | Performance analysis of image denoising using deep convolutional neural network | |
Budhiraja et al. | Effect of pre-processing on MST based infrared and visible image fusion | |
Xiong et al. | Improved haze removal algorithm using dark channel prior | |
CN110647843B (zh) | 一种人脸面部图像处理方法 | |
CN108428217B (zh) | 一种基于频域视觉感知估算的图像去雾方法 | |
CN110197471B (zh) | 一种图像对比度增强方法 | |
Jayanthi et al. | Underwater haze removal using contrast boosted grayscale image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |