CN109919959B - 基于色彩、自然性及结构的色调映射图像质量评价方法 - Google Patents
基于色彩、自然性及结构的色调映射图像质量评价方法 Download PDFInfo
- Publication number
- CN109919959B CN109919959B CN201910068926.7A CN201910068926A CN109919959B CN 109919959 B CN109919959 B CN 109919959B CN 201910068926 A CN201910068926 A CN 201910068926A CN 109919959 B CN109919959 B CN 109919959B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- calculating
- extracting
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 title claims abstract description 10
- 238000005282 brightening Methods 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 abstract 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种基于色彩、自然性及结构的色调映射图像质量评价方法,包括以下步骤:图像色彩特征提取:给定一张色调映射图像I,将RGB颜色空间变换到对立颜色空间之后计算全局图像色彩,提取图像全局色彩特征;在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征;图像自然性特征提取;图像结构特征提取:对于图像I,使用双阈值Canny边缘检测器获取边缘信息,计算细节和基本结构之间的比值,以该比值平均值作为第一种图像结构特征;通过对图像I采取变暗或变亮操作获得“伪”TM图像,提取第二种图像结构特征;图像质量评价。
Description
技术领域
本发明属于图像处理领域,尤其是涉及一种色调映射图像的无参考质量评价方法。
背景技术
自然场景中的动态范围很广,并且具有很大的跨越性。以其原始动态范围生动地描述自然场景是图像显示领域不懈努力的目标。高动态范围(HDR)图保留了丰富的细节,如何将HDR图像在低动态范围(LDR)显示器上可视化是大规模应用HDR图像的一大障碍。为了解决这个问题,色调映射算子(TMO)应运而生,其将HDR图像映射为LDR图像。随着动态范围的压缩,由此产生的失真不可避免,从而带来恼人的感知体验。目前没有一种通用的TMO能够有效处理所有图像,尤其缺少无参考图像质量评价方法,因此需要一种有效的图像质量评价方法促进TMO的改进。本发明分析了色调映射(TM)图像的失真特点,基于色彩、自然性及结构特征,提出一种无参考图像质量评价方法。本发明首次从多角度综合提出TM图像的图像质量评价方法。
发明内容
本发明针对TM图像的失真特点,提出一种无参考TM图像质量评价方法,该方法与主观评价分数有着较高的一致性。技术方案如下:
一种基于色彩、自然性及结构的色调映射图像质量评价方法,包括以下步骤:
(1)图像色彩特征提取
给定一张色调映射图像I,首先将RGB颜色空间变换到对立颜色空间K1K2,K1是红-绿通道,K2表示黄-蓝通道,之后计算全局图像色彩,提取图像全局色彩特征;在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征,将这两种图像色彩特征向量记作F1。
(2)图像自然性特征提取
对于图像I,应用自然场景统计NSS模型,获得去均值对比度归一化MSCN系数;应用零均值广义高斯分布模型获取更广泛的失真图像统计数据,即获取用以确定分布的形状和方差的第一种质量敏感特征;计算图像对比度及梯度,应用双参数韦伯函数拟合梯度幅度图,提取对局部边缘空间频率敏感的形状参数和反应局部对比度的参数作为第二种质量敏感特征,将由两种质量敏感特征构成的图像自然性特征向量记作F2。
(3)图像结构特征提取
1)对于图像I,使用双阈值Canny边缘检测器获取边缘信息,计算细节和基本结构之间的比值,以该比值平均值作为第一种图像结构特征;
2)通过对图像I采取变暗或变亮操作获得“伪”TM图像,计算“伪”TM图像与I的梯度相似度,并计算二者之间的显著相似性,将梯度和显著相似性结合产生联合相似性特征,同时提取并整合“伪”TM图像与I的全局和局部熵,作为第二种图像结构特征,将两种图像结构特征向量记作F3。
(4)图像质量评价
图像特征向量F={F1,F2,F3},采用基于学习的方法,将提取得到的特征输入到支持向量回归SVR中获得训练模型,输入测试图像得到最终的质量评价结果。
本发明提出的TM图像的质量评价方法,不需要参考图像的介入,可以有效地评价TM 图像质量。
附图说明
图1算法框架
具体实施方式
本发明提出一种无参考TM图像质量评价方法,框架如图1所示。
(1)图像色彩特征提取
给定一张图像I,首先将其从RGB颜色空间转换到对立颜色空间K1K2:K1是红-绿通道,K2表示黄-蓝通道。之后计算全局图像色彩:
在图像块上提取图像对比度:
其中M,N表示图像块的大小;Imax,m,n和Imin,m,n分别表示图像块中的像素最大值和最小值。通过基于块的对比度均值和方差来估计局部图像的色彩。
(2)图像自然性特征提取
对于尺度为W×H的图像I,应用自然场景统计(NSS)模型,计算去均值对比度归一化(MSCN)系数:
其中μI(i,j)和σI(i,j)代表由(2P+1)×(2Q+1)个像素包围的第(i,j)个像素的平均值和标准偏差;P和Q确定计算中考虑的大小。ω={ωp,q|p=-P,-P+1,...,P-1,P;q=-Q,-Q+1,...,Q-Q,Q}表示2D圆形对称卷积窗口,本发明中采用7×7的二维高斯核。
利用零均值广义高斯分布获得失真图像更多的统计规律:
其中参数α和δ2分别确定分布的形状和方差。κ是MSCN系数。在本发明中,我们将α和δ2作为质量敏感特征。
计算图像对比度及梯度,梯度幅度G计算如下:
使用双参数韦伯函数拟合梯度幅度图,双参数韦伯函数的概率密度函数为:
其中x表示梯度值;γ是形状参数,控制分布的峰值;λ决定分布的宽度,反映局部对比度。本发明提取γ和λ作为质量敏感特征用来TM图像的质量评价。
(3)图像结构特征提取
使用双阈值Canny边缘检测器提取边缘信息,并计算细节与基本结构之间的比率:
其中,Eh和El表示有高和低阈值获得的边缘图。Re的平均值被作为质量敏感特征。
给定TM图像I,创新性地提出:使其变暗和变亮以获得一组衍生的“伪”TM图像:
It=I·M (12)
其中C1=(0.01L)2,是为了保持稳定的常数。L=255是动态范围。
计算原始TM图像及“伪”TM图像之间的显著性相似性VSS,将其与梯度相似度结合生成“联合相似性”JS:
Js(i,j)=GS(i,j)·VSS(i,j) (14)
将JS的平均值计算为一个特征。提取TM图像及其派生版本的全局和局部熵来量化信息,整合后作为特征之一。
(4)图像质量评价
用LIBSVM包实现SVR,将高维向量映射到低维空间,得到训练模型,输入测试图像后可获得相应图像质量分数。假设参数ε>0,t>0,SVR的标准形式为:
为了验证算法有效性,本发明选择ESPL-LIVEHDR数据库进行验证。该数据库包含1811幅图像。
为了检验图像质量评价算法的性能,采用斯皮尔曼秩相关系数(SRCC)、肯德尔秩相关系数(KRCC)、均方根误差(RMSE)和皮尔森线性相关系数(PLCC)作为评估准则。SRCC、PLCC和KRCC值越接近于1,RMSE越小,表明本发明提出的算法具有更好的性能,和主观打分一致性越高。
实验结果表明本发明能够取得SRCC=0.7356,PLCC=0.7422,KRCC=0.5365,RMSE=6.7127。说明本方法的客观质量评价预测值与主观评分之间的相关性高,表明本发明方法与人眼视觉***有较好的一致性。
Claims (2)
1.一种基于色彩、自然性及结构的色调映射图像质量评价方法,包括以下步骤:
(1)图像色彩特征提取
给定一张色调映射图像I,首先将RGB颜色空间变换到对立颜色空间K1K2,K1是红-绿通道,K2表示黄-蓝通道,之后计算全局图像色彩,提取图像全局色彩特征;在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征,将这两种图像色彩特征向量记作F1;
(2)图像自然性特征提取
对于图像I,应用自然场景统计NSS模型,获得去均值对比度归一化MSCN系数;应用零均值广义高斯分布模型获取失真图像统计数据,即获取用以确定分布的形状和方差的第一种质量敏感特征;计算图像对比度及梯度,应用双参数韦伯函数拟合梯度幅度图,提取对局部边缘空间频率敏感的形状参数和反应局部对比度的参数作为第二种质量敏感特征,将由两种质量敏感特征构成的图像自然性特征向量记作F2;
(3)图像结构特征提取
1)对于图像I,使用双阈值Canny边缘检测器获取边缘信息,计算细节和基本结构之间的比值,以该比值平均值作为第一种图像结构特征;
2)通过对图像I采取变暗或变亮操作获得“伪”TM图像,计算“伪”TM图像与I的梯度相似度,并计算二者之间的显著相似性,将梯度和显著相似性结合产生联合相似性特征,同时提取并整合“伪”TM图像与I的全局和局部熵,作为第二种图像结构特征,将两种图像结构特征向量记作F3;
(4)图像质量评价
图像特征向量F={F1,F2,F3},采用基于学习的方法,将提取得到的特征输入到支持向量回归SVR中获得训练模型,输入测试图像得到最终的质量评价结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910068926.7A CN109919959B (zh) | 2019-01-24 | 2019-01-24 | 基于色彩、自然性及结构的色调映射图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910068926.7A CN109919959B (zh) | 2019-01-24 | 2019-01-24 | 基于色彩、自然性及结构的色调映射图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919959A CN109919959A (zh) | 2019-06-21 |
CN109919959B true CN109919959B (zh) | 2023-01-20 |
Family
ID=66960597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910068926.7A Active CN109919959B (zh) | 2019-01-24 | 2019-01-24 | 基于色彩、自然性及结构的色调映射图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919959B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112132774A (zh) * | 2019-07-29 | 2020-12-25 | 方玉明 | 一种色调映射图像的质量评价方法 |
CN110827237B (zh) * | 2019-09-27 | 2022-10-04 | 浙江工商职业技术学院 | 基于拮抗颜色空间半参考色调映射图像质量评价方法 |
CN110910346A (zh) * | 2019-10-17 | 2020-03-24 | 浙江工商职业技术学院 | 基于稠密尺度不变特征变换的色调映射图像质量评价方法 |
CN111028923B (zh) * | 2019-10-18 | 2024-01-30 | 平安科技(深圳)有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
CN110853027A (zh) * | 2019-11-18 | 2020-02-28 | 方玉明 | 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法 |
CN111489333B (zh) * | 2020-03-31 | 2022-06-03 | 天津大学 | 一种无参考夜间自然图像质量评价方法 |
CN112085668B (zh) * | 2020-08-14 | 2023-10-10 | 深圳大学 | 一种基于区域自适应自监督学习的图像色调映射的方法 |
CN113077405A (zh) * | 2021-03-27 | 2021-07-06 | 荆门汇易佳信息科技有限公司 | 二分割分块的颜色传递及其质量评价体系 |
CN113743387B (zh) * | 2021-11-05 | 2022-03-22 | 中电科新型智慧城市研究院有限公司 | 视频行人重识别方法、装置、电子设备及可读存储介质 |
CN114463318B (zh) * | 2022-02-14 | 2022-10-14 | 宁波大学科学技术学院 | 一种多曝光融合图像的视觉质量评估方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616294A (zh) * | 2015-01-21 | 2015-05-13 | 同济大学 | 一种基于视觉显著性的色调映射图像质量评价方法 |
CN104899845A (zh) * | 2015-05-10 | 2015-09-09 | 北京工业大学 | 一种基于lαβ空间场景迁移的多曝光图像融合方法 |
CN105491371A (zh) * | 2015-11-19 | 2016-04-13 | 国家新闻出版广电总局广播科学研究院 | 基于梯度幅值相似性的色调映射图像质量评价方法 |
CN107040775A (zh) * | 2017-03-20 | 2017-08-11 | 宁波大学 | 一种基于局部特征的色调映射图像质量客观评价方法 |
CN107105223A (zh) * | 2017-03-20 | 2017-08-29 | 宁波大学 | 一种基于全局特征的色调映射图像质量客观评价方法 |
CN109191460A (zh) * | 2018-10-15 | 2019-01-11 | 方玉明 | 一种对于色调映射图像的质量评价方法 |
CN109218716A (zh) * | 2018-10-22 | 2019-01-15 | 天津大学 | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 |
-
2019
- 2019-01-24 CN CN201910068926.7A patent/CN109919959B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616294A (zh) * | 2015-01-21 | 2015-05-13 | 同济大学 | 一种基于视觉显著性的色调映射图像质量评价方法 |
CN104899845A (zh) * | 2015-05-10 | 2015-09-09 | 北京工业大学 | 一种基于lαβ空间场景迁移的多曝光图像融合方法 |
CN105491371A (zh) * | 2015-11-19 | 2016-04-13 | 国家新闻出版广电总局广播科学研究院 | 基于梯度幅值相似性的色调映射图像质量评价方法 |
CN107040775A (zh) * | 2017-03-20 | 2017-08-11 | 宁波大学 | 一种基于局部特征的色调映射图像质量客观评价方法 |
CN107105223A (zh) * | 2017-03-20 | 2017-08-29 | 宁波大学 | 一种基于全局特征的色调映射图像质量客观评价方法 |
CN109191460A (zh) * | 2018-10-15 | 2019-01-11 | 方玉明 | 一种对于色调映射图像的质量评价方法 |
CN109218716A (zh) * | 2018-10-22 | 2019-01-15 | 天津大学 | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
Blind Quality Assessment of Tone-Mapped Images Via Analysis of Information, Naturalness, and Structure;K. Gu 等;< IEEE Transactions on Multimedia>;20161231;论文第432-443页 * |
一种针对色调映射图像的客观质量评估模型;郑艳梅,岳向江,彭博,芦碧波;《小型微型计算机***》;20171231;论文第2615-2618页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109919959A (zh) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919959B (zh) | 基于色彩、自然性及结构的色调映射图像质量评价方法 | |
CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
Li et al. | Which has better visual quality: The clear blue sky or a blurry animal? | |
Kundu et al. | No-reference quality assessment of tone-mapped HDR pictures | |
Sun et al. | SPSIM: A superpixel-based similarity index for full-reference image quality assessment | |
Jiang et al. | BLIQUE-TMI: Blind quality evaluator for tone-mapped images based on local and global feature analyses | |
CN108010024B (zh) | 一种盲参考色调映射图像质量评价方法 | |
CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
Zhang et al. | A no-reference evaluation metric for low-light image enhancement | |
Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
Zhang et al. | Fine-grained quality assessment for compressed images | |
Zheng et al. | No-reference quality assessment for screen content images based on hybrid region features fusion | |
Zhang et al. | An algorithm for no-reference image quality assessment based on log-derivative statistics of natural scenes | |
CN110246111B (zh) | 基于融合图像和强化图像的无参考立体图像质量评价方法 | |
CN109218716B (zh) | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 | |
Shi et al. | Full-reference image quality assessment based on image segmentation with edge feature | |
Chen et al. | Blind quality index for tone-mapped images based on luminance partition | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
Wang et al. | Screen content image quality assessment with edge features in gradient domain | |
CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
Wang et al. | Quality assessment for color correction-based stitched images via bi-directional matching | |
Liu et al. | High dynamic range image quality assessment based on frequency disparity | |
CN111489333B (zh) | 一种无参考夜间自然图像质量评价方法 | |
Ponomarenko et al. | Sharpness metric for no-reference image visual quality assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |