CN108074239B - 一种基于先验感知质量特征图的无参考图像质量客观评价方法 - Google Patents
一种基于先验感知质量特征图的无参考图像质量客观评价方法 Download PDFInfo
- Publication number
- CN108074239B CN108074239B CN201711488518.4A CN201711488518A CN108074239B CN 108074239 B CN108074239 B CN 108074239B CN 201711488518 A CN201711488518 A CN 201711488518A CN 108074239 B CN108074239 B CN 108074239B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- quality characteristic
- score
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于先验感知质量特征图的无参考图像质量客观评价方法,本发明通过待评价图像先由全卷积网络生成感知质量特征图,再由深度网络对感知质量特征图进行池化得到主观分数的方法,实现图像的无参考质量评价。由全参考图像质量评价方法生成的感知质量特征图做为标签训练基于U‑net的相似质量图生成全卷积网络,由主观评价分数作为标签训练感知质量特征图质量分数池化网络,失真图通过训练好的质量特征图生成全卷积网络和质量分数池化网络生成质量特征图和质量评价分数。本发明在得到失真图像质量分数的同时,还可以得到一张反映失真区域及程度的感知质量特征图,能更好的反应失真图像的失真程度和失真信息。
Description
技术领域
本发涉及一种基于先验感知质量特征图的无参考图像质量客观评价方法,属于数字图像处理技术领域。
背景技术
图像作为视觉信息的来源,蕴含了大量的有价值信息。图像质量的好坏直接影响到人们的主观感受和信息量获取,图像质量评价(Image quality assessment,IQA)的研究也在近20年受到广泛的重视。
图像质量评价可以分为主观评价方法和客观评价方法。主观评价由观察者对图像质量进行主观评分,但主观评价工作量大、耗时长,不方便;客观评价方法是由计算机根据一定算法计算得到图像的质量指标,根据评价时是否需要参考图像又可以分为全参考(Full reference,FR)、半参考(部分参考)(Reduced reference,RR)和无参考(Noreference,NR)等三类评价方法:
(1)全参考图像质量评价方法。FR算法是指在给定理想图像作为参考图像的标准下,比较待评价图像与参考图像之间的差异,分析待评价图像的失真程度,从而得到待评价图像的质量评估。常见的FR方法的有:基于图像像素统计基础的图像质量评价(主要有峰值信噪比和均方误差)、基于信息论基础的图像质量评价(主要有信息保真度准则和视觉信息保真度)、基于结构信息基础的图像质量评价(主要为结构相似度)。FR算法是目前为止在客观图像评价中最可靠的方法。
(2)半参考图像质量评价方法。RR算法是以提取参考图像的部分特征信息作为参考,对待评测图像进行比较分析,从而得到图像的质量评估。常见的RR算法主要为:基于原始图像特征方法、基于数字水印方法和基于Wavelet域统计模型的方法。
(3)无参考图像质量评价方法。NR算法是指没有理想图像下,对待评测图像进行质量评估的方法。常用的NR算法主要为:基于块压缩的方法、基于深度学习的方法(CNN、BIECON等)。
针对图像在获取、处理、传输和记录的过程中,由于成像***、处理方法、传输介质和记录设备等不完善,加之物体运动、噪声干扰等原因所造成的图像失真和图像降质的问题,往往要对失真图像质量进行定量的评价,由失真图像直接得到主观评价分数而不使用失真图像的参考图像,称为无参考图像质量客观评价。
发明内容
针对现有图像质量评价中无参考图像质量评价性能差的问题,本发明提出了一种无参考质量客观评价方法,利用全参考图像质量客观评价方法生成的先验感知质量特征图作为训练标签训练深度全卷积网络,使失真图像通过全卷积网络可以产生一个感知质量特征图,并训练分数池化网络,由得到的感知质量特征图得到最后的图像主观质量分数。
本发明采用的技术方案为一种基于先验感知质量特征图的无参考图像质量客观评价方法,包括以下步骤:
步骤1,生成先验感知质量特征图像库。
选取失真图像数据库,由每一张失真图像和其参考图像运用全参考图像质量评价方法FSIM生成失真梯度信息图FSIMg,由所有失真图像的FSIMg作为先验感知质量特征图像库。
步骤2,训练感知质量特征图生成网络。
由失真图像数据库中的失真图像和生成的感知质量特征图像库作为训练数据,训练一个基于U-Net的全卷积感知质量特征图生成网络。所述感知质量特征图生成网络是一种基于U-Net结构的全卷积网络,感知质量特征图生成网络的输入为一张三通道的彩色图;感知质量特征图生成网络的输出为一张与输入等大的灰度图。训练感知质量特征图生成网络的步骤如下:
步骤2.1,将失真图像数据库每一张失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的失真图像块。
步骤2.2,搭建基于U-Net的全卷积感知质量特征图生成网络。
步骤2.3,将步骤2.1中剪裁好的失真图像块作为基于U-Net的全卷积感知质量特征图生成网络的输入,对应的感知质量特征图作为标签,采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。
步骤3,训练分数池化网络。
由感知质量特征图生成网络的输出图作为训练分数池化网络的输入,图像主观失真分数作为标签,训练分数池化网络。所述分数池化网络由五层卷积层和两层全连接层组成,分数池化网络的输入为一大小为144×144的单通道图像,分数池化网络的输出为一0到100间的分数。
步骤3.1,搭建分数池化网络,将分数池化接在感知质量特征图生成网络Logistic输出层之后。
步骤3.2,训练分数池化网络。训练时固定感知质量特征图生成网络,使分数池化网络的输入为感知质量特征图生成网络的输出,以图像主观失真分数为标签,采用线性回归对分数池化网络进行训练。
步骤4,对待预测失真图像进行无参考质量客观评价。
将待预测失真图像输入预测网络(感知质量特征图生成网络+分数池化网络),得到相感知质量特征图和预测主观评价分数。
步骤4.1,将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块。
步骤4.2,将每一小块输入预测网络(感知质量特征图生成网络+分数池化网络),网络输出每个小块的感知质量特征图和预测分数。
步骤4.3,将每个小块的感知质量特征图拼接,得到待预测失真图像的感知质量特征图。
步骤4.4,将所有个小块的预测分数平均,得到失真图质量预测分数。
与现有技术相比,本发明具有以下优点:
(1)生成一个感知质量特征图,本发明方法模拟全参考质量客观评价的方法,可以产生一个人眼视觉***(HVS)的相关质量图,逼近从像素级别反映的失真相似度指数图,本发明方法预测的质量图可以简单而有效的反映出像素级别的失真区域。
(2)本方法采用深度学习的方法,可以更好的回归拟合图像的失真与主观分数的关系,实验证明,本发明的性能优于传统的无参考质量评价方法,甚至优于一些全参考质量评价方法。
附图说明
图1为本发明具体实施方式的流程图;
图2为本发明网络结构图,其中(a)部分为感知质量特征图生成网络,(b)部分为分数池化网络;
图3为本发明生成感知质量特征图对比,(a)为原图,(b)为全参考方法生成的感知质量特征图,(c)部分为本方法生成的感知质量特征图。
具体实施方式
实施方式。
实施方式的流程图如图1所示,包括以下步骤:
步骤S10,生成感知质量特征图像库;
步骤S20,训练感知质量特征图生成网络;
步骤S30,训练分数池化网络;
步骤S40,对待预测失真图像进行无参考质量评价。
实施方式的训练感知质量特征图生成网络调整步骤S20还包括以下步骤:
步骤S200,将TID2013数据库每一失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的图像块;
步骤S210,搭建基于U-Net的全卷积感知质量特征图生成网络;
步骤S220,将剪裁好的失真图像块作为输入,对应的感知质量特征图作为标签,采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。
实施方式的训练分数池化网络调整步骤S30还包括以下步骤:
步骤S300,搭建分数池化网络,将分数池化接在感知质量特征图生成网络Logistic输出层之后;
步骤S310,训练分数池化网络。训练时固定相似图生成网络,使分数池化网络的输入为质量特征图生成网络的输出,以图像主观失真分数为标签,采用线性回归对分数池化网络进行训练。
实施方式的对待预测失真图像进行无参考质量评价调整步骤S40还包括以下步骤:
步骤S400,将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块。
步骤S410,将每一小块输入预测网络(感知质量特征图生成网络+分数池化网络),网络输出每个小块的感知质量特征图和预测分数。
步骤S420,将每个小块的感知质量特征图拼接,得到待预测失真图像的感知质量特征图。
步骤S430,将所有个小块的预测分数平均,得到失真图质量预测分数。
下面给出应用本发明的实验结果。
表1给出了本发明方法在LIVE IQA、CSIQ、TID2013三个失真图像数据集下的测试结果。实验将每个数据库80%的失真图像作为训练集,20%的图像作为测试集进行测试,测试评价方式由SRCC和PLCC指数组成。由表可知,本发明方法在三个数据集上的结果均高于最先进的同样基于深度学习的无参考质量评价方法BIECON,并且在TID2013上有较大提升,说明利用本发明方法相比于大多数方法效果更好。
表1 本发明方法在不同数据库下的性能比较
Claims (4)
1.一种基于先验感知质量特征图的无参考图像质量客观评价方法,其特征在于:该方法包括以下步骤,
步骤1,生成先验感知质量特征图像库;
选取失真图像数据库,由每一张失真图像和其参考图像运用全参考图像质量评价方法FSIM生成失真梯度信息图FSIMg,由所有失真图像的FSIMg作为先验感知质量特征图像库;
步骤2,训练感知质量特征图生成网络;
由失真图像数据库中的失真图像和生成的感知质量特征图像库作为训练数据,训练一个基于U-Net的全卷积感知质量特征图生成网络;所述感知质量特征图生成网络是一种基于U-Net结构的全卷积网络,感知质量特征图生成网络的输入为一张三通道的彩色图;感知质量特征图生成网络的输出为一张与输入等大的灰度图;
步骤3,训练分数池化网络;
由感知质量特征图生成网络的输出图作为训练分数池化网络的输入,图像主观失真分数作为标签,训练分数池化网络;所述分数池化网络由五层卷积层和两层全连接层组成,分数池化网络的输入为一大小为144×144的单通道图像,分数池化网络的输出为一0到100间的分数;
步骤4,对待预测失真图像进行无参考质量客观评价;
将待预测失真图像输入感知质量特征图生成网络,得到相感知质量特征图和预测主观评价分数。
2.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法,其特征在于:训练感知质量特征图生成网络的步骤如下:
步骤2.1,将失真图像数据库每一张失真图像和其对应的感知质量特征图按行列每隔120像素剪裁144×144大小的失真图像块;
步骤2.2,搭建基于U-Net的全卷积感知质量特征图生成网络;
步骤2.3,将步骤2.1中剪裁好的失真图像块作为基于U-Net的全卷积感知质量特征图生成网络的输入,对应的感知质量特征图作为标签,采用逻辑斯蒂回归对感知质量特征图生成网络进行训练。
3.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法,其特征在于:步骤3中包括,步骤3.1,搭建分数池化网络,将分数池化接在感知质量特征图生成网络逻辑斯蒂回归输出层之后;
步骤3.2,训练分数池化网络;训练时固定感知质量特征图生成网络,使分数池化网络的输入为感知质量特征图生成网络的输出,以图像主观失真分数为标签,采用线性回归对分数池化网络进行训练。
4.根据权利要求1所述的一种基于先验感知质量特征图的无参考图像质量客观评价方法,其特征在于:步骤4中包括,步骤4.1,将待预测失真图像按行列每隔120像素剪裁为一组144×144大小的小块;
步骤4.2,将每一小块输入预测网络即感知质量特征图生成网络+分数池化网络,网络输出每个小块的感知质量特征图和预测分数;
步骤4.3,将每个小块的感知质量特征图拼接,得到待预测失真图像的感知质量特征图;
步骤4.4,将所有个小块的预测分数平均,得到失真图质量预测分数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711488518.4A CN108074239B (zh) | 2017-12-30 | 2017-12-30 | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711488518.4A CN108074239B (zh) | 2017-12-30 | 2017-12-30 | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108074239A CN108074239A (zh) | 2018-05-25 |
CN108074239B true CN108074239B (zh) | 2021-12-17 |
Family
ID=62156199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711488518.4A Active CN108074239B (zh) | 2017-12-30 | 2017-12-30 | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108074239B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859166B (zh) * | 2018-12-26 | 2023-09-19 | 上海大学 | 一种基于多列卷积神经网络的无参3d图像质量评估方法 |
CN109741315B (zh) * | 2018-12-29 | 2020-08-28 | 中国传媒大学 | 一种基于深度强化学习的无参考图像质量客观评价方法 |
CN109886924A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于cnn的屏幕失真图像无参考质量评价方法 |
CN110111304B (zh) * | 2019-04-04 | 2023-08-29 | 天津大学 | 基于局部到全局特征回归的无参考立体图像质量评价方法 |
CN111008953B (zh) * | 2019-10-29 | 2023-10-31 | 平安科技(深圳)有限公司 | 一种数字病理图像质控的方法及装置 |
CN111127587B (zh) * | 2019-12-16 | 2023-06-23 | 杭州电子科技大学 | 一种基于对抗生成网络的无参考图像质量地图生成方法 |
CN112419242B (zh) * | 2020-11-10 | 2023-09-15 | 西北大学 | 基于自注意力机制gan网络的无参考图像质量评价方法 |
CN113052801A (zh) * | 2021-03-11 | 2021-06-29 | 天津大学 | 一种基于深度和局部相似度的图像质量评价方法 |
CN113379733B (zh) * | 2021-07-08 | 2022-06-17 | 湖南工商大学 | 无参考图像质量评价的分块标签权重度量方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894507A (zh) * | 2016-03-31 | 2016-08-24 | 西安电子科技大学 | 基于图像信息量自然场景统计特征的图像质量评价方法 |
CN106023152A (zh) * | 2016-05-09 | 2016-10-12 | 浙江科技学院 | 一种无参考立体图像质量客观评价方法 |
CN107396095A (zh) * | 2017-08-28 | 2017-11-24 | 方玉明 | 一种无参考三维图像质量评价方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9741107B2 (en) * | 2015-06-05 | 2017-08-22 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
-
2017
- 2017-12-30 CN CN201711488518.4A patent/CN108074239B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894507A (zh) * | 2016-03-31 | 2016-08-24 | 西安电子科技大学 | 基于图像信息量自然场景统计特征的图像质量评价方法 |
CN106023152A (zh) * | 2016-05-09 | 2016-10-12 | 浙江科技学院 | 一种无参考立体图像质量客观评价方法 |
CN107396095A (zh) * | 2017-08-28 | 2017-11-24 | 方玉明 | 一种无参考三维图像质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108074239A (zh) | 2018-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108074239B (zh) | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 | |
Shen et al. | Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images | |
CA2825562C (en) | Method and system for increasing robustness of visual quality metrics using spatial shifting | |
CN110677639B (zh) | 一种基于特征融合和循环神经网络的无参考视频质量评价方法 | |
CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
CN106651829B (zh) | 一种基于能量和纹理分析的无参考图像客观质量评价方法 | |
CN110717892B (zh) | 一种色调映射图像质量评价方法 | |
CN107318014B (zh) | 基于视觉显著区域和时空特性的视频质量评估方法 | |
CN110070539A (zh) | 基于信息熵的图像质量评价方法 | |
Moorthy et al. | Visual perception and quality assessment | |
Yang et al. | No-reference quality evaluation of stereoscopic video based on spatio-temporal texture | |
Wang et al. | No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning | |
Xu et al. | Remote-sensing image usability assessment based on ResNet by combining edge and texture maps | |
Morzelona | Human visual system quality assessment in the images using the IQA model integrated with automated machine learning model | |
Zhang et al. | Linking visual saliency deviation to image quality degradation: A saliency deviation-based image quality index | |
Lin et al. | Perceptual image quality assessment: recent progress and trends | |
Zewdie et al. | A new pooling strategy for image quality metrics: Five number summary | |
Kong et al. | Full-reference IPTV image quality assessment by deeply learning structural cues | |
CN109740667B (zh) | 一种基于质量排序网络和语义分类的图像质量评价方法 | |
CN112950592B (zh) | 基于高维离散余弦变换的无参考光场图像质量评价方法 | |
CN114742907A (zh) | 图像增强方法、装置、电子设备和计算机可读存储介质 | |
CN113784113A (zh) | 一种基于短时时空融合网络和长时序列融合网络的无参考视频质量评价方法 | |
Yuan et al. | Multi-scale blind image quality predictor based on pyramidal convolution | |
Regis et al. | Effect of visual attention areas on the objective video quality assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |