CN111127386A - 一种基于深度学习的图像质量评价方法 - Google Patents
一种基于深度学习的图像质量评价方法 Download PDFInfo
- Publication number
- CN111127386A CN111127386A CN201910610718.5A CN201910610718A CN111127386A CN 111127386 A CN111127386 A CN 111127386A CN 201910610718 A CN201910610718 A CN 201910610718A CN 111127386 A CN111127386 A CN 111127386A
- Authority
- CN
- China
- Prior art keywords
- image
- extracting
- characteristic
- quality evaluation
- evaluation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图像质量评价方法,包括如下步骤:步骤1:提取结构性特征图;步骤2:提取自然性特征图;步骤3:提取自由能特征图;步骤4:根据每张图对应的所有特征图设计神经网络框架。计算图像梯度做为图像的结构性特征,其次基于自然性特性提取图像的归一化特性做为自然性特征,最后基于大脑的自由能原理,对输入图像和大脑对它的预测图像之间的差异做为图像的高级特征。在特征提取完之后,利用一组无失真图像学习出一个模型并利用该模型来预测图像的质量。失真图像的质量被定义为它的模型与学习到的无失真模型之间的距离。
Description
技术领域
本发明属于图像处理领域,设计图像质量评价方法,而且涉及一 种基于深度学习的图像质量评价方法。涉及深度学习中的Densenet 网络在图像质量评价中的应用。
背景技术
现如今,随着互联网技术以及通信技术的快速发展,数字图像已 经成为人们日常生活中信息传递的重要方式。据统计,2011年以来, 世界产生的数字照片总量达到上百亿张,而且这个数量还在逐年增 长。然而,图像在采集、存储、压缩和传输等过程中容易受到不同种 类的失真干扰,从而造成图像质量的降低。所以,如何准确、可靠地 评价图像的质量成为当前及未来研究中一个重要的研究热点。通常, 大多数图像是由人来观看,所以最可靠的图像质量评价方式是主观质 量评价,即组织观看人员根据他们的经验来对图像的质量进行主观评 分,然而,随着图像数量的增多,主观质量评价的实施变得困难,而 且也无法应用于实时的图像处理***中。所以,研究者们提出客观质 量评价方法,通过设计客观算法来对图像的质量做出评价。
根据是否参考原始图像,现有的客观质量评价方法被分为三个类 别,分别是全参考,部分参考和无参考质量评价方法。尽管目前针对 这三类客观图像质量评价分别提出了大量的方法,但是客观质量评价 的研究仍然不够成熟,主要表现在以下几个方面,第一,由于目前对 人类视觉感知机制的理解不够深入,现有的基于度量信号失真的客 观质量评价方法不能准确地模拟主观质量评价;第二,在无参考质 量评价方法设计中,大多数方法仍然需要利用主观质量分数来训练质 量评价模型;第三,在评价真实场景中的失真图像时,现有的客观算 法的表现仍然不够理想。因此,建立一套可以准确反映人眼主观感受 的立体图像质量客观评价机制具有深远意义。近年来,相关研究机构 对平面图像质量评价算法进行了深入研究,如峰值信噪比(PSNR)、均 方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含 更多的因素,如深度图等。
近年来,深度学习成为机器学习和神经网络相关领域的研究热点, 深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构 和关系得到层次化的特征表示,因而经该预处理后的网络参数符合人 脑的处理结果,训练后得到的网络稳定性和泛化能力也有一定的提高。
现有的无参考质量评价方法大多数属于主观质量分数已知的评 价方法,此类方法通常需要大量的训练样本图像以及对应的主观分数 来训练质量预测模型,相比之下,主观质量分数未知的无参考评价方 法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方 法相比。
发明内容
本发明的目的是针对现有技术的不足。提出了一个利用densenet 网络框架的主观质量分数未知的无参考评价方法,此方法设计三种特 征。首先,我们计算图像梯度做为图像的结构性特征,其次基于自然 性特性我们提取图像的归一化特性做为自然性特征,最后基于大脑的 自由能原理,我们对输入图像和大脑对它的预测图像之间的差异做为 图像的高级特征。在特征提取完之后,我们利用不同失真程度的图像 训练出一个网络框架并利用该网络来预测图像的质量。
本发明解决其技术问题所采用的技术方案包括如下步骤:
一种基于深度学习的图像质量评价方法,包括如下步骤:
步骤1:提取结构性特征图;
步骤2:提取自然性特征图;
步骤3:提取自由能特征图;
步骤4:根据每张图对应的所有特征图设计神经网络框架。
步骤1所述的提取结构性特征图,具体实现如下:
1-1.结构性特征就是图像的梯度,利用水平、竖直、45度、135 度方向上的梯度来表示图像的结构性特征。
1-2.利用mask或差分算子进行计算:水平算子Dh、竖直算子Dv; 角度算子D45和D135
Dh=[-1,1]Dv=[-1,1]T
1-3.和图像做卷积:
其中:Gh、Gv、G45、G135表示卷积后的特征图像
步骤2所述的提取自然性特征图,具体实现如下:
2-1.图像的归一化系数:
其中,I为输入图像,(x,y)表示位置信息,I′表示归一化系数图 像,μ(x,y)表示邻域均值、σ(x,y)表示邻域方差
2-2.根据邻域大小,划分为5种不同大小邻域:5×5、7×7、11 ×11、13×13、15×15。针对图像I,每种领域大小都能够得到相应 的归一化特征图像,分为用I′5、I′7、I′11、I′13、I′15表示。
步骤3所述的提取自由能特征图,具体实现如下:
3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型, 假设输入图像I,其稀疏表示为I″。利用公式:
yn=χk(y)a+en
yn为图像中待表示的像素点,χk(y)表示与y最近邻的k的像素; a=(a1,a2,a3,…,ak)T表示系数,“T”表示转置操作,en表示误差。
由公式:
a*=(XTX)-1XTy
得:
yn=χk(y)(XTX)-1XTy
I″由新的yn组成;
3-2.计算差异特征图为I-I″
步骤4所述的根据每张图对应的所有特征图设计神经网络框架, 具体实现如下:
所述的每张图能够得到10张特征图,分别为:Gh、Gv、G45、G135、I′5、 I′7、I′11、I′13、I′15、I-I″;其中4张结构性特征图,5张自然性特征 图,1张自由能特征图;
所述的设计神经网络框架,具体实现如下:
4-1.以10张特征图作为输入,通道数为10。
4-2.通过一层卷积层,使通道数变为64。
4-3.通过121层densenet网络框架提取每张特征图中的特征。
4-4.提取的特征再经一层线性回归层得到最原始图像的质量分 数;
4-5.损失函数:
Y表示线性回归层输出的质量分数,Y′表示图像的已知主观分数。
本发明有益效果如下:
对于图像中每一个像素点都这样表示就可以得到对整幅输入图 像的表示。由于AR预测的方式是逐点预测,所以时间复杂度很高, 在图像的分辨率较大的情况下,预测一幅图像往往需要花费较长的时 间,而且AR预测缺少神经生物学的理论支撑。如前所述,相比于AR 模型来模拟大脑内部生成模型,稀疏表示更加具有优势,表现在如下 几个方面:第一,稀疏表示基于图像块进行操作,所以算法的时间复 杂度可以显著地降低,第二,稀疏表示所用的字典可以采用固定字典, 比如DCT字典,也可以利用从自然图像中训练出的字典,所以稀疏表 示更加灵活,第三,稀疏表示被证明符合大脑初级视觉皮层的信息表 示方式,具有直接的生理学意义,主要体现在如下两个方面:第一, 大脑的感受野具有局部性、方向性和带通性,这与稀疏表示产生的字 典类似;第二,神经元在编码视觉信息时,在任何给定的时间点上, 仅有少量的神经元是活跃的,大部分神经元处于抑制状态。所以本文 采用稀疏表示来模拟大脑内部的生成模型,研究图像质量评价的方法。
附图说明
图1为本发明方法流程图。
具体实施方式
下面对本发明作进一步说明。
如图1所示,一种基于深度学习的图像质量评价方法,具体实现 步骤如下:
步骤1:提取结构性特征图
1-1.结构性特征就是图像的梯度,利用水平、竖直、45度、135 度方向上的梯度来表示图像的结构性特征。
1-2.利用mask或差分算子进行计算:水平算子Dh、竖直算子Dv; 角度算子D45和D135
Dh=[-1,1]Dv=[-1,1]T
1-3.和图像做卷积:
其中:Gh、Gv、G45、G135表示卷积后的特征图像
步骤2:提取自然性特征图;
2-1.图像的归一化系数:
其中,I为输入图像,(x,y)表示位置信息,I′表示归一化系数图 像,μ(x,y)表示邻域均值、σ(x,y)表示邻域方差
2-2.根据邻域大小,划分为5种不同大小邻域:5×5、7×7、11 ×11、13×13、15×15。针对图像I,每种领域大小都能够得到相应 的归一化特征图像,分为用I′5、I′7、I′11、I′13、I′15表示。
步骤3:提取自由能特征图
3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型, 假设输入图像I,其稀疏表示为I″。利用公式:
yn=χk(y)a+en
yn为图像中待表示的像素点,χk(y)表示与y最近邻的k的像素; a=(a1,a2,a3,…,ak)T表示系数,“T”表示转置操作,en表示误差。
由公式:
a*=(XTX)-1XTy
得:
yn=χk(y)(XTX)-1XTy
I″由新的yn组成;
3-2.计算差异特征图为I-I″
步骤4:每一张图能够得到10张特征图,分别为:Gh、Gv、G45、G135、 I′5、I′7、I′11、I′13、I′15、I-I″;其中4张结构性特征图,5张自然性 特征图,1张自由能特征图。
步骤5:设计神经网络框架
5-1.以10张特征图作为输入,通道数为10。
5-2.通过一层卷积层,使通道数变为64。
5-3.通过121层densenet网络框架提取特征。
5-4.由一层线性回归层得到图像的质量分数;
5-5.损失函数:
Y表示线性回归层输出的质量分数,Y′表示图像的已知主观分数。
Claims (5)
1.一种基于深度学习的图像质量评价方法,其特征在于包括如下步骤:
步骤1:提取结构性特征图;
步骤2:提取自然性特征图;
步骤3:提取自由能特征图;
步骤4:根据每张图对应的所有特征图设计神经网络框架。
4.根据权利要求3所述的一种基于深度学习的图像质量评价方法,其特征在于步骤3所述的提取自由能特征图,具体实现如下:
3-1.提取自由能特征利用稀疏表示来模拟大脑内部的生成模型,假设输入图像I,其稀疏表示为I″。利用公式:
yn=Xk(y)a+en
yn为图像中待表示的像素点,Xk(y)表示与y最近邻的k的像素;a=(a1,a2,a3,…,ak)T表示系数,“T”表示转置操作,en表示误差。由公式:
a*=(XTX)-1XTy
得:
yn=Xk(y)(XTX)-1XTy
I″由新的yn组成;
3-2.计算差异特征图为I-I″。
5.根据权利要求4所述的一种基于深度学习的图像质量评价方法,其特征在于步骤4所述的根据每张图对应的所有特征图设计神经网络框架,具体实现如下:
所述的每张图能够得到10张特征图,分别为:Gh、Gv、G45、G135、I′5、I′7、I′11、I′13、I′15、I-I″;其中4张结构性特征图,5张自然性特征图,1张自由能特征图;
所述的设计神经网络框架,具体实现如下:
4-1.以10张特征图作为输入,通道数为10。
4-2.通过一层卷积层,使通道数变为64。
4-3.通过121层densenet网络框架提取特征。
4-4.由一层线性回归层得到图像的质量分数;
4-5.损失函数:
Y表示线性回归层的输出,Y′表示图像的主观分数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910610718.5A CN111127386B (zh) | 2019-07-08 | 2019-07-08 | 一种基于深度学习的图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910610718.5A CN111127386B (zh) | 2019-07-08 | 2019-07-08 | 一种基于深度学习的图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111127386A true CN111127386A (zh) | 2020-05-08 |
CN111127386B CN111127386B (zh) | 2023-04-18 |
Family
ID=70495160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910610718.5A Active CN111127386B (zh) | 2019-07-08 | 2019-07-08 | 一种基于深度学习的图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127386B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084931A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于DenseNet的白血病细胞显微图像分类方法及*** |
CN113409248A (zh) * | 2021-05-13 | 2021-09-17 | 杭州电子科技大学 | 一种面向夜间图像的无参考质量评价方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170372155A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Quality Score Using A Deep Generative Machine-Learning Model |
US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
WO2019047949A1 (zh) * | 2017-09-08 | 2019-03-14 | 众安信息技术服务有限公司 | 图像质量评估方法及图像质量评估*** |
KR20190076288A (ko) * | 2017-12-22 | 2019-07-02 | 한국전기연구원 | 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
-
2019
- 2019-07-08 CN CN201910610718.5A patent/CN111127386B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170372155A1 (en) * | 2016-06-23 | 2017-12-28 | Siemens Healthcare Gmbh | Image Quality Score Using A Deep Generative Machine-Learning Model |
US20180144214A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US20190049540A1 (en) * | 2017-08-10 | 2019-02-14 | Siemens Healthcare Gmbh | Image standardization using generative adversarial networks |
WO2019047949A1 (zh) * | 2017-09-08 | 2019-03-14 | 众安信息技术服务有限公司 | 图像质量评估方法及图像质量评估*** |
KR20190076288A (ko) * | 2017-12-22 | 2019-07-02 | 한국전기연구원 | 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112084931A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于DenseNet的白血病细胞显微图像分类方法及*** |
CN113409248A (zh) * | 2021-05-13 | 2021-09-17 | 杭州电子科技大学 | 一种面向夜间图像的无参考质量评价方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111127386B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
CN105208374B (zh) | 一种基于深度学习的无参考图像质量客观评价方法 | |
CN109523513B (zh) | 基于稀疏重建彩色融合图像的立体图像质量评价方法 | |
CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
CN102547368A (zh) | 一种立体图像质量客观评价方法 | |
CN108615231A (zh) | 一种基于神经网络学习融合的全参考图像质量客观评价方法 | |
CN111127386B (zh) | 一种基于深度学习的图像质量评价方法 | |
CN108259893B (zh) | 基于双流卷积神经网络的虚拟现实视频质量评价方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
CN107018410A (zh) | 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 | |
CN108648180A (zh) | 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法 | |
CN111105387B (zh) | 基于统计特征视角合成质量预测方法、信息数据处理终端 | |
CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
CN108648186B (zh) | 基于初级视觉感知机制的无参考立体图像质量评价方法 | |
CN111127587B (zh) | 一种基于对抗生成网络的无参考图像质量地图生成方法 | |
CN102496162B (zh) | 基于非张量积小波滤波器的部分参考图像质量评价方法 | |
CN111127392B (zh) | 一种基于对抗生成网络的无参考图像质量评价方法 | |
CN113129237B (zh) | 基于多尺度融合编码网络的深度图像去模糊方法 | |
CN114821174A (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
CN112767311A (zh) | 一种基于卷积神经网络的无参考图像质量评价方法 | |
Cao | Studies Advanced in Image Super-resolution Reconstruction based on Deep Learning | |
CN111145150B (zh) | 一种通用型无参考图像质量评价方法 | |
Kung et al. | Investigation of the image quality assessment using neural networks and structure similarty |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |