CN113421237A - 基于深度特征迁移学习的无参考图像质量评价方法 - Google Patents

基于深度特征迁移学习的无参考图像质量评价方法 Download PDF

Info

Publication number
CN113421237A
CN113421237A CN202110678186.6A CN202110678186A CN113421237A CN 113421237 A CN113421237 A CN 113421237A CN 202110678186 A CN202110678186 A CN 202110678186A CN 113421237 A CN113421237 A CN 113421237A
Authority
CN
China
Prior art keywords
network
quality
image
reference image
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110678186.6A
Other languages
English (en)
Other versions
CN113421237B (zh
Inventor
何立火
任伟
李嘉秀
邓夏迪
甘海林
唐杰浩
柯俊杰
张超仑
路文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110678186.6A priority Critical patent/CN113421237B/zh
Publication of CN113421237A publication Critical patent/CN113421237A/zh
Application granted granted Critical
Publication of CN113421237B publication Critical patent/CN113421237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度特征迁移学习的无参考图像质量评价方法，其步骤如下：构建失真特征提取网；构建多分支特征注意力模块；构建质量回归网络；生成无参考图像质量回归网络；生成训练集；训练无参考图像质量回归网络；对待评价图像进行质量评估。本发明失真特征提取网络所包含的多分支特征注意力模块能够自适应地捕获自然图像的失真特征，在质量回归网络的输出侧可以自动获得输入图像的质量分数。多个国际公开数据库上的广泛实验结果表明，本发明方法提高了失真图像质量的预测精度，具有评价无参考图像质量时与人眼视觉感知一致性更高、泛化性能更强的优点。

Description

基于深度特征迁移学习的无参考图像质量评价方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像质量评价技术领域中的一种基于深度特征迁移学习的图像质量评价方法。本发明可用于自动化地计算没有原始参考图像的自然失真图像的质量分数。
背景技术
随着万物互联时代的到来和数字多媒体技术的快速发展，图像已然成为人类从外部世界感知来获取视觉信息的主要来源。但是由于信号从发送端到接收端的过程中不可避免地会引入一些噪声抖动等引起图像质量下降的不可控因素，从而导致视觉质量下降和语义信息缺失。因此对图像质量的评价就显得尤为重要，通过设计高效、准确的图像质量评价方法，优化图像采集和处理***，获取更高质量的图像。图像质量评价技术便应运而生，由于在大多数实际应用场景中很难获取到原始的参考图像(相应的无失真版本)，无参考图像质量评价方法应用最为广泛。无参考质量评估方法是一项不需要任何关于原始图像信息即可自动化地进行质量计算的技术，通过建立主观信念分数到客观评估分数的映射关系得到目标图像质量表示。
武汉大学在其拥有的专利技术“一种基于多路深度卷积神经网路的彩色图像质量评价方法”(申请号：CN201910414080.8，授权公告号：CN110163855 B)中公开了一种基于多路深度卷积神经网路的彩色图像质量评价方法。该专利技术主要解决传统方法对彩色图像的质量预测精度不高的问题。该专利技术实现步骤为：(1)彩色图像的多尺度变换和色彩空间变换处理，输出多个不同分量图像；(2)单路深度卷积网络结构的设计与改进；(3)单路深度卷积网络的训练与优化；(4)单路深度卷积网络模对多个分量图像进行特征提取以及多维特征的协同融合；(5)多维输出特征向量的特征降维处理；(6)非线性回归方法对主观意见分数与降维特征的函数映射，建立起彩色图像质量预测模型，进行彩色图像的质量评价。该专利技术虽然改进了针对彩色图像的无参考图像质量评价技术，提取了颜色分量中的质量感知特征。但是，该方法仍然存在的不足之处是，通过对彩色图像的多尺度变换和色彩空间变换处理，输出多个不同分量图像，利用多个卷积神经网络提取变换后的图像特征之间存在大量的冗余无关特征，最后通过非线性回归方法完成主观意见分数和降维特征之间的函数映射，不是一个端到端可学习的过程。
Ren等人在其发表的论文"Ran4iqa:Restorative adversarial nets for no-reference image quality assessment."(2018 Proceedings of the AAAI Conferenceon Artificial Intelligence.32(1),2018)中公开了一种基于生成对抗网络的无参考图像质量评价方法。该方法首先将待测图像切割为多个图像块，其次在滑铁卢大型数据库上进行训练后得到一个预训练的恢复性对抗网络，预训练阶段的输入图像是四种类型的失真图像(JPEG、JPEG2000压缩失真、高斯模糊、高斯白噪声)，通过此预训练模型生成图像块的伪参考图，然后将生成图像块和恢复图像块一起送入回归网络来计算图像的质量分数。该方法存在两点不足之处，其一，由于该方法是利用在滑铁卢大型数据库上进行预训练后得到的对应失真类型的生成图像，其训练周期比较长，无法推向其在实际生产和生活中的应用；其二，该方法的失真图像恢复模型仅考虑了4种不同等级的失真类型，而真实场景下的图像往往是多种失真类型的组合，而最终的主客观一致性结果在很大程度上依赖于恢复模型的准确性。
发明内容
本发明的目的是针对上述现有技术存在的问题，提出一种基于深度特征迁移学习的无参考图像质量评价方法，用于解决图像质量评价任务中的由于人工合成失真图像和真实场景图像的失真特征差异较大，利用传统迁移学习方法构建的质量评价网络难以训练，预测精度不高且泛化性不理想的问题。
实现本发明目的的思路是：通过构建多分支特征注意力模块对重要性特征进行建模，利用注意力建模自动凸显对图像局部失真敏感的特征，获得能够表现图像质量的注意力特征。该多分支特征注意力模块将输入图像的特征图分为两组，在每个分组内使用通道间注意力机制自适应地重新校准通道特征响应，保证了无参考图像质量回归网络可以学习到无参考图像的多样性特征，有效地学习到不同于真实场景图像上的失真模式，快速完成真实场景图像和人工合成失真图像的自适应，显著提升图像质量的预测精度，解决了质量评价网络难以训练，预测精度不高且泛化性不理想的问题。
实现本发明目的的具体步骤如下：
(1)构建失真特征提取子网络：
(1a)搭建一个五层的图像失真特征提取子网络，其结构依次为：卷积层，第1卷积计算单元，第2卷积计算单元，第3卷积计算单元，第4卷积计算单元；第1至第4卷积计算单元采用瓶颈结构，每个瓶颈结构由三个卷积层级联组成；
(1b)将卷积层的输入通道数设置为64，输出通道数设置为128，卷积核大小设置为7×7，步长为2；将第1至第4卷积计算单元的瓶颈结构数量分别为3，4，6，3，每个瓶颈结构中卷积层的卷积核的大小分别设置为1×1，3×3和1×1；
(2)构建多分支特征注意力模块：
搭建一个由三个卷积层级联的多分支特征注意力模块；将第1卷积层中特征图分组数量groups设置为2，将第1至第3卷积层的输入通道数分别设置为64，128和128，卷积核大小分别设置为3×3，1×1和1×1，步长大小均设置为1；
(3)构建质量回归子网络：
构建一个结构和参数设置相同的两个下采样层组并联的质量回归子网络；每个并联的下采样层组由结构和参数设置相同的五个级联线性层组成，将五个级联线性层的节点个数分别设置为2048，1024，512，256和64，线性层的节点随机失活率分别设置为0.5，0.25，0.25，0.25和0；
(4)生成无参考图像质量回归网络：
将失真特征提取子网络，多分支特征注意力模块，质量回归子网络、一个预测层依次级联为一个无参考图像质量回归网络；所述的预测层的输入节点个数设置为128，输出节点个数设置为1；
(5)生成训练集：
(5a)从自然图像质量评价数据集中选取至少1020张、最多6000张的无参考自然图像组成样本集，对样本集中的每张图像依次进行归一化处理和预处理；
(5b)将预处理后的所有图像及其对应的标签组成训练集；
(6)训练无参考图像质量回归网络：
设置训练参数，将训练集输入到无参考图像质量回归网络中，采用随机梯度下降法迭代更新网络参数，直到损失函数收敛为止，得到训练好的无参考图像质量回归网络；
(7)对待评价无参考图像进行质量评估：
采用与步骤(5a)和步骤(5b)相同的方法，将待评价的无参考图像依次进行归一化和预处理，将预处理后的图像输入到训练好的无参考图像质量回归网络中，输出该图像的预测质量分数。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建了多分支特征注意力模块，利用多分支特征注意力模块从输入的无参考图像中自适应提取严重影响人类视觉观感的失真质量感知特征，克服了现有技术中由于人工合成失真目标域和真实场景的源域图像相似度差异较大而需要在大型图像数据库上进行大量预训练的问题，使得本发明可以通过多分支特征注意力模块自适应提取到输入图像的重要性特征，具有在预测无参考图像质量时结果更加准确的优点。
第二，由于本发明构建了一个质量回归子网络，该网络是由并联的两个分支组成的，两个分支的设计增强了失真特征提取子网络对于质量感知特征的聚合能力，同时具有特征协同的作用。构建的无参考图像质量回归网络是一个可端到端学习的网络，克服了现有技术中的图像质量预测模型是一个两阶段的学习过程而导致的处理流程繁琐且特征表达能力不强的问题。使得本发明构建的无参考图像质量回归网络可以在质量回归子网络的协同作用下进一步增强网络的学习效率，具有评价无参考图像质量时与人眼视觉感知一致性更高、预测精度更高、泛化性能更强的优点。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图1和仿真实验对本发明做进一步的描述。
步骤1，构建失真特征提取子网络。
搭建一个五层的图像失真特征提取子网络，其结构依次为：卷积层，第1卷积计算单元，第2卷积计算单元，第3卷积计算单元，第4卷积计算单元；第1至第4卷积计算单元采用瓶颈结构，每个瓶颈结构由三个卷积层级联组成。
将卷积层的输入通道数设置为64，输出通道数设置为128，卷积核大小设置为7×7，步长为2；将第1至第4卷积计算单元的瓶颈结构数量分别为3，4，6，3，每个瓶颈结构中卷积层的卷积核的大小分别设置为1×1，3×3和1×1。
步骤2，构建多分支特征注意力模块。
搭建一个由三个卷积层级联的多分支特征注意力模块；将第1卷积层中特征图分组数量groups设置为2，将第1至第3卷积层的输入通道数分别设置为64，128和128，卷积核大小分别设置为3×3，1×1和1×1，步长大小均设置为1。
步骤3，构建质量回归子网络。
构建一个结构和参数设置相同的两个下采样层组并联的质量回归子网络；每个并联的下采样层组由结构和参数设置相同的五个级联线性层组成，将五个级联线性层的节点个数分别设置为2048，1024，512，256和64，线性层的节点随机失活率分别设置为0.5，0.25，0.25，0.25和0。
步骤4，生成无参考图像质量回归网络。
将失真特征提取子网络，多分支特征注意力模块，质量回归子网络、一个预测层依次级联为一个无参考图像质量回归网络；所述的预测层的输入节点个数设置为128，输出节点个数设置为1。
步骤5，生成训练集。
从自然图像质量评价数据集中选取至少1020张、最多6000张的无参考自然图像组成样本集，对样本集中的每张图像依次进行归一化处理和预处理。
将预处理后的所有图像及其对应的标签组成训练集。
步骤6，训练无参考图像质量回归网络。
设置训练参数，将训练集输入到无参考图像质量回归网络中，采用随机梯度下降法迭代更新网络参数，直到损失函数收敛为止，得到训练好的无参考图像质量回归网络。
步骤7，对待评价无参考图像进行质量评估。
采用与步骤5相同的方法，将待评价的无参考图像依次进行归一化和预处理，将预处理后的图像输入到训练好的无参考图像质量回归网络中，输出该图像的预测质量分数。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Core(TM)[email protected]，主频为3.30GHz，内存32GB，显卡为NVIDIA GeForce GTX 1080Ti。
本发明的仿真实验的软件平台为：Ubuntu 16.04.12操作***，PyTorch-gpu 1.6开源深度学习框架，Python 3.7。
本发明仿真实验所使用的输入图像为自然图像，来源于图像质量评价公知数据库TID2008、TID2013和KADID-10k。
TID2008数据库包括25幅参考图像，1700幅失真图像，其图像格式为bmp格式。
TID2013数据库包括25幅参考图像，3000幅失真图像，其图像格式为bmp格式。
KADID-10k数据库包括81幅参考图像，10125幅失真图像，其图像格式为png格式。
2.仿真内容及其结果分析：
本发明的仿真实验是采用本发明和两个现有技术(基于卷积神经网络的深度无参考图像质量评估方法CNN、基于高阶统计数据聚合的盲图像质量评估方法HOSA)，分别对TID2008、TID2013和KADID-10k三个图像质量评价公知数据库中的失真图像分别进行无参考图像的质量预测。
将无参考图像的质量预测值和图像标签进行一致性的计算得到评价指标，以评价指标来衡量本发明和两个现有技术对上述三个图像质量评价公知数据库中无参考图像的质量评价效果。
在仿真实验中，采用的两个现有技术是指：
基于卷积神经网络的无参考图像质量评估方法是指，L.Kang等人在“Convolutional neural networks for no-reference image quality assessment[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2014:1733-1740.”中提出的无参考图像质量评价方法，简称基于卷积神经网络的深度CNN无参考图像质量评价方法。
基于高阶统计数据聚合的盲图像质量评估方法是指，J.Xu等人在“Blind imagequality assessment based on high order statistics aggregation[J].IEEETransactions on Image Processing,2016,25(9):4444-4457.”中提出的无参考图像质量评价方法，简称HOSA无参考图像质量评价方法。
在仿真实验中，采用的三个图像质量评价公知数据库是指：
TID2008公知数据库是指，N.Ponomarenko等人在“TID2008-A database forevaluation of fullreference visual quality assessment metrics[J].Advances ofModern Radioelectronics，2009，10：30-45.”中提出的图像质量评价数据库，简称TID2013公知数据库。
TID2013公知数据库是指，N.Ponomarenko等人在“Color image databaseTID2013:Peculiarities and preliminary results.In European Workshop on VisualInformation Processing(EUVIP),106–111,2013.”中提出的图像质量评价数据库，简称TID2013公知数据库。
KADID-10k公知数据库是指，LinH等人在“Kadid-10k:A large-scaleartificially distorted iqa database[C]//2019 Eleventh InternationalConference on Quality of Multimedia Experience(QoMEX).IEEE,2019:1-3.”中提出的图像质量评价数据库，简称KADID-10k公知数据库。
为了评判本发明和另外两个现有技术的无参考图像质量评价效果的好坏，本仿真实验采用斯皮尔曼秩次序相关系数(Spearman Rank-Order Correlation Coefficient，SROCC)、皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)这两个指标，分别对本发明和两个现有技术的无参考图像质量评价效果进行客观评判。
(1)斯皮尔曼秩次序相关系数(Spearman Rankorder Correlation Coefficient，SROCC)
Spearman相关性决定了两个变量之间单调关系的强度和方向，衡量算法预测的单调性，表达式为：
Figure BDA0003121693240000071
其中，rxi表示第i张待测试图像的主观质量评价结果，ryi表示客观质量评价结果，(rxi-ryi)2则表示两者之间的差异大小，通过排序差分集合计算而得到的。
(2)皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)
xi和yi分别代表的是第i张被测试图像的主观质量评价得分和客观得分。其表达式为：
Figure BDA0003121693240000081
其中，n为图像总数，
Figure BDA0003121693240000082
和
Figure BDA0003121693240000083
分别是人眼对于数据库的主观评测分数和客观评价算法自动计算获得的评测分数的平均值。线性相关系数描述算法评价值与人眼主观打分之间的相关性，同时衡量了算法预测的准确性。
本仿真实验使用本发明和两个现有技术对三种不同的公知数据库里的图像进行评价，计算每种方法的评价结果的两个一致性指标，计算结果如表1所示。
表1.三种方法的评价结果对比表
Figure BDA0003121693240000084
从表1可见，本发明在三个图像质量评价公知数据库上评价结果的斯皮尔曼秩次序相关系数SROCC和皮尔森线性相关系数PLCC均高于两种现有技术，证明本发明具有更好的无参考图像质量评价效果。

Claims (4)

1.一种基于深度特征迁移学习的无参考图像质量评价方法，其特征在于，通过在失真特征提取子网络中嵌入多分支特征注意力模块，在尾部连接并联的两个分支作为质量回归子网络，利用一个预测层预测失真图像的质量分数；该方法的具体步骤包括如下：
(1)构建失真特征提取子网络：
(1a)搭建一个五层的图像失真特征提取子网络，其结构依次为：卷积层，第1卷积计算单元，第2卷积计算单元，第3卷积计算单元，第4卷积计算单元；第1至第4卷积计算单元采用瓶颈结构，每个瓶颈结构由三个卷积层级联组成；
(1b)将卷积层的输入通道数设置为64，输出通道数设置为128，卷积核大小设置为7×7，步长为2；将第1至第4卷积计算单元的瓶颈结构数量分别为3，4，6，3，每个瓶颈结构中卷积层的卷积核的大小分别设置为1×1，3×3和1×1；
(2)构建多分支特征注意力模块：
搭建一个由三个卷积层级联的多分支特征注意力模块；将第1卷积层中特征图分组数量groups设置为2，将第1至第3卷积层的输入通道数分别设置为64，128和128，卷积核大小分别设置为3×3，1×1和1×1，步长大小均设置为1；
(3)构建质量回归子网络：
构建一个结构和参数设置相同的两个下采样层组并联的质量回归子网络；每个并联的下采样层组由结构和参数设置相同的五个级联线性层组成，将五个级联线性层的节点个数分别设置为2048，1024，512，256和64，线性层的节点随机失活率分别设置为0.5，0.25，0.25，0.25和0；
(4)生成无参考图像质量回归网络：
将失真特征提取子网络，多分支特征注意力模块，质量回归子网络、一个预测层依次级联为一个无参考图像质量回归网络；所述的预测层的输入节点个数设置为128，输出节点个数设置为1；
(5)生成训练集：
(5a)从自然图像质量评价数据集中选取至少1020张、最多6000张的无参考自然图像组成样本集，对样本集中的每张图像依次进行归一化处理和预处理；
(5b)将预处理后的所有图像及其对应的标签组成训练集；
(6)训练无参考图像质量回归网络：
设置训练参数，将训练集输入到无参考图像质量回归网络中，采用随机梯度下降法迭代更新网络参数，直到损失函数收敛为止，得到训练好的无参考图像质量回归网络；
(7)对待评价无参考图像进行质量评估：
采用与步骤(5a)和步骤(5b)相同的方法，将待评价的无参考图像依次进行归一化和预处理，将预处理后的图像输入到训练好的无参考图像质量回归网络中，输出该图像的预测质量分数。
2.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于，步骤(5a)中所述的归一化处理指的是：将样本集中的每张图像归一化处理的均值设置为mean＝[0.485,0.456,0.406]，标准差设置为std＝[0.229,0.224,0.225]，对图像的R，G，B三个通道分别使用均值为0.485,0.456,0.406，标准差为0.229,0.224,0.225，在[0,1]的范围内进行归一化处理；步骤(5a)中所述的预处理指的是，对每张归一化后的图像划分为大小32×32，采样步长为32的非重叠图像块。
3.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于：步骤6中所述损失函数如下：
Figure FDA0003121693230000021
其中，L(·)表示无参考图像质量回归网络的损失函数，
Figure FDA0003121693230000022
表示训练集中的第i张图像的标签，Qi表示训练集中的第i张图像经无参考图像质量回归网络输出的该图像的预测值，N表示训练集中图像的总数，∑表示求和操作，i表示训练集中的图像序号，|·|表示取绝对值操作。
4.根据权利要求1所述的基于深度特征迁移学习的无参考图像质量评价方法，其特征在于：步骤(6)中所述的设置训练参数如下：将小常数设置为eps＝1e-8，将一阶和二阶矩估指数衰减速率分别设置为：β1＝0.9，β2＝0.999，将一阶和二阶矩估计分别设置为s＝0,r＝0，将初始学习率设置为lr_ratio＝1e-3，将批处理大小设置为batch_size＝128，将权重衰减设置为weight_decay＝0。
CN202110678186.6A 2021-06-18 2021-06-18 基于深度特征迁移学习的无参考图像质量评价方法 Active CN113421237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678186.6A CN113421237B (zh) 2021-06-18 2021-06-18 基于深度特征迁移学习的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678186.6A CN113421237B (zh) 2021-06-18 2021-06-18 基于深度特征迁移学习的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN113421237A true CN113421237A (zh) 2021-09-21
CN113421237B CN113421237B (zh) 2023-04-18

Family

ID=77789167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678186.6A Active CN113421237B (zh) 2021-06-18 2021-06-18 基于深度特征迁移学习的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113421237B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888501A (zh) * 2021-09-29 2022-01-04 西安理工大学 一种基于注意力定位网络的无参考型图像质量评价方法
CN113920394A (zh) * 2021-09-24 2022-01-11 北京理工大学 一种无参考图像质量评价方法及其***
CN114066812A (zh) * 2021-10-13 2022-02-18 西安理工大学 基于空间注意力机制的无参考图像质量评价方法
CN117456339A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于多层次特征复用的图像质量评价方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN109242864A (zh) * 2018-09-18 2019-01-18 电子科技大学 基于多分支网络的图像分割结果质量评价方法
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
JP2020508531A (ja) * 2017-09-08 2020-03-19 ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド 画像品質の評価方法及び画像品質の評価システム
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及***
CN112085102A (zh) * 2020-09-10 2020-12-15 西安电子科技大学 基于三维时空特征分解的无参考视频质量评价方法
CN112419242A (zh) * 2020-11-10 2021-02-26 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112634238A (zh) * 2020-12-25 2021-04-09 武汉大学 一种基于注意力模块的图像质量评价方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020508531A (ja) * 2017-09-08 2020-03-19 ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド 画像品質の評価方法及び画像品質の評価システム
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN109308696A (zh) * 2018-09-14 2019-02-05 西安电子科技大学 基于层级特征融合网络的无参考图像质量评价方法
CN109242864A (zh) * 2018-09-18 2019-01-18 电子科技大学 基于多分支网络的图像分割结果质量评价方法
CN110415170A (zh) * 2019-06-24 2019-11-05 武汉大学 一种基于多尺度注意力卷积神经网络的图像超分辨率方法
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN111353533A (zh) * 2020-02-26 2020-06-30 南京理工大学 基于多任务学习的无参考图像质量评价方法及***
CN112085102A (zh) * 2020-09-10 2020-12-15 西安电子科技大学 基于三维时空特征分解的无参考视频质量评价方法
CN112419242A (zh) * 2020-11-10 2021-02-26 西北大学 基于自注意力机制gan网络的无参考图像质量评价方法
CN112634238A (zh) * 2020-12-25 2021-04-09 武汉大学 一种基于注意力模块的图像质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIQI CHEN 等: "No-Reference Image Quality Assessment: An Attention Driven Approach", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
YU ZHANG 等: "Objective Video Quality Assessment Combining Transfer Learning With CNN", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
梁富虎: "基于层级特征融合的无参考图像质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
武利秀等: "基于卷积神经网络的无参考混合失真图像质量评价", 《光学技术》 *
沙丰: "基于卷积神经网络的无参考图像质量评价方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920394A (zh) * 2021-09-24 2022-01-11 北京理工大学 一种无参考图像质量评价方法及其***
CN113888501A (zh) * 2021-09-29 2022-01-04 西安理工大学 一种基于注意力定位网络的无参考型图像质量评价方法
CN113888501B (zh) * 2021-09-29 2024-02-06 西安理工大学 一种基于注意力定位网络的无参考型图像质量评价方法
CN114066812A (zh) * 2021-10-13 2022-02-18 西安理工大学 基于空间注意力机制的无参考图像质量评价方法
CN114066812B (zh) * 2021-10-13 2024-02-06 西安理工大学 基于空间注意力机制的无参考图像质量评价方法
CN117456339A (zh) * 2023-11-17 2024-01-26 武汉大学 一种基于多层次特征复用的图像质量评价方法及***
CN117456339B (zh) * 2023-11-17 2024-05-17 武汉大学 一种基于多层次特征复用的图像质量评价方法及***

Also Published As

Publication number Publication date
CN113421237B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN113421237B (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN110188685B (zh) 一种基于双注意力多尺度级联网络的目标计数方法及***
CN108830157B (zh) 基于注意力机制和3d卷积神经网络的人体行为识别方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN111784602B (zh) 一种生成对抗网络用于图像修复的方法
CN110516716B (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN107770517A (zh) 基于图像失真类型的全参考图像质量评价方法
CN109859166B (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
CN110009700B (zh) 基于rgb图和梯度图的卷积神经网络视觉深度估计方法
CN112651917A (zh) 一种基于生成对抗网络的空间卫星低照度图像增强方法
CN115205196A (zh) 基于孪生网络与特征融合的无参考图像质量评价方法
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN111523483A (zh) 中餐菜品图像识别方法及装置
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN112733693A (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN117351542A (zh) 一种面部表情识别方法及***
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN113313682B (zh) 基于时空多尺度分析的无参考视频质量评价方法
CN111639751A (zh) 一种用于二值卷积神经网络的非零填补训练方法
CN114785978A (zh) 一种面向视频会议的视频图像质量确定方法
CN113537228A (zh) 一种基于深度特征的实时图像语义分割方法
CN113486821B (zh) 基于时域金字塔的无参考视频质量评价方法
CN113361417B (zh) 一种基于可变时序的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant