CN110728656A - 基于元学习的无参考图像质量数据处理方法、智能终端 - Google Patents

基于元学习的无参考图像质量数据处理方法、智能终端 Download PDF

Info

Publication number
CN110728656A
CN110728656A CN201910844666.8A CN201910844666A CN110728656A CN 110728656 A CN110728656 A CN 110728656A CN 201910844666 A CN201910844666 A CN 201910844666A CN 110728656 A CN110728656 A CN 110728656A
Authority
CN
China
Prior art keywords
image
quality evaluation
training
model
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910844666.8A
Other languages
English (en)
Inventor
李雷达
祝汉城
吴金建
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201910844666.8A priority Critical patent/CN110728656A/zh
Publication of CN110728656A publication Critical patent/CN110728656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理和计算机视觉技术领域，公开了一种基于元学习的无参考图像质量数据处理方法、智能终端，对模拟失真的图像数据库中的图像质量按照失真类型划分成不同的任务，并把每个任务的训练数据分成支持集和查询集；利用每个任务对构造的深度卷积神经网络进行从支持集数据到查询集数据的两级梯度优化方式获取图像质量评价的先验模型；划分真实失真的图像数据库为训练集和测试集，利用训练集数据对建立的先验模型进行微调训练获取真实失真图像的质量评价模型；对于测试集中待测试的图像，利用已建立的真实失真图像的质量评价模型，自动实现图像的无参考质量评价。本发明方法性能比目前主流的无参考图像质量评价方法的性能更好。

Description

基于元学习的无参考图像质量数据处理方法、智能终端
技术领域
本发明属于图像处理和计算机视觉技术领域，尤其涉及一种基于元学习的无参考图像质量数据处理方法、智能终端。
背景技术
目前，最接近的现有技术：随着移动互联网和信息技术的发展，图像处理技术广泛应用各个领域。然而由于图像在获取、压缩、传输和储存时会有不同程度的失真。因此急需有一种高效可靠的方法来评估这些图像的质量。目前，图像质量评价(IQA)已成为各种计算机视觉和图像处理应用的一个重要方面，如图像采集、传输、恢复和增强、图像搜索和检索以及图像识别等。图像质量评价有主观和客观两种方法，主观评价方法是由观察者根据某些标准和经验对观察图像进行评分得到主观质量评价分数，常使用平均意见值(MOS)和差分平均意见值(DMOS)。由于人眼是图像的最终接收者，所以主观评价方法最符合图像真实质量。但是由于主观评价方法费时费力，且容易受到主观因素和实验环境的影响，相比而言，客观图像质量评价方法具有简单、实时、可重复和易集成等特点，所以研究符合主观视觉***(HVS)的客观评价方法是图像质量评价的重点。
根据对原始图像的依赖程度，客观图像质量评价一般分为三种类型，即全参考型、部分参考型和无参考型。全参考评价方法就是利用原始图像全部信息，通过计算原始图像与失真图像之间的感知误差，并综合这些误差得到失真图像的质量评价分数。全参考评价体系虽然评价准确率相对较高，但其前提是需要参考图像的全部信息，这在很多场合是很困难的。但是如果能得到参考图像的部分特征信息，在这种情况下，就可以采用部分参考的质量评价方法。无参考质量评价方法也称为盲评价，即完全依赖于待评估图像本身的信息来进行质量评估。由于不需要原始图像的任何信息，因此实现起来相对较困难，但是由于其在应用领域的实用性，还是吸引了许多研究者的关注。
目前，无参考图像质量评价方法可以进一步分为两类：特定于失真的质量评价方法和非特定于失真的通用型质量评价方法，具体取决于失真类型的是否已知。在现实生活中，如果要评价图像的质量，它的失真类型往往是未知的。因此，通用型的图像质量评价逐渐成为数字图像客观质量评价的热点，并且得到了一定的发展。这类方法的通常是利用图像的相关特征通过机器学习方法或者自然场景统计方法训练得到质量评价模型，然后把质量评价模型作为先验知识，最后利用这个先验知识模型对待评估图像进行质量评分。基于自然场景统计方法主要思想是自然图像会呈现一定的统计规律，并且这些规律会因为图像失真而变化，因此图像的质量分数可以通过提取图像自然统计特征并计算统计数据的偏离程度得到。Mittal等人在论文“No-reference image quality assessment in thespatial domain”中提出了一种基于空间统计特性的快速无参考图像质量评价方法BRISQUE，BRISQUE方法在两个尺度空间提取特征，每种尺度空间提取18个统计特征(3个尺度*3个取向*2个参数)，然后两级分类/回归框架对图像进行质量评估。基于机器学习的方法主要是提取与失真有关的图像低级特征与图像质量分数之间通过训练的方式进行建模，利用建立的模型自动评价图像质量。但是上述方法提取的特征很难全面的描述图像的各种失真特性。
近几年，深度卷积神经网络广泛应用促进了无参考图像质量评价的迅速发展，Ma等人在论文“End-to-end blind image quality assessment using deep neuralnetworks”中提出了多任务端到端优化深度神经网络(MEON)来实现图像质量评价。MEON由两个子网络组成，一个失真识别网络和一个质量预测网络，两者共享部分卷积层。与用于训练多任务网络的传统方法不同，本文的训练过程分两步进行，第一步训练一个识别失真类型的子网络；第二步，从预训练的共享层和第一个子网络的输出作为初始化，使用随机梯度下降法的变体来训练质量预测子网络。然后其方法存在如下不足：(1)对于现实中图像，一般很难局限于特定的失真类型；(2)深度神经网络需要大量的数据进行训练才能达到较好的效果，但是对于大多数质量评价图像数据库来说，样本图像数量远远不够，所以基于小样本训练得到的图像质量评价深度模型往往会产生过拟合现象，泛化能力不强。
综上所述，现有技术存在的问题是：目前图像质量评价中训练样本少以及模型对不同失真类型图像泛化能力差。
解决上述技术问题的难度：目前无参考的图像质量评价的难点在于可供训练样本少和训练模型对不同失真类型的图像泛化能力差。本发明方法利用元学习方法在处理小样本问题的优越性能，利用不同失真类型图像的质量评价任务训练通用的质量评价先验模型，学习到先验模型对未知失真类型图像的泛化能力强。
解决上述技术问题的意义：针对单一失真图像的质量评价方法研究较多，但是通常在实际情况下，很难获取图像的失真类型，这就导致利用现有的质量评价方法难以有效地对图像进行质量评价，因此需要构建一个对任意失真图像泛化能力强的质量评价模型，可以快速地应用到现实生活中所遇到的未知失真图像的质量评价上。
发明内容
针对现有技术存在的问题，本发明提供了一种基于元学习的无参考图像质量数据处理方法、智能终端。
本发明是这样实现的，一种基于元学习的无参考图像质量数据处理方法，所述基于元学习的无参考图像质量数据处理方法包括以下步骤：
第一步，包含大量模拟失真的图像质量评价数据集按照失真类型划分成不同的任务；
第二步，每个失真类型的质量评价任务的数据集划分成支持集和查询集，并对图像数据进行预处理；
第三步，构建深度卷积神经网络作为待训练的图像质量评价模型；
第四步，将预处理后的图像数据和质量分数输入到构建的网络模型中进行基于梯度优化的元学习方式训练，得到质量评价先验模型；
第五步，把真实失真的图像质量评价数据库划分成训练集和测试集，利用预处理后的训练图像以及对应质量分数对获取得到的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型；
第六步，对于测试集中待测试的图像，利用已建立的图像质量评价模型，自动实现对真实失真图像的质量评价。
进一步，所述第一步包含大量模拟失真的图像质量评价数据集按照失真类型划分成不同的任务方法板块具体包括：
(1)搜集包含大量模拟失真的图像数据集，获取图像数据以及对应的质量分数，并把所有的质量分数归一化到[0,1]；
(2)以失真类型为研究目标，每个模拟失真的图像质量评价看出独立的任务。
进一步，所述第二步每个失真类型的质量评价任务的数据集划分成支持集和查询集，并对图像数据进行预处理方法如下：
(1)把每个失真类型的图像质量评价数据集按照8:2的比例分成支持集和查询集；
(2)把图像的尺寸缩放到预定尺寸大小，预定尺寸与构建的深度卷积神经网络所要求的输入尺寸一致；
(3)将图像数据进行归一化操作，统计训练数据中样本图像的均值，对所有的样本图像进行去均值操作，得到预处理后的图像。
进一步，所述第三步构建深度卷积神经网络作为待训练的图像质量评价模型方法板块：
(1)构建的深度卷积神经网络由基础网络模型、两个全连接层和一个输出层组成；
(2)其中基础网络模型去掉全连接层的Inception-V3卷积网络部分；
(3)两个全连接层分别由1024个和512个节点组成；
(4)输出层为图像质量评价的预测结果，采用Sigmoid激活函数作为输出层的激活函数。
进一步，所述第四步将预处理后的图像数据和质量分数输入到构建的网络模型中进行基于梯度优化的元学习方式训练，得到质量评价先验模型方法板块：
(1)以每个失真类型的图像质量评价任务看成训练目标，把支持集和查询集的图像数据分别输入构建的网络模型进行预测，网络模型参数来自预训练网络；
(2)基于梯度优化的元学习训练方式为两级梯度优化方法，首先利用每个失真类型中支持集的图像数据对网络模型参数进行一次更新，然后利用更新后的网络模型对查询集的图像数据进行二次梯度更新；
(3)利用大量不同失真类型的图像质量评价任务对网络模型的参数不断进行训练得到质量评价先验模型；
(4)网络模型训练采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
Figure BDA0002194783410000051
其中，yn和
Figure BDA0002194783410000052
分别为图像质量分数的真实结果和预测结果，N为训练的图像数量；通过梯度优化方法对网络模型参数进行训练，直至计算的损失函数结果小于阈值为止，最终得到图像的质量评价先验模型；
进一步，所述第五步真实失真的图像质量评价数据库划分成训练集和测试集，利用预处理后的训练图像以及对应质量分数对获取得到的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型方法板块：
(1)在真实失真的图像数据库中随机选取80％图像作为训练集，其余20％图像作为测试集，并把图像的质量分数归一化到[0,1]，并利用把图像的尺寸缩放到预定尺寸大小，这个预定尺寸与构建的深度卷积神经网络所要求的输入尺寸一致；将图像数据进行归一化操作，首先统计训练数据中样本图像的均值，然后对所有的样本图像进行去均值操作，得到预处理后的图像的方法对图像进行预处理；
(2)把图像数据以及对应的质量分数对获取的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型；
(3)微调训练的过程采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
Figure BDA0002194783410000061
其中，ym和
Figure BDA0002194783410000062
分别为真实失真图像质量分数的真实结果和预测结果，M为微调训练的图像数量。通过梯度优化方法对网络模型参数进行微调训练，直至计算的损失函数结果小于阈值为止，最终得到符合真实失真图像的质量评价模型。
本发明的另一目的在于提供一种应用所述基于元学习的无参考图像质量数据处理方法的智能终端。
综上所述，本发明的优点及积极效果为：本发明利用元学习的思想不同失真类型的图像质量评价任务中学习先验模型，能够有效地学习到图像失真的先验知识；在进行元学习训练过程中采用了从支持集到查询集的两级梯度优化方法，使得网络模型可以有效地学习到从训练样本到测试样本的适应能力，从而在面对未知失真图像时可以通过少量样本微调先验模型快速而准确地实现质量评价。
与现有技术相比，本发明具有以下优势：
1、不同于现有的无参考质量评价方法，本发明利用元学习的方法学习不同失真类型图像的在质量评价上的共有先验知识，把每个失真类型图像的质量评价看成独立的任务，每个任务分成支持集合查询集；并利用基于元学习的两级梯度优化方法来训练网络参数来获取模型快速学习能力，学习到的先验知识模型可以快速地适应到未知失真图像的质量评价上。
2、本发明提出的方法一种具有较强扩展性的无参考图像质量评价方法，可以适用于任意的深度回归网络，提出的方法仅仅通过显式地两级梯度优化策略训练模型参数，可以获取很好的无参考图像质量评价的泛化性能。
3、本发明针对图像质量评价的小样本学习特点，利用少样本元学习策略解决了图像质量评价训练样本少的问题；通过大量不同失真图像的质量评价任务学习到图像质量评价先验模型，在真实失真图像数据库上的实验结果证明，本发明方法性能比目前主流的无参考图像质量评价方法的性能更好。
附图说明
图1是本发明实施例提供的基于元学习的无参考图像质量数据处理方法流程图。
图2是本发明实施例提供的基于元学习的无参考图像质量数据处理方法的实现流程图。
图3是本发明实施例提供的基于元学习的无参考图像质量评价方法网络结构图。
图4是本发明实施例提供的LIVE-CH图像库中一组真实失真图像示意图；图像的主观平均分数分别为：(a)MOS＝66.36；(b)MOS＝44.69；(c)MOS＝39.23；(d)MOS＝9.23；MOS(Mean Opinion Score)为主观质量分数，用于图像的主观质量评价，图像的MOS值越大，图像质量越好；MOS值越小，图像质量越差。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于元学习的无参考图像质量数据处理方法、智能终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于元学习的无参考图像质量数据处理方法包括以下步骤：
S101：对模拟失真的图像数据库中的图像质量按照失真类型划分成不同的任务，并把每个任务的训练数据分成支持集和查询集；
S102：利用每个任务对构造的深度卷积神经网络进行从支持集数据到查询集数据的两级梯度优化方式获取图像质量评价的先验模型；
S103：划分真实失真的图像数据库为训练集和测试集，利用训练集数据对建立的先验模型进行微调训练获取真实失真图像的质量评价模型；
S104：对于测试集中待测试的图像，利用已建立的真实失真图像的质量评价模型，自动实现图像的无参考质量评价。
下面结合附图对本发明的技术方案作进一步的描述。
本发明针对图像质量评价方法的小样本特征，通过元学习思路设计了一种基于元学习的无参考图像质量评价方法。本发明的目的是解决不同失真类型的图像质量评价之间泛化能力不强的问题，为了解决这个问题，本发明首先不同失真类型的图像质量评价看成一个独立的任务，并把每个任务的训练数据分成支持集和查询集；然后利用大量不同失真图像的质量评价任务对深度卷积神经网络进行从支持集数据到查询集数据的两级梯度优化获取质量评价先验模型；最后通过利用未知失真的真实图像对获取的质量评价模型进行微调获取符合真实失真图像的质量评价模型。具体实施方法如图2所示，本实施例包含元训练数据集和预处理模块、质量评价先验模型训练模块、元测试数据集和预处理模块和真实失真图像质量评价模块。元训练数据集和预处理模块包括从模拟失真数据库中构建大量不同失真类型的图像质量评价任务、图像数据集划分成支持集和查询集和图像预处理等部分组成；质量评价先验模型训练模块包括构建深度卷积神经网络和深度网络模型基于元学习的两级梯度优化部分组成；元测试数据集和预处理模块包括划分真实失真数据库为训练集和测试集以及图像预处理组成；真实失真图像质量评价模块是利用少量真实失真的训练图像对质量评价先验模型进行微调训练得到真实失真图像的质量评价模型。
1、元训练数据集和预处理模块
从模拟失真数据库中构建大量不同失真类型的图像质量评价任务：本发明方法使用的模拟失真数据库为已有的图像质量评价数据集TID2013，其中包括24种单一失真的图像，每种失真类型的图像数量为125幅，总共为3000幅图像。每幅图像的质量分数为平均意见得分(MOS)，分数范围为0分到9分之间，为了方便计算，本发明把图像质量分数归一化到0～1之间。为了学习不同失真类型图像在质量评价方面的共同特性，使得学习的模型具有较好的泛化性能。本发明把每种失真类型的图像质量评价任务看出一个独立的任务，也就是把24种失真图像的质量评价看作为24个任务来构造元训练数据集。
图像数据集划分成支持集和查询集：由于构建了包含多个图像质量评价任务的元训练数据集，因此需要利用元学习的思想把每种失真类型的图像数据按照8:2的比例划分成支持集和查询集，支持集的作用主要是在训练过程中进行网络模型优化，查询集的作用主要是验证利用支持集优化的网络模型是否可以较好的应用到未训练的数据上，用来对支持集训练后的模型参数进行二次修正。
图像预处理：图像的预处理主要包括图像的大小归一化和图像去均值操作。由于深度卷积神经网络输入尺寸是固定的，所以必须要对不同尺寸的样本图像进行缩放操作，本发明首先把所有的样本图像的尺寸缩放到448×448×3大小，然后在缩放之后的图像上按照299×299×3大小尺寸进行随机裁剪来适应网络输入尺寸，其中3表示彩色图像的3个颜色通道，即RGB三个颜色通道；利用卷积神经网络训练模型，需要对训练数据进行去均值操作，这样可以保证训练的图像数据都分布在均值附近，具体过程为：首先统计训练数据中样本图像的均值，然后对所有的样本图像进行去均值操作，得到预处理后的图像。
2、质量评价先验模型训练模块
构建深度卷积神经网络：图3中的深度卷积神经网络为本发明所使用的网络结构模型，其中卷积网络部分为去掉全连接层的Inception-V3网络，并利用全局平均池化(GAP)操作生成包含1024个节点的全连接层，然后在全连接层后再构建两个全连接层和一个输出层；两个全连接层分别由1024个和512个节点组成，输出层为预测的图像质量分数。为了达到更加快速稳定训练效果，在每一个全连接层后增加一个BN层和一个Dropout层，为了使得预测分数在[0，1]之间，最后使用Sigmoid激活函数作为输出层的激活函数。
深度网络模型基于元学习的两级梯度优化：由于构建的元训练数据集包含多个图像质量评价任务，而且这些任务基本都属于小样本学习问题，因此本发明借助元学习在利用大量学习任务有效地处理小样本学习的思想，通过对元训练集中24个图像质量评价任务进行基于两级梯度优化的网络模型训练来获取质量评价先验模型。模型训练过程步骤如下：
(1)随机选取其中一种失真类型的图像训练数据，将预处理后的支持集图像数据输入到深度卷积神经网络中，得到预测的图像质量分数，为了使得网络模型预测的质量分数和真实的质量分数保持一致，本发明利用两者之间的欧式距离作为损失函数进行反向传播计算梯度更新网络参数；
(2)为了验证利用支持集图像数据训练后的网络模型是否可以有效地对未知图像数据进行有效的质量评价，本发明利用查询集图像数据输入步骤(1)更新后的网络模型进行二次梯度计算更新来修正网络参数，这样的两级梯度优化方法能够有效地利用少量已有的训练样本(支持集)学习到的模型具有快速适应未知的样本(查询集)的能力。
(3)然后再随机选取另一种失真类型的图像数据重复步骤(1)和(2)来训练网络模型，直至元训练数据集中的每种失真类型的图像数据都对网络模型训练了50次。
网络模型训练采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
Figure BDA0002194783410000111
其中，yn和
Figure BDA0002194783410000112
分别为图像的质量分数的真实结果和预测结果，N为训练图像数量。通过梯度优化方法对网络模型参数进行训练，直至计算的损失函数结果小于0.0001为止，最终得到图像的图像质量评价先验模型。这样获取的先验模型利用了大量不同失真类型的图像质量评价任务进行优化，获取了不同失真图像在质量评价上的先验知识，可以快速的适应到未知失真图像的质量评价上。
3、元测试数据集和预处理模块
划分真实失真数据库为训练集和测试集：本发明方法使用的真实失真数据库为已有的图像质量评价数据集LIVE-CH，其中包括1162幅真实失真的图像。每幅图像的质量分数为平均意见得分(MOS)，分数范围为0分到100分之间，为了方便计算，本发明把图像质量分数归一化到0～1之间。为了使得质量评价先验模型可以很好的对真实失真图像进行质量评价，本发明把LIVE-CH数据库按照8:2的比例划分成训练集和测试集，利用训练集的图像数据对先验模型进行微调训练，测试集用来验证模型的性能。
图像预处理：图像的预处理主要包括图像的大小归一化和图像去均值操作。由于深度卷积神经网络输入尺寸是固定的，所以必须要对不同尺寸的样本图像进行缩放操作，本发明首先把所有的样本图像的尺寸缩放到448×448×3大小，然后在缩放之后的图像上按照299×299×3大小尺寸进行随机裁剪来适应网络输入尺寸，其中3表示彩色图像的3个颜色通道，即RGB三个颜色通道；利用卷积神经网络训练模型，需要对训练数据进行去均值操作，这样可以保证训练的图像数据都分布在均值附近，具体过程为：首先统计训练数据中样本图像的均值，然后对所有的样本图像进行去均值操作，得到预处理后的图像。
4、真实失真图像质量评价模块
根据步骤2中训练得到质量评价先验模型，本发明利用真实失真图像的训练数据对模型参数进行微调训练即可以得到符合真实失真图像的质量评价模型。微调训练过程采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
其中，ym和
Figure BDA0002194783410000122
分别为图像质量分数的真实结果和预测结果，M为真实失真图像的训练样本数。通过梯度优化方法对网络模型参数进行微调训练，直至计算的损失函数结果小于0.0001为止，最终得到符合真实失真图像的无参考质量评价模型。
最后，对于测试集种的测试样本图像，通过调用上述图像质量评价模型，可以自动对测试图像进行质量评价，并输出质量分数。
下面结合性能测试和实验分析对本发明的技术效果作详细的描述。
为了证明本发明的效果，对存在失真程度不同的图像进行质量评价，并且与其他无参考图像质量评价图像方法进行对比。
为了验证本发明的正确性，从LIVE-CH图像数据库中选出四幅失真图像进行验证。图4为实验中采用的失真图像，主观质量分数DMOS和本发明方法计算得到的质量分数S(范围0～100)分别为：(a)MOS＝66.36，S＝73.51。(b)MOS＝44.69，S＝55.21。(c)MOS＝39.23，S＝29.87。(d)MOS＝9.23，S＝16.43。从实验测试结果可以看出，在评价图像质量上所得出的结果与主观质量评价结果一致性较好，能够比较准确地评价图像质量。
为了验证本发明提出的方法的整体性能，将本实施例方法与BLIINDS-II、BRISQUE、ILNIQE、CORNIA、HOSA、BIECON、WaDIQaM-NR、NEON、DIQA和NSSADNN等十种方法在LIVE-CH数据库上进行无参考的图像质量评价性能的对比。本发明使用皮尔森相关系数(Pearson Correlation Coefficient,PLCC)和斯皮尔曼相关系数(Spearman Rank OrderCorrelation Coefficient,SROCC)来衡量图像质量评价的性能，PLCC用于定量度量质量分数预测结果与真实结果的一致性，SROCC用于定量度量质量分数预测结果与真实结果的排序相关性，PLCC/SROCC值越大方法的预测性能越好。
表1给出了本发明方法和其他10种方法图像质量评价性能对比。由表中可以看出，本发明方法和现有无参考图像质量评价方法相比具有明显的优势，即PLCC/SRCC的数值明显高于其他方法，说明了本发明在无参考图像质量评价上具有很好的预测性能。
表1：无参考图像质量评价性能对比
方法 PLCC SROCC
BLIINDS-II 0.507 0.463
BRISQUE 0.629 0.607
ILNIQE 0.589 0.594
CORNIA 0.671 0.618
HOSA 0.678 0.659
BIECON 0.613 0.595
WaDIQaM-NR 0.680 0.671
NEON 0.693 0.688
DIQA 0.704 0.703
NSSADNN 0.813 0.745
本发明方法 0.839 0.802
总之，本发明提出的基于元学习的无参考图像质量评价模型具有很好的泛化性能，提出的基于两级梯度优化的质量评价先验模型能够有效地捕获不同失真类型的图像在质量评价上的先验知识，通过实验显示出了本发明提出的方法相对之前的方法具有更好的质量评价性能，本发明提出的方法不限低对特定失真图像进行评价，对未知失真图像具有很好的评价性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于元学习的无参考图像质量数据处理方法，其特征在于，所述基于元学习的无参考图像质量数据处理方法包括以下步骤：
第一步，包含大量模拟失真的图像质量评价数据集按照失真类型划分成不同的任务；
第二步，每个失真类型的质量评价任务的数据集划分成支持集和查询集，并对图像数据进行预处理；
第三步，构建深度卷积神经网络作为待训练的图像质量评价模型；
第四步，将预处理后的图像数据和质量分数输入到构建的网络模型中进行基于梯度优化的元学习方式训练，得到质量评价先验模型；
第五步，把真实失真的图像质量评价数据库划分成训练集和测试集，利用预处理后的训练图像以及对应质量分数对获取得到的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型；
第六步，对于测试集中待测试的图像，利用已建立的图像质量评价模型，自动实现对真实失真图像的质量评价。
2.如权利要求1所述的基于元学习的无参考图像质量数据处理方法，其特征在于，所述第一步包含大量模拟失真的图像质量评价数据集按照失真类型划分成不同的任务方法板块具体包括：
(1)搜集包含大量模拟失真的图像数据集，获取图像数据以及对应的质量分数，并把所有的质量分数归一化到[0,1]；
(2)以失真类型为研究目标，每个模拟失真的图像质量评价看出独立的任务。
3.如权利要求1所述的基于元学习的无参考图像质量数据处理方法，其特征在于，所述第二步每个失真类型的质量评价任务的数据集划分成支持集和查询集，并对图像数据进行预处理方法如下：
(1)把每个失真类型的图像质量评价数据集按照8:2的比例分成支持集和查询集；
(2)把图像的尺寸缩放到预定尺寸大小，预定尺寸与构建的深度卷积神经网络所要求的输入尺寸一致；
(3)将图像数据进行归一化操作，统计训练数据中样本图像的均值，对所有的样本图像进行去均值操作，得到预处理后的图像。
4.如权利要求1所述的基于元学习的无参考图像质量数据处理方法，其特征在于，所述第三步构建深度卷积神经网络作为待训练的图像质量评价模型方法板块：
(1)构建的深度卷积神经网络由基础网络模型、两个全连接层和一个输出层组成；
(2)其中基础网络模型去掉全连接层的Inception-V3卷积网络部分；
(3)两个全连接层分别由1024个和512个节点组成；
(4)输出层为图像质量评价的预测结果，采用Sigmoid激活函数作为输出层的激活函数。
5.如权利要求1所述的基于元学习的无参考图像质量数据处理方法，其特征在于，所述第四步将预处理后的图像数据和质量分数输入到构建的网络模型中进行基于梯度优化的元学习方式训练，得到质量评价先验模型方法板块：
(1)以每个失真类型的图像质量评价任务看成训练目标，把支持集和查询集的图像数据分别输入构建的网络模型进行预测，网络模型参数来自预训练网络；
(2)基于梯度优化的元学习训练方式为两级梯度优化方法，首先利用每个失真类型中支持集的图像数据对网络模型参数进行一次更新，然后利用更新后的网络模型对查询集的图像数据进行二次梯度更新；
(3)利用大量不同失真类型的图像质量评价任务对网络模型的参数不断进行训练得到质量评价先验模型；
(4)网络模型训练采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
其中，yn和
Figure FDA0002194783400000032
分别为图像质量分数的真实结果和预测结果，N为训练的图像数量；通过梯度优化方法对网络模型参数进行训练，直至计算的损失函数结果小于阈值为止，最终得到图像的质量评价先验模型。
6.如权利要求1所述的基于元学习的无参考图像质量数据处理方法，其特征在于，所述第五步真实失真的图像质量评价数据库划分成训练集和测试集，利用预处理后的训练图像以及对应质量分数对获取得到的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型方法板块：
(1)在真实失真的图像数据库中随机选取80％图像作为训练集，其余20％图像作为测试集，并把图像的质量分数归一化到[0,1]，并利用把图像的尺寸缩放到预定尺寸大小，这个预定尺寸与构建的深度卷积神经网络所要求的输入尺寸一致；将图像数据进行归一化操作，首先统计训练数据中样本图像的均值，然后对所有的样本图像进行去均值操作，得到预处理后的图像的方法对图像进行预处理；
(2)把图像数据以及对应的质量分数对获取的质量评价先验模型进行微调训练得到符合真实失真图像的质量评价模型；
(3)微调训练的过程采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式如下：
Figure FDA0002194783400000033
其中，ym和
Figure FDA0002194783400000034
分别为真实失真图像质量分数的真实结果和预测结果，M为微调训练的图像数量。通过梯度优化方法对网络模型参数进行微调训练，直至计算的损失函数结果小于阈值为止，最终得到符合真实失真图像的质量评价模型。
7.一种应用权利要求1～6任意一项所述基于元学习的无参考图像质量数据处理方法的智能终端。
CN201910844666.8A 2019-09-06 2019-09-06 基于元学习的无参考图像质量数据处理方法、智能终端 Pending CN110728656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844666.8A CN110728656A (zh) 2019-09-06 2019-09-06 基于元学习的无参考图像质量数据处理方法、智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844666.8A CN110728656A (zh) 2019-09-06 2019-09-06 基于元学习的无参考图像质量数据处理方法、智能终端

Publications (1)

Publication Number Publication Date
CN110728656A true CN110728656A (zh) 2020-01-24

Family

ID=69217951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844666.8A Pending CN110728656A (zh) 2019-09-06 2019-09-06 基于元学习的无参考图像质量数据处理方法、智能终端

Country Status (1)

Country Link
CN (1) CN110728656A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507426A (zh) * 2020-04-30 2020-08-07 中国电子科技集团公司第三十八研究所 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN111583259A (zh) * 2020-06-04 2020-08-25 南昌航空大学 一种文档图像质量评价方法
CN112149805A (zh) * 2020-09-24 2020-12-29 济南大学 基于框架搜索的深度神经网络的加速与压缩方法及***
CN112419270A (zh) * 2020-11-23 2021-02-26 深圳大学 元学习下的无参考图像质量评价方法、装置及计算机设备
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法
CN113537407A (zh) * 2021-08-31 2021-10-22 平安医疗健康管理股份有限公司 基于机器学习的图像数据评价处理方法及装置
CN113554045A (zh) * 2020-04-23 2021-10-26 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN113722727A (zh) * 2021-07-21 2021-11-30 山东师范大学 一种选择性加密图像的无参考视觉安全分析方法及***
CN113724197A (zh) * 2021-07-26 2021-11-30 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN114066857A (zh) * 2021-11-18 2022-02-18 烟台艾睿光电科技有限公司 红外图像质量评价方法、装置、电子设备及可读存储介质
CN115760822A (zh) * 2022-11-28 2023-03-07 深圳市捷易科技有限公司 一种图像质量检测模型建立方法及***
CN116502959A (zh) * 2023-06-21 2023-07-28 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN117152067A (zh) * 2023-08-14 2023-12-01 安徽大学 基于深度元学习的无参考光场图像质量评估方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107680077A (zh) * 2017-08-29 2018-02-09 南京航空航天大学 一种基于多阶梯度特征的无参考图像质量评价方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法
CN109978836A (zh) * 2019-03-06 2019-07-05 华南理工大学 基于元学习的用户个性化图像美感评价方法、***、介质和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680077A (zh) * 2017-08-29 2018-02-09 南京航空航天大学 一种基于多阶梯度特征的无参考图像质量评价方法
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法
CN109978836A (zh) * 2019-03-06 2019-07-05 华南理工大学 基于元学习的用户个性化图像美感评价方法、***、介质和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AI研习社-译站: "图像样本不够用？元学习帮你解决", 《雷锋网：HTTPS://WWW.LEIPHONE.COM/CATEGORY/AI/CCXZRHOPMEJN4CUD.HTML》 *
CHELSEA FINN，ET AL.: "Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks", 《ARXIV》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554045B (zh) * 2020-04-23 2024-04-09 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN113554045A (zh) * 2020-04-23 2021-10-26 国家广播电视总局广播电视科学研究院 数据集制作方法、装置、设备及存储介质
CN111507426B (zh) * 2020-04-30 2023-06-02 中国电子科技集团公司第三十八研究所 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN111507426A (zh) * 2020-04-30 2020-08-07 中国电子科技集团公司第三十八研究所 基于视觉融合特征的无参考图像质量分级评价方法及装置
CN111583259B (zh) * 2020-06-04 2022-07-22 南昌航空大学 一种文档图像质量评价方法
CN111583259A (zh) * 2020-06-04 2020-08-25 南昌航空大学 一种文档图像质量评价方法
CN112149805A (zh) * 2020-09-24 2020-12-29 济南大学 基于框架搜索的深度神经网络的加速与压缩方法及***
CN112149805B (zh) * 2020-09-24 2023-08-22 法正互联(北京)科技有限公司 基于框架搜索的深度神经网络的加速与压缩方法及***
CN112419270A (zh) * 2020-11-23 2021-02-26 深圳大学 元学习下的无参考图像质量评价方法、装置及计算机设备
CN112419270B (zh) * 2020-11-23 2023-09-26 深圳大学 元学习下的无参考图像质量评价方法、装置及计算机设备
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法
CN113722727A (zh) * 2021-07-21 2021-11-30 山东师范大学 一种选择性加密图像的无参考视觉安全分析方法及***
CN113724197A (zh) * 2021-07-26 2021-11-30 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN113724197B (zh) * 2021-07-26 2023-09-15 南京邮电大学 基于元学习的螺纹旋合性判定方法
CN113537407A (zh) * 2021-08-31 2021-10-22 平安医疗健康管理股份有限公司 基于机器学习的图像数据评价处理方法及装置
CN113537407B (zh) * 2021-08-31 2022-05-17 平安医疗健康管理股份有限公司 基于机器学习的图像数据评价处理方法及装置
CN114066857A (zh) * 2021-11-18 2022-02-18 烟台艾睿光电科技有限公司 红外图像质量评价方法、装置、电子设备及可读存储介质
CN115760822A (zh) * 2022-11-28 2023-03-07 深圳市捷易科技有限公司 一种图像质量检测模型建立方法及***
CN115760822B (zh) * 2022-11-28 2024-03-19 深圳市捷易科技有限公司 一种图像质量检测模型建立方法及***
CN116502959A (zh) * 2023-06-21 2023-07-28 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN116502959B (zh) * 2023-06-21 2023-09-08 南京航空航天大学 一种基于元学习的产品制造质量预测方法
CN117152067A (zh) * 2023-08-14 2023-12-01 安徽大学 基于深度元学习的无参考光场图像质量评估方法及***

Similar Documents

Publication Publication Date Title
CN110728656A (zh) 基于元学习的无参考图像质量数据处理方法、智能终端
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108665460B (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
CN110533631B (zh) 基于金字塔池化孪生网络的sar图像变化检测方法
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN111182292B (zh) 无参考视频质量评估方法、***、视频接收器、智能终端
CN109308696B (zh) 基于层级特征融合网络的无参考图像质量评价方法
CN107633255A (zh) 一种深度学习模式下的岩石岩性自动识别分类方法
CN110400293B (zh) 一种基于深度森林分类的无参考图像质量评价方法
Deng et al. Blind noisy image quality assessment using sub-band kurtosis
CN110689523A (zh) 基于元学习个性化图像信息评价方法、信息数据处理终端
CN109816646B (zh) 一种基于退化决策逻辑的无参考图像质量评价方法
CN111429402A (zh) 高级视觉感知特征与深度特征融合的图像质量评价方法
CN112767385B (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN110634060A (zh) 一种用户信用风险的评估方法、***、装置及存储介质
CN114187261A (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN115205196A (zh) 基于孪生网络与特征融合的无参考图像质量评价方法
CN109754390A (zh) 一种基于混合视觉特征的无参考图像质量评价方法
CN111242131B (zh) 一种智能阅卷中图像识别的方法、存储介质及装置
CN112766419A (zh) 一种基于多任务学习的图像质量评估方法及装置
CN111369124A (zh) 一种基于自生成全局特征和注意力的图像美学预测方法
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN113239730B (zh) 一种基于计算机视觉的结构虚假模态参数自动剔除方法
CN114972282A (zh) 基于图像语义信息的增量学习无参考图像质量评价方法
CN114818945A (zh) 融入类别自适应度量学习的小样本图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124