CN115375600B - 一种基于自编码器的重构图像质量衡量方法及*** - Google Patents

一种基于自编码器的重构图像质量衡量方法及*** Download PDF

Info

Publication number
CN115375600B
CN115375600B CN202211288588.6A CN202211288588A CN115375600B CN 115375600 B CN115375600 B CN 115375600B CN 202211288588 A CN202211288588 A CN 202211288588A CN 115375600 B CN115375600 B CN 115375600B
Authority
CN
China
Prior art keywords
image set
encoder
feature
original image
reconstructed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211288588.6A
Other languages
English (en)
Other versions
CN115375600A (zh
Inventor
***
赵峰
庄莉
梁懿
秦亮
王秋琳
徐杰
吕君玉
刘浩锋
余金沄
何敏
刘开培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Original Assignee
Wuhan University WHU
State Grid Information and Telecommunication Co Ltd
Fujian Yirong Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU, State Grid Information and Telecommunication Co Ltd, Fujian Yirong Information Technology Co Ltd filed Critical Wuhan University WHU
Priority to CN202211288588.6A priority Critical patent/CN115375600B/zh
Publication of CN115375600A publication Critical patent/CN115375600A/zh
Application granted granted Critical
Publication of CN115375600B publication Critical patent/CN115375600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自编码器的重构图像质量衡量方法，包括以下步骤：收集若干原始图像，生成原始图像集；构建包括编码器和解码器的自编码器网络；将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并计算复现图像与对应原始图像之间的复现损失，基于复现损失对自编码器网络进行训练，完成自编码器网络的训练；取出训练好的自编码器网络中的编码器，作为特征提取器；获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据Fréchet距离衡量重构图像集的数据质量。

Description

一种基于自编码器的重构图像质量衡量方法及***
技术领域
本发明涉及一种基于自编码器的重构图像质量衡量方法及***，属于图像处理技术领域。
背景技术
在深度学习领域中，图像数据的收集往往消耗大量的人力物力。为了减少数据的收集量，通常会通过其他方法如抠图等方式，人为制造一些类似但特征不同的新图像数据。利用人为制造的新图像数据，组成重构图像集，重构图像集与原始图像集背景相似，但具体特征不同。图像数据集对模型的影响巨大，重构图像集在制造时，不可避免的会引入噪声、变形等一系列干扰，同时重构图像集的图形分布也会在一定程度上发生变化，如何量化重构图像集和原始图像集质量和分布差异亟待解决。
发明内容
为了解决上述现有技术中存在的问题，本发明提出了一种基于自编码器的重构图像质量衡量方法及***，利用编码器提取图像的特征，并获取原始图像集和重构图像集的特征分布，基于特征分布计算原始图像集和重构图像集的Fréchet距离，衡量重构图像集的数据质量。
本发明的技术方案如下：
一方面，本发明提供一种基于自编码器的重构图像质量衡量方法，包括以下步骤：
收集若干原始图像，并对原始图像进行预处理，生成原始图像集；
构建包括编码器和解码器的自编码器网络；
将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；
取出训练好的自编码器网络中的编码器，作为特征提取器；
对原始图像集中的图像进行重构处理，获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；
计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量。
作为优选实施方式，所述构建包括编码器和解码器的自编码器网络的方法具体为：
构建网络基本模块，包括CBL模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；所述C3模块由三层连续的卷积层堆叠组成；
定义编码器结构，编码器包括a个CBL模块、b个下采样模块以及一个C3模块，所述编码器用于输入原始图像x，输出相应的特征向量z；
定义解码器结构，解码器包括a个CBL模块，b个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像。
作为优选实施方式，所述构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练的方法具体为：
构建均方差损失函数，具体如下：
其中，x为输入至编码器的原始图像，为解码器生成的复现图像，z=E(x)为编码器输出的特征向量，以及为解码器对特征向量进行还原的函数；
根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，更新自编码器网络的参数，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
作为优选实施方式，所述将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布的具体方法为：
将原始图像集输入至特征提取器中，对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量和原始图像特征协方差矩阵作为原始图像集的特征分布；
将重构图像集输入至特征提取器中，对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量和重构图像特征协方差矩阵作为重构图像集的特征分布；
所述计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量的方法具体为：
根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
其中，为原始图像集的n维向量，为重构图像集的n维向量，为原始图像特征协方差矩阵，为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
另一方面，本发明还提供一种基于自编码器的重构图像质量衡量***，包括：
数据集构建模块，用于收集若干原始图像，并对原始图像进行预处理，生成原始图像集；
自编码器网络构建模块，用于构建包括编码器和解码器的自编码器网络；
训练模块，用于将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；
特征提取器获取模块，用于取出训练好的自编码器网络中的编码器，作为特征提取器；
特征分布计算模块，用于对原始图像集中的图像进行重构处理，获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；
质量衡量模块，用于计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量。
作为优选实施方式，所述自编码器网络构建模块具体包括：
基本模块构建单元，用于构建网络基本模块，包括CBL模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；所述C3模块由三层连续的卷积层堆叠组成；
编码器结构构建单元，用于定义编码器结构，编码器包括a个CBL模块、b个下采样模块以及一个C3模块，所述编码器用于输入原始图像x，输出相应的特征向量z；
解码器结构构建单元，用于定义解码器结构，解码器包括a个CBL模块，b个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像。
作为优选实施方式，所述训练模块具体用于：
构建均方差损失函数，具体如下：
其中，x为输入至编码器的原始图像，为解码器生成的复现图像，z=E(x)为编码器输出的特征向量，以及为解码器对特征向量进行还原的函数；
根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，更新自编码器网络的参数，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
作为优选实施方式，所述特征分布计算模块包括：
原始图像集特征分布计算模块，用于将原始图像集输入至特征提取器中，对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量和原始图像特征协方差矩阵作为原始图像集的特征分布；
重构图像集特征分布计算模块，用于将重构图像集输入至特征提取器中，对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量和重构图像特征协方差矩阵作为重构图像集的特征分布；
所述质量衡量模块具体用于：
根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
其中，为原始图像集的n维向量，为重构图像集的n维向量，为原始图像特征协方差矩阵，为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
再一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于自编码器的重构图像质量衡量方法。
再一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于自编码器的重构图像质量衡量方法。
本发明具有如下有益效果：
本发明基于自编码器的重构图像质量衡量方法,利用原始数据集对自编码器网络进行训练，将训练好的自编码器中的编码器作为特征提取器来提取图像特征，不需要额外添加标签，减少数据标注工作量；通过特征提取器分别获取原始图像集特征分布和重构图像集特征分布，通过统计的方法衡量数据集之间的差异，避免了仅仅衡量单张数据质量带来的局限性，最后根据计算出的Fréchet距离对图像集质量和分布差异进行了量化，能够快速比较重构图像集的数据质量。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例中计算图像特征协方差矩阵的示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
参见图1，一种基于自编码器的重构图像质量衡量方法，包括以下步骤：
S100、收集若干原始图像，并对原始图像进行预处理，生成原始图像集；预处理包括将所有原始图像进行分辨率统一，本实施例中，将所有原始图像统一为256x256x3的分辨率；
S200、构建包括编码器（encoder）和解码器（decoder）的自编码器网络；自编码器网络以输入信息作为学习目标，可以对输入信息进行特征学习；
S300、将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；
S400、取出训练好的自编码器网络中的编码器，作为特征提取器；
S500、对原始图像集中的图像进行重构处理，获得重构图像集，重构处理例如对原始图像进行PS变换处理，或者颜色变换处理、灰度调整处理、亮度调整处理等等；将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；
S600、计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量；计算出的Fréchet距离越小，表示重构图像集与原始图像集越接近，质量越好。举例说明，假设有原始图像集A，重构图像集B和重构图像集C，若要比较重构图像集B和重构图像集C哪个数据集的数据质量更好的话，需将数据集A，B，C都输入到编码器中，得到原始图像集A的特征分布，重构图像集B的特征分布，重构图像集C的特征分布；
再分别计算原始图像集A的特征分布和重构图像集B的特征分布之间的Fréchet距离F1以及原始图像集A的特征分布和重构图像集C的特征分布之间的Fréchet距离F2；比较Fréchet距离F1和Fréchet距离F2的大小则可以判断哪个重构图像集的数据质量更好，例如Fréchet距离F2小于Fréchet距离F1，则重构图像集C的数据质量比重构图像集B的数据质量要好。
本实施例利用Fréchet距离的重构图像集质量衡量方法，利用训练好的自编码器中的编码器作为特征提取器，不需要额外添加标签，减少数据标注工作量；将原数据集和重构图像集输入到特征提取器，分别获取原始图像集特征分布和重构图像集特征分布，通过统计的方法衡量数据集之间的差异，避免了仅仅衡量单张数据质量带来的局限性，最后根据Fréchet距离对图像集质量和分布差异进行了量化，能够快速比较重构图像集的数据质量。
作为本实施例的优选实施方式，在步骤S200中，所述构建包括编码器和解码器的自编码器网络的方法具体为：
S201、构建网络基本模块，包括CBL（Conv BatchNatchNorm LeakyReLU）模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；BatchNorm层可以将特征值分布重新拉回标准正态分布，可以使得梯度变大，避免梯度消失，加快收敛。对于网络某一层一个批次的输入记为，其中代表一个样本，n为该批次数据的个数。故得此批次数据里元素的均值和方差分别为  和 ，对每个元素都进行标准化，是为防止出现除0错误而设置的较小的数字，如；为补偿网络因为标准化而损失的非线性表达能力，继而进行尺度缩放和偏移操作，实现恒等变换，即网络输出，其中，；LeakyReLU计算公式为：
 其中leak是一个很小的常数，使用LeakyReLU激活函数可以使负轴信息不会全部丢失，避免神经元坏死；所述C3模块由三层连续的卷积层堆叠组成。
S202、定义编码器结构，本实施例中，编码器包括6个CBL模块、6个下采样模块以及一个C3模块，所述编码器用于输入经过预处理后的原始图像x，输出相应的n维的特征向量z；编码器将输入图像进行编码，从而达到降维和特征提取的目的。
S203、定义解码器结构，本实施例中，解码器包括6个CBL模块，6个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像。解码器将输入的特征向量还原为复现图像，确保特征向量不失真。
作为本实施例的优选实施方式，在步骤S300中，所述构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练的方法具体为：
S301、构建均方差损失函数，具体如下：
其中，x为输入至编码器的原始图像，为解码器生成的复现图像，z=E(x)为编码器输出的特征向量，以及为解码器对特征向量进行还原的函数；
S302、根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，对自编码器网络中的每一个权重计算梯度，采用合适的学习率lr对自编码器网络中的权重进行更新，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
作为本实施例的优选实施方式，在步骤S500中，所述将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布的具体方法为：
S501、将原始图像集输入至特征提取器中，通过特征提取器对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量和原始图像特征协方差矩阵作为原始图像集的特征分布；
具体参见图2，例如：通过第一张原始图像输入特征提取器得到四维特征向量[1.0,2.0,3.0,4.0],第二张原始图像输入特征提取器得到四维特征向量[1.1,2.1,3.1,4.1]，第三张原始图像输入特征提取器得到四维特征向量[1.2,2.2,3.2,4.2]；对上述三个四维特征向量的每一维度求均值：
[(1.0+1.1+1.2)/3,(2.0+2.1+2.2)/3,(3.0,3.1,3.2)/3,(4.0,+4.1+4.2)/3]，得到四维向量=[1.1,2.1,3.1,4.1]；
继续根据上述三个四维特征向量计算图像特征协方差矩阵：
cov(X，Y)=E[(X-E[X])(Y-E[Y])]，这里的E[X]代表变量X的期望；
cov(1,1)=[(1.0-1.1)(1.0-1.1)+(1.1-1.1)(1.1-1.1)+(1.2-1.1)(1.2-1.1)]/3=0.01；
cov(1,2)=[(1.0-1.1)(2.0-2.1)+(1.1-1.1)(2.1-2.1)+(1.2-1.1)(2.2-2.1)]/3=0.01；
cov(1,3)=[(1.0-1.1)(3.0-3.1)+(1.1-1.1)(3.1-3.1)+(1.2-1.1)(3.2-3.1)]/3=0.01；
cov(1,4)=[(1.0-1.1)(4.0-4.1)+(1.1-1.1)(4.1-4.1)+(1.2-1.1)(4.2-4.1)]/3=0.01；
…
以此类推，计算出4*4阶的原始图像特征协方差矩阵：
S502、将重构图像集输入至特征提取器中，通过特征提取器对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量和重构图像特征协方差矩阵作为重构图像集的特征分布；n维向量和重构图像特征协方差矩阵的计算方法与上述原始图像的n维向量和原始图像特征协方差矩阵的计算方法相同。
在步骤S600中，所述计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量的方法具体为：
S601、根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
其中，为原始图像集的n维向量，为重构图像集的n维向量，为原始图像特征协方差矩阵，为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
S602、根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
实施例二：
本实施例提供一种基于自编码器的重构图像质量衡量***，包括：
数据集构建模块，用于收集若干原始图像，并对原始图像进行预处理，生成原始图像集；该模块用于实现如上述实施例一中步骤S100的功能，在此不再赘述；
自编码器网络构建模块，用于构建包括编码器和解码器的自编码器网络；该模块用于实现如上述实施例一中步骤S200的功能，在此不再赘述；
训练模块，用于将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；该模块用于实现如上述实施例一中步骤S300的功能，在此不再赘述；
特征提取器获取模块，用于取出训练好的自编码器网络中的编码器，作为特征提取器；该模块用于实现如上述实施例一中步骤S400的功能，在此不再赘述；
特征分布计算模块，用于对原始图像集中的图像进行重构处理，获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；该模块用于实现如上述实施例一中步骤S500的功能，在此不再赘述；
质量衡量模块，用于计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量；该模块用于实现如上述实施例一中步骤S600的功能，在此不再赘述。
作为本实施例优选实施方式，所述自编码器网络构建模块具体包括：
基本模块构建单元，用于构建网络基本模块，包括CBL模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；所述C3模块由三层连续的卷积层堆叠组成；
编码器结构构建单元，用于定义编码器结构，编码器包括a个CBL模块、b个下采样模块以及一个C3模块，所述编码器用于输入原始图像x，输出相应的特征向量z；
解码器结构构建单元，用于定义解码器结构，解码器包括a个CBL模块，b个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像。
作为本实施例优选实施方式，所述训练模块具体用于：
构建均方差损失函数，具体如下：
其中，x为输入至编码器的原始图像，为解码器生成的复现图像，z=E(x)为编码器输出的特征向量，以及为解码器对特征向量进行还原的函数；
根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，更新自编码器网络的参数，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
作为本实施例优选实施方式，所述特征分布计算模块包括：
原始图像集特征分布计算模块，用于将原始图像集输入至特征提取器中，对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量和原始图像特征协方差矩阵作为原始图像集的特征分布；
重构图像集特征分布计算模块，用于将重构图像集输入至特征提取器中，对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量和重构图像特征协方差矩阵作为重构图像集的特征分布；
所述质量衡量模块具体用于：
根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
其中，为原始图像集的n维向量，为重构图像集的n维向量，为原始图像特征协方差矩阵，为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
实施例三：
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例所述的基于自编码器的重构图像质量衡量方法。
实施例四：
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的基于自编码器的重构图像质量衡量方法。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于自编码器的重构图像质量衡量方法，其特征在于，包括以下步骤：
收集若干原始图像，并对原始图像进行预处理，生成原始图像集；
构建包括编码器和解码器的自编码器网络；
将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；
取出训练好的自编码器网络中的编码器，作为特征提取器；
对原始图像集中的图像进行重构处理，获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；
计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量；
其中，所述将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布的具体方法为：
将原始图像集输入至特征提取器中，对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量μx，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量μx和原始图像特征协方差矩阵作为原始图像集的特征分布；
将重构图像集输入至特征提取器中，对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量μg，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量μg和重构图像特征协方差矩阵作为重构图像集的特征分布；
所述计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量的方法具体为：
根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
Figure FDA0003992125940000021
其中，μx为原始图像集的n维向量，μg为重构图像集的n维向量，
Figure FDA0003992125940000022
为原始图像特征协方差矩阵，
Figure FDA0003992125940000023
为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
2.根据权利要求1所述的一种基于自编码器的重构图像质量衡量方法，其特征在于，所述构建包括编码器和解码器的自编码器网络的方法具体为：
构建网络基本模块，包括CBL模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；所述C3模块由三层连续的卷积层堆叠组成；
定义编码器结构，编码器包括a个CBL模块、b个下采样模块以及一个C3模块，所述编码器用于输入原始图像x，输出相应的特征向量z；
定义解码器结构，解码器包括a个CBL模块，b个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像
Figure FDA0003992125940000034
3.根据权利要求2所述的一种基于自编码器的重构图像质量衡量方法，其特征在于，所述构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练的方法具体为：
构建均方差损失函数，具体如下：
Figure FDA0003992125940000031
Figure FDA0003992125940000032
其中，x为输入至编码器的原始图像，
Figure FDA0003992125940000033
为解码器生成的复现图像，z＝E(x)为编码器输出的特征向量，D(z)以及D(E(x))为解码器对特征向量进行还原的函数；
根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，更新自编码器网络的参数，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
4.一种基于自编码器的重构图像质量衡量***，其特征在于，包括：
数据集构建模块，用于收集若干原始图像，并对原始图像进行预处理，生成原始图像集；
自编码器网络构建模块，用于构建包括编码器和解码器的自编码器网络；
训练模块，用于将原始图像集中的原始图像作为训练样本，输入至自编码器网络进行图像复现得到复现图像，并构建损失函数计算复现图像与对应原始图像之间的复现损失，基于计算出的复现损失对自编码器网络进行迭代训练，直到达到迭代终止条件，完成自编码器网络的训练；
特征提取器获取模块，用于取出训练好的自编码器网络中的编码器，作为特征提取器；
特征分布计算模块，用于对原始图像集中的图像进行重构处理，获得重构图像集，将原始图像集和重构图像集分别输入至特征提取器中，分别获取原始图像集特征分布和重构图像集特征分布；
质量衡量模块，用于计算原始图像集特征分布和重构图像集特征分布的Fréchet距离，根据计算出的Fréchet距离衡量重构图像集的数据质量；
其中，所述特征分布计算模块包括：
原始图像集特征分布计算模块，用于将原始图像集输入至特征提取器中，对原始图像集中的每一张原始图像提取特征得到m个n维特征向量Zx，对m个特征向量Zx的每一维度求均值获得n维向量μx，通过m个n维特征向量，计算n*n阶的原始图像特征协方差矩阵，将n维向量μx和原始图像特征协方差矩阵作为原始图像集的特征分布；
重构图像集特征分布计算模块，用于将重构图像集输入至特征提取器中，对重构图像集中的每一张重构图像提取特征得到m个n维特征向量Zg，对m个特征向量Zg的每一维度求均值获得n维向量μg，通过m个n维特征向量，计算n*n阶的重构图像特征协方差矩阵，将n维向量μg和重构图像特征协方差矩阵作为重构图像集的特征分布；
所述质量衡量模块具体用于：
根据以下公式计算原始图像集特征分布和重构图像集特征分布的Fréchet距离：
Figure FDA0003992125940000051
其中，μx为原始图像集的n维向量，μg为重构图像集的n维向量，
Figure FDA0003992125940000052
为原始图像特征协方差矩阵，
Figure FDA0003992125940000053
为重构图像特征协方差矩阵，Tr表示矩阵对角线上元素的总和；
根据计算出的Fréchet距离衡量重构图像集的数据质量，计算出的Fréchet距离越小，表示该重构图像集与原始图像集越接近，重构图像集的数据质量越好。
5.根据权利要求4所述的一种基于自编码器的重构图像质量衡量***，其特征在于，所述自编码器网络构建模块具体包括：
基本模块构建单元，用于构建网络基本模块，包括CBL模块和C3模块，所述CBL模块由卷积层、BN批量归一化层和LeakyReLU激活层堆叠组成；所述C3模块由三层连续的卷积层堆叠组成；
编码器结构构建单元，用于定义编码器结构，编码器包括a个CBL模块、b个下采样模块以及一个C3模块，所述编码器用于输入原始图像x，输出相应的特征向量z；
解码器结构构建单元，用于定义解码器结构，解码器包括a个CBL模块，b个上采样模块以及一个C3模块，所述解码器用于输入特征向量z，根据特征向量z进行图像复现生成复现图像
Figure FDA0003992125940000064
6.根据权利要求4所述的一种基于自编码器的重构图像质量衡量***，其特征在于，所述训练模块具体用于：
构建均方差损失函数，具体如下：
Figure FDA0003992125940000061
Figure FDA0003992125940000062
其中，x为输入至编码器的原始图像，
Figure FDA0003992125940000063
为解码器生成的复现图像，z＝E(x)为编码器输出的特征向量，D(z)以及D(E(x))为解码器对特征向量进行还原的函数；
根据每一组原始图像和复现图像计算出的loss损失值，采用反向传播算法，更新自编码器网络的参数，重复进行此步骤，直至自编码器网络收敛或达到设定的迭代次数。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的基于自编码器的重构图像质量衡量方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的基于自编码器的重构图像质量衡量方法。
CN202211288588.6A 2022-10-20 2022-10-20 一种基于自编码器的重构图像质量衡量方法及*** Active CN115375600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211288588.6A CN115375600B (zh) 2022-10-20 2022-10-20 一种基于自编码器的重构图像质量衡量方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211288588.6A CN115375600B (zh) 2022-10-20 2022-10-20 一种基于自编码器的重构图像质量衡量方法及***

Publications (2)

Publication Number Publication Date
CN115375600A CN115375600A (zh) 2022-11-22
CN115375600B true CN115375600B (zh) 2023-04-07

Family

ID=84072861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211288588.6A Active CN115375600B (zh) 2022-10-20 2022-10-20 一种基于自编码器的重构图像质量衡量方法及***

Country Status (1)

Country Link
CN (1) CN115375600B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672885A (zh) * 2019-01-08 2019-04-23 中国矿业大学(北京) 一种用于矿井智能监控的视频图像编解码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148897B2 (en) * 2005-07-20 2018-12-04 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
CN109471049B (zh) * 2019-01-09 2021-09-17 南京航空航天大学 一种基于改进堆叠自编码器的卫星电源***异常检测方法
CN113077005B (zh) * 2021-04-13 2024-04-05 西安交通大学 一种基于lstm自编码器和正常信号数据的异常检测***及方法
CN113920210B (zh) * 2021-06-21 2024-03-08 西北工业大学 基于自适应图学习主成分分析方法的图像低秩重构方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672885A (zh) * 2019-01-08 2019-04-23 中国矿业大学(北京) 一种用于矿井智能监控的视频图像编解码方法

Also Published As

Publication number Publication date
CN115375600A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
Adami et al. Rigorous derivation of the cubic NLS in dimension one
WO2019128660A1 (zh) 训练神经网络的方法和设备、图像处理方法和设备以及存储介质
CN109003229B (zh) 基于三维增强深度残差网络的磁共振超分辨率重建方法
CN111127316B (zh) 一种基于sngan网络的单幅人脸图像超分辨方法及***
CN110288526B (zh) 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法
CN112364942B (zh) 信贷数据样本均衡方法、装置、计算机设备及存储介质
CN114140442A (zh) 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法
CN115375600B (zh) 一种基于自编码器的重构图像质量衡量方法及***
CN114708496A (zh) 一种基于改进空间池化金字塔的遥感变化检测方法
Pilavcı et al. Variance Reduction in Stochastic Methods for Large-Scale Regularized Least-Squares Problems
CN116843679B (zh) 基于深度图像先验框架的pet图像部分容积校正方法
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
Anirudh et al. Improving limited angle ct reconstruction with a robust gan prior
CN112001865A (zh) 一种人脸识别方法、装置和设备
CN116228520A (zh) 基于Transformer生成对抗网络的图像压缩感知重建方法及***
Liu et al. Deep nonparametric estimation of intrinsic data structures by chart autoencoders: Generalization error and robustness
Li et al. Clustering based multiple branches deep networks for single image super-resolution
CN113487491A (zh) 一种基于稀疏性与非局部均值自相似性的图像复原方法
Wang et al. A trust region-CG algorithm for deblurring problem in atmospheric image reconstruction
CN108734222B (zh) 基于校对网络的卷积神经网络图像分类方法
CN113034473A (zh) 基于Tiny-YOLOv3的肺炎图像目标检测方法
CN110266318A (zh) 一种在压缩感知信号重建中基于梯度投影算法的测量矩阵优化方法
CN113066146B (zh) 一种基于Tikhonov技术的改进ECT图像重建方法
CN116977473B (zh) 一种基于投影域和图像域的稀疏角ct重建方法及装置
CN113222814B (zh) 图像的分辨率处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant