CN112365551A - 一种图像质量处理***、方法、设备和介质 - Google Patents
一种图像质量处理***、方法、设备和介质 Download PDFInfo
- Publication number
- CN112365551A CN112365551A CN202011104004.6A CN202011104004A CN112365551A CN 112365551 A CN112365551 A CN 112365551A CN 202011104004 A CN202011104004 A CN 202011104004A CN 112365551 A CN112365551 A CN 112365551A
- Authority
- CN
- China
- Prior art keywords
- quality
- discriminator
- image data
- data set
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000009826 distribution Methods 0.000 claims abstract description 37
- 238000004088 simulation Methods 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 66
- 230000004913 activation Effects 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000001133 acceleration Effects 0.000 abstract 1
- 238000003908 quality control method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像质量处理***、方法、设备和介质，***包括高质量数据供给单元、生成器、和判别器，生成器基于生产对抗网络框架设计，并嵌入卷积神经网络；生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，并将生成的模拟低质量图像数据集传输给判别器；经对抗损失函数进行模型训练的判别器，对生成器生成的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，并输出高低混合质量图像数据集。本方案利用变分自动编码器对高质量图像数据分布进行建模，解决训练样本不均衡的问题，实现图像质量处理加速和实时化控制，成本低且通用性强。
Description
技术领域
本发明涉及图像数据处理技术，具体涉及一种图像质量处理***、方法、设备和介质。
背景技术
在图像数据处理***中，利用计算机视觉领域技术对图像数据处理过程中的质量控制环节进行性能优化，针对的对象包括但不限于医学影像、遥感图像、显微镜切片图像、自然图像等。而图像的质量控制，包括针对图像自身质量是否符合要求的检查，以及预处理质量的检查等，对于后续对图像数据进行批量分析具有重要作用。
由于实际应用中对于图像是否高质量缺乏统一的定量评价指标，目前对图像的质量控制及筛选主要依赖人工完成，或依赖于特定任务下定义的特定指标；前者带来的时间成本和人力成本较高，后者中的“特定指标”为图像质量的一种任务相关的间接指征，未能为图像质量控制提供泛化性能较好的指导方法。
近年来，随着机器学***衡样本的解决方法均为自适应加权，其实际效果通常不稳定，因而无法确定模型是否达到最优。
以大脑磁共振结构像数据为例，磁共振图像质量的退化来自空间域和变换域的多因素影响，难以对其进行显式建模；相比高质量数据的数量，实际得到的低质量图像数据集中的数据数量较少，不足以为分类器提供真实低质量图像数据的分布信息，因此如果采用常规机器学习中的监督学习方法来训练区分高/低质量图像的分类模型，模型的性能将会由于训练数据的局限性而受到限制。
因此，在医学图像领域，亟需一种高速、通用性较好、不依赖于人工定义特征的图像质量控制***应用于临床及科研中。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种图像质量处理***、方法、设备和介质，其能解决上述问题。
本发明的目的采用以下技术方案实现：
一种图像质量处理***，***包括高质量数据供给单元、生成器、和判别器，其中，所述高质量数据供给单元设置在所述生成器和判别器的逻辑上游，所述判别器设置在生成器的逻辑下游；所述高质量数据供给单元向生成器和判别器提供高质量图像数据集；所述生成器基于生产对抗网络框架设计，并嵌入卷积神经网络；所述生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，并将生成的模拟低质量图像数据集传输给判别器；经对抗损失函数进行模型训练的判别器，对生成器生成的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，并输出高低混合质量图像数据集。
优选的，所述生成器采用变分自编码器，所述变分自编码器包括编码器和解码器；其中所述编码器对高质量图像数据集进行编码降维，并对编码器设置差异约束避免结果趋近于零；所述解码器采集编码器中的样本，经特征图尺寸加倍、通道数减半处理，得到与原始输入高质量图像尺寸相同、经过噪声处理的图片作为生产的模拟低质量图像。
优选的，所述编码器和解码器均采用深度卷积神经网络，其中所述编码器的网络结构包括多层卷积层、批归一化层、激活函数层、和池化层，每经过一组卷积层、批归一化层、激活函数层和池化层的处理，特征图尺寸减半、通道数加倍，输出n维向量，n为大于2的正整数；经一层全连接层处理，输出2维向量分布；从n维向量分布中采样n个数值，构成n维向量，作为解码器的输入；解码器的网络结构包括多层反卷积层、批归一化层、ReLU激活函数层、以及卷积层，每经过一组反卷积层、批归一化层、激活函数层和卷积层的处理，特征图尺寸加倍、通道数减半，得到与原始输入高质量图像尺寸相同、经过噪声处理的图片，作为模拟低质量图像。
优选的，差异约束采用JS散度函数；激活函数层采用ReLU激活函数层。
优选的，所述编码器的网络结构包括5层卷积核尺寸为3×3×3、步长为1的卷积层，每层卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层池化核尺寸为2×2×2步长为2的最大池化层，经处理后输出n＝128维向量；所述解码器的网络结构包括5层卷积核尺寸为2×2×2、步长为2的反卷积层，每层反卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层卷积核尺寸为3×3×3、步长为1的卷积层。
优选的，经全连接层处理输出的2维向量分布为均值为μ、方程为σ的正态分布
优选的，所述判别器结构采用VGG-16网络模型，包括JS散度损失函数LJS和生成对抗损失函数LGAN，其中，JS散度损失函数为：
式中，P为编码器的分布，U为标准正态分布，KL(·||·)为KL散度；
对于生成对抗损失函数LGAN，则生成对抗损失函数为：
LGAN＝-log(Dis(x))-log(1-Dis(x'))……………………………………式-2，
式中，x为真实高质量图像数据集中抽取的样本，x’为解码器生成的带噪声样本，Dis(·)为判别器输出的0-1之间的输出，越接近1表示判别器对输入图像越倾向于判定为高质量，越接近0表示判别器对输入图像越倾向于判定为低质量。
一种根据前述***的图像质量处理方法，方法包括：
S1.构建生成器和判别器，其中，生成器采用包括编码器和解码器的变分自编码器；判别器采用经生成对抗函数进行交叉训练的网络模型，通过对抗训练实现判别器对图像数据高/低质量判别性能的提升，模型收敛后，得到的判别器即作为图像数据质量判别器；
S2.提供高质量图像数据集，高质量数据供给单元向编码器和判别器提供高质量图像数据集；
S3.生成模拟低质量图像数据集，生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，具体包括：
S31.高质图像降维和加噪，编码器将高质量数据降维至低维空间，输出特征图尺寸减半、通道数加倍的n维向量分布，并在低维空间对高质量数据进行加噪；
S32.退化生成模拟低质量图像数据集，加噪后的图像由解码器映射回原始图像空间，特征图尺寸加倍、通道数减半，获得退化后的模拟低质量图像；
S4.输出高低混合质量图像数据集，生成器将生成的模拟低质量图像数据集传输给判别器，图像质量判别器将生成器输送的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，输出高低混合质量图像数据集。
优选的，在步骤S1中，判别器的网络模型的交叉训练策略包括：
训练变分自编码器时，固定判别器的参数，对变分自编码器进行调参，训练变分自编码器时，模型的整体损失函数为
LVAE＝LJS-LGAN……………………………………式-3；
训练判别器时，固定变分自编码器的参数，对判别器进行调参，训练判别器时，模型的整体损失函数为
LVAE＝LJS+LGAN……………………………………式-4；
式中，LJS为JS散度损失函数，LGAN为生成对抗损失函数；
通过交叉训练，变分自编码器的加噪生成能力与判别器的高低质量样本判别能力同步加强，最终模型收敛后，得到用于图像的质量评估的图像质量判别器。
优选的，模型的优化方式采用自适应矩估计算法，学习率设为1e-4，模型参数通过梯度下降法更新。
本发明还提供了一种设备，设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现前述的图像质量处理方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的图像质量处理方法。
相比现有技术，本发明的有益效果在于：
1.加速图像质量控制的处理速度，实现图像质控的实时化，同时极大降低操作的人力成本；
2.提供一种通用性较强的图像质控策略，对于不同的应用场景有很好的迁移性。
3.利用变分自动编码器对高质量图像数据分布进行建模，解决目前基于机器学习/深度学习的质量控制方法在实际应用中面对的训练样本不均衡的情况。
4.本发明首次将变分自动编码器与生成对抗网络模型相结合，应用于图像质量控制领域，为图像质量控制提供了一种新的解决方案。
附图说明
图1为本发明基于变分自动编码器-深度生成对抗网络的图像数据质量控制模型的训练过程示意图；
图2为图像质量处理方法的流程图；
图3为本发明涉及设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中使用的技术术语解释如下。
VAE：变分自编码器(Variational autoencoder)；
Enc：编码器(Encoder)；
Dec：解码器(Decoder)；
Dis：判别器(Discriminator)；
GAN：生成对抗网络(Generative adversarial network)；
CNN：卷积神经网络(Convolution neural network)；
Gen：生成器(Generator)。
实施例一
一种图像质量处理***，参见图1，***包括高质量数据供给单元、生成器Gen、和判别器Dis。
逻辑连接关系：高质量数据供给单元设置在所述生成器和判别器的逻辑上游，向生成器和判别器提供高质量图像数据集；所述判别器设置在生成器的逻辑下游，所述生成器基于生产对抗网络框架设计，并嵌入卷积神经网络；所述生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，并将生成的模拟低质量图像数据集传输给判别器。
进一步的，经对抗损失函数进行模型训练的判别器，对生成器生成的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，并输出高低混合质量图像数据集。
本发明基于一先验信息：高质量图像数据集的分布服从正态分布，具体地如下。
符合要求的高质量图像数据集，在空间域、变换域以及上述空间的低维流形上面均应体现为正态分布。因此，可以利用大量高质量数据，使用变分自编码器(Variationalautoencoder，VAE)对高质量数据的分布进行建模。
同时，VAE中的编码器(Encoder)可以将高质量数据降维至低维空间，在低维空间对高质量数据进行加噪，加噪后的图像由解码器(Decoder)映射回原始图像空间，得到退化后的模拟低质量图像。
为使模拟低质量图像尽可能逼真、同时利用模拟低质量图像和真实高质量图像得到实现高/低质量图像判别的分类器，利用零和博弈的思想，参考生成对抗网络(Generative adversarial network，GAN)框架的设计，将卷积神经网络(Convolutionneural network，CNN)分类器嵌入VAE中，即将VAE视为GAN中的生成器(Generator)，将CNN作为GAN中的判别器(Discriminator)。
模型的优化过程中，以GAN的对抗损失函数代替原始VAE中的重构误差损失函数，通过对抗训练实现判别器对图像数据高/低质量判别性能的提升，模型收敛后，得到的判别器即作为图像数据质量判别器，可用于图像质量控制流程中。
模型的训练过程如图1所示。高质量图像首先由VAE的编码器(Encoder)进行编码(降维)，Encoder为一深度卷积神经网络，其网络结构主要包括5层卷积核尺寸为3×3×3、步长为1的卷积层，每层卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层池化核尺寸为2×2×2、步长为2的最大池化层，每经过一组卷积层、批归一化层、激活函数层和池化层的处理，特征图尺寸减半、通道数加倍，最终输出128维向量，经一层全连接层处理，输出2维向量，分别令其为正态分布的均值μ、方差σ。根据前述假设，高质量图像数据集的分布服从正态分布，该正态分布理论上可以利用Encoder映射至标准正态分布；此外，为使最终VAE生成的图像为加噪图像，训练过程中需要避免Encoder计算得到的方差σ趋近于0。因此，我们利用Encoder得到的正态分布N(μ,σ)与标准正态分布N(0,1)之间的JS散度来约束这两个正态分布之间的差异。从正态分布N(μ,σ)中采样128个数值，构成128维向量，作为VAE的解码器(Decoder)的输入。
Decoder为一深度卷积神经网络，其网络结构主要包括5层卷积核尺寸为2×2×2、步长为2的反卷积层，每层反卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层卷积核尺寸为3×3×3、步长为1的卷积层，每经过一组反卷积层、批归一化层、激活函数层和卷积层的处理，特征图尺寸加倍、通道数减半，最终得到与原始输入高质量图像尺寸相同、经过噪声处理的图片，作为模拟低质量图像。
为使模拟低质量图像尽可能逼真、同时利用模拟低质量图像和真实高质量图像得到实现高/低质量图像判别的分类器，利用零和博弈的思想，参考GAN框架的设计，将卷积神经网络(Convolution neural network，CNN)分类器嵌入VAE中，即将VAE视为GAN中的生成器(Generator)，将CNN作为GAN中的判别器(Discriminator)。
Discriminator的结构采用VGG-16网络模型。模型的优化过程中，以GAN的对抗损失函数代替原始VAE中的重构误差损失函数，通过对抗训练实现判别器对图像数据高/低质量判别性能的提升。
根据上述设计，模型的损失函数包括两部分：JS散度损失函数，包括JS散度损失函数LJS和生成对抗损失函数LGAN。具体地，记Encoder得到的分布为P，标准正态分布为U，则JS散度损失函数为：
式中，P为编码器的分布，U为标准正态分布，KL(·||·)为KL散度；
对于生成对抗损失函数LGAN，则生成对抗损失函数为：
LGAN＝-log(Dis(x))-log(1-Dis(x'))……………………………………式-2，
式中，x为真实高质量图像数据集中抽取的样本，x’为解码器生成的带噪声样本，Dis(·)为判别器输出的0-1之间的输出，越接近1表示判别器对输入图像越倾向于判定为高质量，越接近0表示判别器对输入图像越倾向于判定为低质量。
判别器的网络模型的交叉训练策略包括：
训练变分自编码器时，固定判别器的参数，对变分自编码器进行调参，训练变分自编码器时，模型的整体损失函数为
LVAE＝LJS-LGAN……………………………………式-3；
训练判别器时，固定变分自编码器的参数，对判别器进行调参，训练判别器时，模型的整体损失函数为
LVAE＝LJS+LGAN……………………………………式-4；
式中，LJS为JS散度损失函数，LGAN为生成对抗损失函数；
通过交叉训练，变分自编码器的加噪生成能力与判别器的高低质量样本判别能力同步加强，最终模型收敛后，得到用于图像的质量评估的图像质量判别器。
进一步的，模型的优化方式采用自适应矩估计算法，学习率设为1e-4，模型参数通过梯度下降法更新。
实施例二
根据前述***的图像质量处理方法，参见图2，方法包括以下步骤。
S1.构建生成器和判别器，其中，生成器采用包括编码器和解码器的变分自编码器；判别器采用经生成对抗函数进行交叉训练的网络模型，通过对抗训练实现判别器对图像数据高/低质量判别性能的提升，模型收敛后，得到的判别器即作为图像数据质量判别器。
S2.提供高质量图像数据集，高质量数据供给单元向编码器和判别器提供高质量图像数据集。
S3.生成模拟低质量图像数据集，生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，具体包括：
S31.高质图像降维和加噪，编码器将高质量数据降维至低维空间，输出特征图尺寸减半、通道数加倍的n维向量分布，并在低维空间对高质量数据进行加噪；
S32.退化生成模拟低质量图像数据集，加噪后的图像由解码器映射回原始图像空间，特征图尺寸加倍、通道数减半，获得退化后的模拟低质量图像。
S4.输出高低混合质量图像数据集，生成器将生成的模拟低质量图像数据集传输给判别器，图像质量判别器将生成器输送的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，输出高低混合质量图像数据集。
总体上，本发明为一种基于变分自动编码器-深度生成对抗网络(VAE-GAN)的图像质量控制方法。
实施例三
一种设备，参见图3，设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现前述的图像质量处理方法。
具体的，设备包括处理器10、存储器11、通信模块12、输入装置13和输出装置14；设备中处理器10的数量可以是一个或多个，图3中以一个处理器10为例；设备中的处理器10、存储器11、通信模块12、输入装置13和输出装置14可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器11作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种图像质量处理方法对应的模块。处理器10通过运行存储在存储器11中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的一种图像质量处理方法。
存储器11可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器11可进一步包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块12，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置13可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种设备，可执行本发明任一实施例提供的一种图像质量处理方法，具体相应的功能和有益效果。
实施例四
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述图像质量处理方法。计算机可执行指令在由计算机处理器执行时用于执行一种图像质量处理方法，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任一实施例所提供的一种图像质量处理方法中的相关操作。
变换例
a.网络结构方面，Discriminator、以及VAE中的Encoder、Decoder的网络结构不局限于前述描述的结构，可以包括但不限于VGG、ResNet、DenseNet、VNet的下采样支等；
b.VAE中，对Encoder得到的图像加噪方式不局限于前述正态分布，可根据特定场景下对噪声、以及高质量图像的定义，进行相应的修改；
c.损失函数部分：分布之间的差异约束可以采用JS散度以外的其他可微度量指标；GAN的损失函数中的对数损失函数可由其余分类损失函数，如交叉熵损失函数、Focalloss等。
d.本发明以大脑磁共振结构图像为例进行讲解，但其适用对象包括但不限于其余模态的医学影像、遥感图像、显微镜切片图像、自然图像等。
e.本发明利用变分自动编码器对高质量图像数据分布进行建模，解决目前基于机器学习/深度学习的质量控制方法在实际应用中面对的训练样本不均衡的情况。
f.本发明首次将变分自动编码器与生成对抗网络模型相结合，应用于图像质量控制领域，为图像质量控制提供了一种新的解决方案。
***验证
训练得到的图像质量判别器，在搭载CentOs 6.5***的Intel(R)Xeon(R)CPU E5-2670 v2 2.50GHz处理器上，利用Pytorch搭建模型并测试，可在0.1秒内实现单幅图像的质量状况判断，在医院的3200例大脑磁共振结构像数据(3000例高质量数据，200例低质量数据)上测试，得到灵敏度(即将高质量数据正确判别为高质量数据的比例)约为99％，特异度(即将低质量数据正确判别为低质量数据的比例)约为95％。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种图像质量处理***，其特征在于：***包括高质量数据供给单元、生成器、和判别器，其中，所述高质量数据供给单元设置在所述生成器和判别器的逻辑上游，所述判别器设置在生成器的逻辑下游；
所述高质量数据供给单元向生成器和判别器提供高质量图像数据集；
所述生成器基于生产对抗网络框架设计，并嵌入卷积神经网络；所述生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，并将生成的模拟低质量图像数据集传输给判别器；
经对抗损失函数进行模型训练的判别器，对生成器生成的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，并输出高低混合质量图像数据集。
2.根据权利要求1所述的图像质量处理***，其特征在于：所述生成器采用变分自编码器，所述变分自编码器包括编码器和解码器；其中所述编码器对高质量图像数据集进行编码降维，并对编码器设置差异约束避免结果趋近于零；所述解码器采集编码器中的样本，经特征图尺寸加倍、通道数减半处理，得到与原始输入高质量图像尺寸相同、经过噪声处理的图片作为生产的模拟低质量图像。
3.根据权利要求2所述的图像质量处理***，其特征在于：所述编码器和解码器均采用深度卷积神经网络，其中所述编码器的网络结构包括多层卷积层、批归一化层、激活函数层、和池化层，每经过一组卷积层、批归一化层、激活函数层和池化层的处理，特征图尺寸减半、通道数加倍，输出n维向量，n为大于2的正整数；经一层全连接层处理，输出2维向量分布；
从n维向量分布中采样n个数值，构成n维向量，作为解码器的输入；
解码器的网络结构包括多层反卷积层、批归一化层、ReLU激活函数层、以及卷积层，每经过一组反卷积层、批归一化层、激活函数层和卷积层的处理，特征图尺寸加倍、通道数减半，得到与原始输入高质量图像尺寸相同、经过噪声处理的图片，作为模拟低质量图像。
4.根据权利要求3所述的图像质量处理***，其特征在于：其中，所述编码器的网络结构包括5层卷积核尺寸为3×3×3、步长为1的卷积层，每层卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层池化核尺寸为2×2×2步长为2的最大池化层，经处理后输出n＝128维向量；所述解码器的网络结构包括5层卷积核尺寸为2×2×2、步长为2的反卷积层，每层反卷积层后包括一层批归一化层、一层ReLU激活函数层、以及一层卷积核尺寸为3×3×3、步长为1的卷积层。
5.根据权利要求3所述的图像质量处理***，其特征在于：经全连接层处理输出的2维向量分布为均值为μ、方程为σ的正态分布
6.根据权利要求5所述的图像质量处理***，其特征在于：所述判别器结构采用VGG-16网络模型，包括JS散度损失函数LJS和生成对抗损失函数LGAN，其中，JS散度损失函数为：
式中，P为编码器的分布，U为标准正态分布，KL(·||·)为KL散度；
对于生成对抗损失函数LGAN，则生成对抗损失函数为：
LGAN＝-log(Dis(x))-log(1-Dis(x'))……………………………………式-2，
式中，x为真实高质量图像数据集中抽取的样本，x’为解码器生成的带噪声样本，Dis(·)为判别器输出的0-1之间的输出，越接近1表示判别器对输入图像越倾向于判定为高质量，越接近0表示判别器对输入图像越倾向于判定为低质量。
7.根据权利要求1-6任一项***的图像质量处理方法，其特征在于，方法包括：
S1.构建生成器和判别器，其中，生成器采用包括编码器和解码器的变分自编码器；判别器采用经生成对抗函数进行交叉训练的网络模型，通过对抗训练实现判别器对图像数据高/低质量判别性能的提升，模型收敛后，得到的判别器即作为图像数据质量判别器；
S2.提供高质量图像数据集，高质量数据供给单元向编码器和判别器提供高质量图像数据集；
S3.生成模拟低质量图像数据集，生成器将高质量图像数据集降至低维空间、加噪、退化生成模拟低质量图像数据集，具体包括：
S31.高质图像降维和加噪，编码器将高质量数据降维至低维空间，输出特征图尺寸减半、通道数加倍的n维向量分布，并在低维空间对高质量数据进行加噪；
S32.退化生成模拟低质量图像数据集，加噪后的图像由解码器映射回原始图像空间，特征图尺寸加倍、通道数减半，获得退化后的模拟低质量图像；
S4.输出高低混合质量图像数据集，生成器将生成的模拟低质量图像数据集传输给判别器，图像质量判别器将生成器输送的模拟低质量图像数据集和数据供给单元提供的高质量图像数据集进行判别对比，输出高低混合质量图像数据集。
8.根据权利要求7所述的方法，其特征在于，在步骤S1中，判别器的网络模型的交叉训练策略包括：
训练变分自编码器时，固定判别器的参数，对变分自编码器进行调参，训练变分自编码器时，模型的整体损失函数为
LVAE＝LJS-LGAN……………………………………式-3，
训练判别器时，固定变分自编码器的参数，对判别器进行调参，训练判别器时，模型的整体损失函数为
LVAE＝LJS+LGAN……………………………………式-4，
式中，LJS为JS散度损失函数，LGAN为生成对抗损失函数；
通过交叉训练，变分自编码器的加噪生成能力与判别器的高低质量样本判别能力同步加强，最终模型收敛后，得到用于图像的质量评估的图像质量判别器。
9.一种设备，其特征在于，设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如权利要求7或8所述的图像质量处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7或8所述的图像质量处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011104004.6A CN112365551A (zh) | 2020-10-15 | 2020-10-15 | 一种图像质量处理***、方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011104004.6A CN112365551A (zh) | 2020-10-15 | 2020-10-15 | 一种图像质量处理***、方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112365551A true CN112365551A (zh) | 2021-02-12 |
Family
ID=74507693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011104004.6A Pending CN112365551A (zh) | 2020-10-15 | 2020-10-15 | 一种图像质量处理***、方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365551A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781343A (zh) * | 2021-09-13 | 2021-12-10 | 叠境数字科技（上海）有限公司 | 一种超分辨率图像质量提升方法 |
| CN114584675A (zh) * | 2022-05-06 | 2022-06-03 | 中国科学院深圳先进技术研究院 | 一种自适应视频增强方法和装置 |
-
2020
- 2020-10-15 CN CN202011104004.6A patent/CN112365551A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781343A (zh) * | 2021-09-13 | 2021-12-10 | 叠境数字科技（上海）有限公司 | 一种超分辨率图像质量提升方法 |
| CN114584675A (zh) * | 2022-05-06 | 2022-06-03 | 中国科学院深圳先进技术研究院 | 一种自适应视频增强方法和装置 |
| CN114584675B (zh) * | 2022-05-06 | 2022-08-02 | 中国科学院深圳先进技术研究院 | 一种自适应视频增强方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN109919204B (zh) | 一种面向噪声图像的深度学习聚类方法 | |
| CN110992252B (zh) | 一种基于潜变量特征生成的图像多风格转化方法 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN110490239B (zh) | 图像质控网络的训练方法、质量分类方法、装置及设备 | |
| CN111932529B (zh) | 一种图像分类分割方法、装置及*** | |
| CN114936979B (zh) | 一种模型训练方法、图像去噪方法、装置、设备及存储介质 | |
| CN112365551A (zh) | 一种图像质量处理***、方法、设备和介质 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及*** | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| CN116051382A (zh) | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| CN113850796A (zh) | 基于ct数据的肺部疾病识别方法及装置、介质和电子设备 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、***及电子设备 | |
| WO2021179198A1 (zh) | 图像特征可视化方法、图像特征可视化装置及电子设备 | |
| CN116030077B (zh) | 基于多数据集协作学习的视频显著性区域检测方法 | |
| CN117097876A (zh) | 基于神经网络的事件相机图像重建方法 | |
| CN117079339A (zh) | 动物虹膜识别方法、预测模型训练方法、电子设备及介质 | |
| Wang et al. | Retracted: Complex image denoising framework with CNN‐wavelet under concurrency scenarios for informatics systems | |
| CN114283301A (zh) | 一种基于Transformer的自适应医学影像分类方法及*** | |
| CN112446345A (zh) | 一种低质量三维人脸识别方法、***、设备和存储介质 | |
| CN114998990B (zh) | 一种工地人员安全行为识别方法及装置 | |
| Xiang et al. | Quality-distinguishing and patch-comparing no-reference image quality assessment | |
| Saaim et al. | Generative Models for Data Synthesis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |