CN108830813B - 一种基于知识蒸馏的图像超分辨率增强方法 - Google Patents

一种基于知识蒸馏的图像超分辨率增强方法 Download PDF

Info

Publication number
CN108830813B
CN108830813B CN201810603516.3A CN201810603516A CN108830813B CN 108830813 B CN108830813 B CN 108830813B CN 201810603516 A CN201810603516 A CN 201810603516A CN 108830813 B CN108830813 B CN 108830813B
Authority
CN
China
Prior art keywords
network
layer
output
image
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810603516.3A
Other languages
English (en)
Other versions
CN108830813A (zh
Inventor
高钦泉
赵岩
童同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Imperial Vision Information Technology Co ltd
Original Assignee
Fujian Imperial Vision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Imperial Vision Information Technology Co ltd filed Critical Fujian Imperial Vision Information Technology Co ltd
Priority to CN201810603516.3A priority Critical patent/CN108830813B/zh
Publication of CN108830813A publication Critical patent/CN108830813A/zh
Application granted granted Critical
Publication of CN108830813B publication Critical patent/CN108830813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于知识蒸馏的图像超分辨率增强方法，其包括以下步骤：1）训练数据和测试数据的获取；2）教师网络的训练；教师网络拥有较深卷积层的神经网络模型，3）学生网络的训练；4）教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；5）测试评估图像重建效果；6）根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导。本发明利用知识蒸馏的相关思想，将教师网络的性能传递给学生网络，学生网络模型可以高效地运行在低功耗限制的移动设备和嵌入式设备上，学生网络网络结构不变的前提下，经过教师网络指导后的学生网络的PSNR有显著提升，得到更好的重建效果。

Description

一种基于知识蒸馏的图像超分辨率增强方法
技术领域
本发明涉及计算机视觉和深度学习领域，尤其涉及一种基于知识蒸馏的图像超分辨率增强方法。
背景技术
超分辨率(Super Resolution,SR)是计算机视觉中的一个经典问题，单图像超分辨率(Single Image Super-Resolution,SISR)的目的是利用数字图像处理等方法，从单个低分辨率(Low-Resolution,LR)图像中恢复出与其对应的高分辨率(High-Resolution,HR)图像。在超分辨率问题中，假设低分辨率图像为X，我们的目标是恢复一个尽可能与真实(Ground Truth,GT)图像Y相似的超分辨率图像Y′。
传统的基于插值的放大方法，包括双线性插值(Bilinear Interpolation)和双立方插值(Bicubic Interpolation)等，使用固定的计算公式，利用低分辨率图像当中的邻域像素信息进行加权平均，计算出放大的高分辨图像中所缺失的中间像素，但是这种简单的插值算法不会产生更多具有高频信息的图像细节。
Dong[1]等人提出的超分辨率卷积神经网络算法(Super-Resolution ConvolutionNeural Network,SRCNN)首次将卷积神经网络应用在图像超分辨率中，它直接学习输入低分辨率图像和相应的高分辨率图像之间端到端的映射关系。SRCNN很好地说明了深度学习在超分辨率问题中是有效的，能够重建很多高频的图像细节信息。Kim[2]等人受VGG-net[3]的启发，在超分辨率问题中使用非常深的卷积神经网络(Image Super-Resolution UsingVery Deep Convolution Networks,VDSR)，VDSR的网络结构由20个卷积层组成，更多的卷积层拥有更大的感受野，可以使用更多的图像邻域信息来预测图像高频细节，因此会有更好的超分辨率重建效果。Lim[4]等人受SRResNet[5]的启发提出了更深的增强型深度残差网络(Enhanced Deep Residual Networks For Single Image Super-Resolution,EDSR)，优化了SRResNet的结构，得到更好的超分辨率重建效果。
从学术界之前的工作可以看出，随着网络深度的增加，图像的重建效果越好。虽然增加网络的深度可以带来更好的超分辨率重建效果，但是同时运算量和内存消耗也会增加，在很多实际的应用场景中(例如移动端和嵌入式等低功耗的限制条件下)，无法实时运行很深的卷积神经网络模型。
发明内容
本发明的目的在于提供一种基于知识蒸馏的图像超分辨率增强方法，在不改变小卷积神经网络模型结构的前提下，提升网络模型的图像超分辨率重建效果，从而能够在移动端和嵌入式端上高效地运行基于卷积神经网络的超分辨率模型。
本发明采用的技术方案是：
一种基于知识蒸馏的图像超分辨率增强方法，其包括以下步骤：
1)训练数据和测试数据的获取；
1-1)训练集选择DIV2K和Flickr2K，一共包括3450张真实图像，测试集分别选择了国际公开数据集Set5,Set14,BSDS100,Urban100；
1-2)采用Bicubic下采样的方法，将训练集的真实图像进行3倍下采样，得到与其对应的一组低分辨率图像；
1-3)使用opencv库中的imread()函数分别读取真实图像和低分辨率图像，图像格式为BGR数据，BGR分别代表彩色空间的蓝色、绿色以及红色部分，
1-4)然后将BGR空间的图像转换到YCrCB空间，Y代表明亮度，即灰阶值，Cr代表BGR红色部分与BGR信号亮度值之间的差异，Cb代表BGR蓝色部分与BGR信号亮度值之间的差异；
1-5)对YCrCb空间的图像进行通道分离，只选择Y通道数据进行训练，并对Y通道数据进行归一化处理；
1-6)对Y通道图像进行裁剪，将裁剪过后的真实图像块作为训练目标，将裁剪过后的低分辨率图像块作为网络训练时的输入，每一次迭代所需的训练数据为32对。
2)教师网络的训练；教师网络是拥有较深卷积层的神经网络模型，
2-1)教师网络的第一层为特征提取和表示层，由卷积层和非线性激活层组成，非线性激活层选择ReLU作为激活函数，第一层的操作可用如下公式表示：
F1(X)＝max(0,W1*X+b1)
式中，W1,b1分别为第一层卷积层的权重和偏置，“*”表示卷积操作，ReLU函数的定义为max(0,x)；
2-2)教师网络的中间层由10个残差块组成，每个残差块有两个卷积层，每个卷积层后是激活函数为ReLU的非线性激活层；用一个跳跃连接将第一个卷积层的输入和第二个卷积层的输出相加，仅对第一个卷积层的输入进行残差学习；每一个残差块可用如下公式表示：
F2n+1(X)＝max(0,W2n+1*Fn(X)+b2n+1)+F2n-1(X) (1≤n≤10)
式中，n代表残差块序号，Fn(X)代表残差块中第一个卷积层和非线性激活层的输出，W2n+1和b2n+1分别代表残差块中第二个卷积层的权重和偏置，F2n-1(X)代表残差块的输入。
2-3)教师网络的重构层是反卷积层(deconvolution)，反卷积层用于将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等；
2-4)对于教师网络的训练，学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：
Figure BDA0001693654340000031
式中，n为训练样本数量；Yi为输入图像，Y′i为预测图像。
2-5)使用Adam优化方法使损失函数最小化。
3)学生网络的训练；
为了达到了更好的重建效果，本发明去掉了学生网络结构的归一化BN层。
3-1)学生网络的第一层为特征提取和表示层，其参数设置与教师网络的第一层相同；
3-2)学生网络的中间层由3个深度可分离卷积(depthwise separableconvolution)模块组成，每个模块都是由一个3×3的深度级卷积层(depthwiseconvolution)和一个1×1的卷积层组成，深度级卷积层和卷积层后都是一个激活函数为ReLU的非线性激活层，深度级卷积的操作可由如下公式表示：
Figure BDA0001693654340000032
式中，K是大小为Dk×Dk×M的深度卷积核，将K中的第m个滤波器应用于F的第m个特征图，来产生经滤波的输出特征图G的第m个特征图；
3-3)学生网络重构层的参数设置与教师网络的重构层相同；
3-4)学生网络的学习率，损失函数，优化方法与教师网络相同；
4)教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；
步骤4)指导实验中使用MSE函数作为训练目标和网络输出的损失函数，并记为loss0，即：
Figure BDA0001693654340000033
式中，n为实验样本数量，Yi为输入图像，Y′i为预测图像。
指导实验一：提取学生网络的第1个深度可分离卷积模块的输出特征图，对其求平均，记为S1，即：
Figure BDA0001693654340000034
式中，n1为特征图个数，si为学生网络中第1个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第4个残差块模块的输出特征图，对其求平均，记为T1，即：
Figure BDA0001693654340000035
式中，n1为特征图个数，ti为教师网络中第4个残差块模块输出的第i张特征图；
使用MSE函数作为T1和S1的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss1，即：
Figure BDA0001693654340000041
式中，n1为特征图个数，T1为教师网络的第4个残差块模块的输出特征图的均值，S1为学生网络的第1个深度可分离卷积模块的输出特征图的均值。
指导实验一的总损失函数loss＝loss0+loss1，使用Adam优化方法使总损失函数最小化；
指导实验二：提取学生网络的第2个深度可分离卷积模块的输出特征图，对其求平均，记为S2，即：
Figure BDA0001693654340000042
式中，n2为特征图个数，s2i为学生网络中第2个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第7个残差块模块的输出特征图，对其求平均，记为T2，即：
Figure BDA0001693654340000043
式中，n2为特征图个数，t2i为教师网络中第7个残差块模块输出的第i张特征图；
使用MSE函数作为T2和S2的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss2，即：
Figure BDA0001693654340000044
式中，n2为特征图个数，T2为教师网络的第7个残差块模块的输出特征图的均值，S2为学生网络的第2个深度可分离卷积模块的输出特征图的均值。
指导实验二的总损失函数为loss＝loss0+loss2，使用Adam优化方法使总损失函数最小化；
指导实验三：提取学生网络的第3个深度可分离卷积模块的输出特征图，对其求平均，记为S3，即：
Figure BDA0001693654340000045
式中，n3为特征图个数，s3i为学生网络中第3个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第10个残差块模块的输出特征图，对其求平均，记为T3，即：
Figure BDA0001693654340000046
Figure BDA0001693654340000047
式中，n3为特征图个数，t3i为教师网络中第10个残差块模块输出的第i张特征图；
使用MSE函数作为T3和S3的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss3，即：
Figure BDA0001693654340000048
式中，n3为特征图个数，T3为教师网络的第10个残差块模块的输出特征图的均值，S3为学生网络的第3个深度可分离卷积模块的输出特征图的均值。
指导实验三的总损失函数为loss＝loss0+loss3，使用Adam优化方法使总损失函数最小化。
5)测试评估图像重建效果；
使用opencv库中的imread()函数读取测试集的真实图像，图像格式为BGR数据，然后将BGR空间的图像转换到YCrCB空间，并对YCrCb空间的图像进行通道分离，此时只选择Y通道数据进行测试，其灰阶值范围在[0-255]之间，通过Bicubic下采样的方法，将测试集的灰度图像进行3倍下采样，得到其对应的低分辨率图像，对Y通道数据进行归一化处理，使其灰阶值范围变为[0-1]之间，并将其作为网络的输入。最后计算网络的输出与真实图像的灰度图像的PSNR来衡量超分辨率重建效果。
通常，用峰值信噪比(Peak signal-to-noise ratio,PSNR)来评估图像重建效果的好坏，PSNR值越高，图像重建效果越好。
6)根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导；
设卷积神经网络的激活层的输出张量为A∈RC×H×W，式中C为特征图个数，H和W分别为特征图的高和宽，
函数M将张量A作为输入，输出为二维矩阵，即：M：RC×H×W→RH×W，且输出特征图之间满足以下关系：
特征图均值的p次方：
Figure BDA0001693654340000051
特征图p次方的均值：
Figure BDA0001693654340000052
特征图的最大值：Mmax(A)＝maxi＝1,CAi
特征图的最小值：Mmin(A)＝mini＝1,CAi。
式中，M为函数，p为幂次方系数，A为卷积神经网络的激活层的输出张量，C为特征图个数，i为特征图序号。
本发明采用以上技术方案，提出利用知识蒸馏技术[6]，让较小的神经网络模型学习较深网络模型的特征，在不改变小网络的模型结构和不增加计算量的前提下，提升小网络模型的图像超分辨增强效果，从而能在有低功耗限制的移动端或者嵌入式端上能够高效地运行效果较好的超分辨率模型。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于知识蒸馏的图像超分辨率增强方法的教师网络结构示意图；
图2为本发明一种基于知识蒸馏的图像超分辨率增强方法的学生网络结构示意图；
图3为本发明一种基于知识蒸馏的图像超分辨率增强方法的教师网络对学生网络的指导过程示意图；
图4为本发明一种基于知识蒸馏的图像超分辨率增强方法的部分实验对比效果。
具体实施方式
如图1-4之一所示，本发明的目的是提出一种基于知识蒸馏的超分辨率重建方法，在不改变小卷积神经网络模型结构的前提下，提升网络模型的图像超分辨率重建效果，从而能够在移动端和嵌入式端上高效地运行基于卷积神经网络的超分辨率模型。
本发明公开了一种基于知识蒸馏的超分辨率重建方法，其具体实施方式如下：
(1)训练集和测试集的获取。
训练集选择DIV2K和Flickr2K。DIV2K有800张真实图像，Flickr2K有2650张真实图像，共计3450张图像。
测试集分别选择了国际公开数据集Set5,Set14,BSDS100,Urban100。Set5有5张测试图像，Set14有14张测试图像，BSDS100和Urban100各有100张测试图像。
采用Bicubic下采样的方法，将训练集的真实图像进行3倍下采样，得到与其对应的一组低分辨率图像。
使用opencv库中的imread()函数分别读取真实图像和低分辨率图像，图像格式为BGR数据，BGR分别代表彩色空间的蓝色、绿色、红色部分，然后将BGR空间的图像转换到YCrCB空间，Y代表明亮度，即灰阶值，Cr代表BGR红色部分与BGR信号亮度值之间的差异，Cb代表BGR蓝色部分与BGR信号亮度值之间的差异。
BGR空间到YCrCb空间的转换公式如下所示：
Y＝0.097906×B+0.504129×G+0.256789×R+16.0
Cr＝-0.071246×B-0.367789×G+0.439215×R+128.0
Cb＝0.439215×B-0.290992×G-0.148223×R+128.0
对YCrCb空间的图像进行通道分离，只选择Y通道数据进行训练，此时，图像灰阶值范围在[0-255]之间，对Y通道数据进行归一化处理，使图像灰阶值范围变为[0-1]之间。
对Y通道图像进行裁剪，下采样倍数为3的时，将真实图像所对应的Y通道图像裁剪为120×120的图像块作为训练目标，将相应的低分辨率图像所对应的Y通道图像裁剪为40×40大小的图像块作为网络训练时的输入。每一次迭代所需的训练数据为32对。
(2)教师网络的训练。
教师网络的结构如图1所示，教师网络是拥有较深卷积层的神经网络模型。教师网络的第一层为特征提取和表示层，由64个大小为3×3的滤波器的卷积层和非线性激活层组成。卷积层的填充(padding)方式设置为‘SAME’，卷积核的滑动步长(stride)设置为1，使卷积操作前后图像大小相等，权重初始化方法设置为Xvaier，偏置项(bias)初始化为0，非线性激活层选择ReLU作为激活函数。第一层的操作可用如下公式表示：
F1(X)＝max(0,W1*X+b1)
式中，W1,b1分别为第一层卷积层的权重和偏置，“*”表示卷积操作，ReLU函数的定义为max(0,x)。
教师网络的中间层由10个残差块组成，每个残差块有两个卷积层，每个卷积层后是激活函数为ReLU的非线性激活层。用一个跳跃连接将第一个卷积层的输入和第二个卷积层的输出相加，仅对第一个卷积层的输入进行残差学习。其中，每个卷积层都是由64个大小为3×3的滤波器组成，padding方式设置为‘SAME’，stride设置为1，权重初始化方法为Xvaier方法，bias初始化为0。每一个残差块可用如下公式表示：
F2n+1(X)＝max(0,W2n+1*Fn(X)+b2n+1)+F2n-1(X) (1≤n≤10)
式中，n代表残差块序号，Fn(X)代表残差块中第一个卷积层和非线性激活层的输出，W2n+1和b2n+1分别代表残差块中第二个卷积层的权重和偏置，F2n-1(X)代表残差块的输入。
上采样倍数为3时，教师网络的重构层是1个滤波器大小为3×3的反卷积层(deconvolution)，stride设置为3。反卷积层的目的是将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等。
对于教师网络的训练，学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：
Figure BDA0001693654340000071
式中，n为实验样本数量，Yi为输入图像，Y′i为预测图像。
使用Adam优化方法使损失函数最小化。
(3)学生网络的训练
学生网络的结构如图2所示，为了达到了更好的重建效果，本发明去掉了网络结构的归一化BN层。学生网络的第一层为特征提取和表示层，其参数设置与教师网络的第一层相同。
学生网络的中间层由3个深度可分离卷积(depthwise separable convolution)模块组成，每个深度可分离卷积模块都是由64个大小为3×3的深度级卷积层(depthwiseconvoluttion)和64个大小为1×1的卷积层组成，深度级卷积层和卷积层后都是一个激活函数为ReLU的非线性激活层。深度级卷积padding方式设置为‘SAME’，stride设置为1。卷积层的stride设置为1，权重初始化方法为Xvaier方法，bias初始化为0。深度级卷积的操作可由如下公式表示：
Figure BDA0001693654340000081
式中，K是大小为Dk×Dk×M的深度卷积核，将K中的第m个滤波器应用于F的第m个特征图，来产生经滤波的输出特征图G的第m个特征图。
学生网络重构层的参数设置与教师网络的重构层相同。
学生网络的学习率，损失函数，优化方法与教师网络相同。
(4)教师网络对学生网络的指导学习。
教师网络对学生网络的指导过程如图3所示。
实验一：
提取学生网络的第1个模块的输出特征图，对其求平均，记为S1，即：
Figure BDA0001693654340000082
式中，n为特征图个数，si为学生网络中第1个模块输出的第i张特征图。
提取教师网络的第4个模块的输出特征图，对其求平均，记为T1，即：
Figure BDA0001693654340000083
式中，n为特征图个数，ti为教师网络中第4个模块输出的第i张特征图。
使用MSE函数作为T1和S1的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss1，即：
Figure BDA0001693654340000084
使用MSE函数作为训练目标和网络输出的损失函数，并记为loss0，即：
Figure BDA0001693654340000085
式中，n为实验样本数量，Yi为输入图像，Y＇i为预测图像。
总损失函数loss＝loss0+loss1，使用Adam优化方法使总损失函数最小化。
实验二：
提取学生网络的第2个模块的输出特征图，对其求平均，记为S2。
提取教师网络的第7个模块的输出特征图，对其求平均，记为T2。
实验三：
提取学生网络的第3个模块的输出特征图，对其求平均，记为S3。
提取教师网络的第10个模块的输出特征图，对其求平均，记为T3。
使用MSE函数作为T2和S2，T3和S3的损失函数，分别记为loss2，loss3。
实验二，实验三的总损失函数分别为loss＝loss0+loss2，loss＝loss0+loss3，使用Adam优化方法使总损失函数最小化。
(5)测试
使用opencv库中的imread()函数读取测试集的真实图像，图像格式为BGR数据，然后将BGR空间的图像转换到YCrCB空间，并对YCrCb空间的图像进行通道分离，此时只选择Y通道数据进行测试，其灰阶值范围在[0-255]之间，通过Bicubic下采样的方法，将测试集的灰度图像进行3倍下采样，得到其对应的低分辨率图像，对Y通道数据进行归一化处理，使其灰阶值范围变为[0-1]之间，并将其作为网络的输入。最后计算网络的输出与真实图像的灰度图像的PSNR来衡量超分辨率重建效果。通常，用峰值信噪比(Peak signal-to-noiseratio,PSNR)来评估图像重建效果的好坏，PSNR值越高，图像重建效果越好。
步骤(2)(3)(4)的结果如表1所示。
表1教师网络对学生网络的指导效果
Figure BDA0001693654340000091
从表1可以看出，实验一、二的PSNR相对于学生网络有少量提升。
(6)进一步指导：考虑输出特征图之间不同的矩阵关系，来对学生网络进行进一步指导。设卷积神经网络的激活层的输出张量为A∈RC×H×W，式中C为特征图个数，H和W分别为特征图的高和宽，函数M将张量A作为输入，输出为二维矩阵，即：
M：RC×H×W→RH×W
本发明考虑以下特征图之间的关系：
特征图均值的p次方：
Figure BDA0001693654340000092
特征图p次方的均值：
Figure BDA0001693654340000101
特征图的最大值：Mmax(A)＝maxi＝1,CAi
特征图的最小值：Mmin(A)＝mini＝1,CAi
式中，M为函数，p为幂次方系数，A为卷积神经网络的激活层的输出张量，C为特征图个数，i为特征图序号。
在步骤(4)(5)的基础上，总损失函数loss＝2×loss0+loss1+loss2，使用Adam优化方法使总损失函数最小化。教师网络对学生网络的进一步指导结果如表2所示。
表2教师网络对学生网络的进一步指导结果
Figure BDA0001693654340000102
Mmean 2(A)方法与bicubic插值方法和学生网络的对比效果如图4所示。
根据本发明的超分辨率方法中，在学生网络网络结构不变的前提下，经过教师网络指导后的学生网络的PSNR有显著提升，得到更好的重建效果。本发明提出的基于知识蒸馏的超分辨率图像增强方法的创新性主要体现在三个方面：
第一，本发明利用知识蒸馏的相关思想，将教师网络的性能传递给学生网络，从而在不改变学生网络模型的结构情况下，极大地提升了学生网络的图像超分辨率重建效果。
第二，为了确定教师网络和学生网络模型的有效信息传递方式，本发明比较了7种不同的特征提取和传递方法，并最终确定了最优的特征提取方式。
第三，由于教师网络在运行的时候需要消耗极大的计算资源，而学生网络模型只需要较小的计算量。本发明提出的学生网络模型可以高效地运行在低功耗限制的移动设备和嵌入式设备上。
以上对本发明的技术方案进行了详细说明，但不能认定本发明的具体实施仅限于所描述的内容。对于本发明领域的相关技术人员来说，在不脱离本发明构思的前提下，对其进行不同的变化，但任何与本发明等同或相似的变化，都属于本发明的保护范围。
参考文献
[1]Chao Dong,Chen Change Loy,Kaiming He,Xiaoou Tang.Image Super-Resolution Using Deep Convolutional Networks[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2016,38(2):295-307.
[2]Jiwon Kim,Jung Kwon Lee,Kyoung Mu Lee.Accurate Image Super-Resolution Using Very Deep Convolutional Networks[C].IEEE Conference onComputer Vision and Pattern Recognition.IEEE,2016:1646-1654.
[3]Karen Simonyan,Andrew Zisserman.Very Deep Convolutional Networksfor Large-Scale Image Recognition[J].Computer Science,2014.
[4]Bee Lim,Sanghyun Son,Heewon Kim,Seungjun Nah,Kyoung MuLee.Enhanced Deep Residual Networks for Single Image Super-Resolution[C].Computer Vision and Pattern Recognition Workshops.IEEE,2017:1132-1140.
[5]Christian Ledig,Lucas Theis,Ferenc Huszar,Jose Caballero,AndrewCunningham,Alejandro Acosta,Andrew Aitken,Alykhan Tejani,Johannes Totz,ZehanWang,Wenzhe Shi.Photo-Realistic Single Image Super-Resolution Using aGenerative Adversarial Network[C].IEEE Conference on Computer Vision andPattern Recognition.IEEE,2017:105-114.
[6]Geoffrey Hinton,Oriol Vinyals,Jeff Dean.Distilling the Knowledgein a Neural Network[J].Computer Science,2015,14(7):38-39.

Claims (4)

1.一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：其包括以下步骤：
1)训练数据和测试数据的获取；
1-1)训练集选择DIV2K和Flickr2K，一共包括3450张真实图像，测试集分别选择了国际公开数据集Set5、Set14、BSDS100、Urban100；
1-2)采用Bicubic下采样的方法，将训练集的真实图像进行3倍下采样，得到与其对应的一组低分辨率图像；
1-3)使用opencv库中的imread()函数分别读取真实图像和低分辨率图像，图像格式为BGR数据，BGR分别代表彩色空间的蓝色、绿色以及红色部分，
1-4)然后将BGR空间的图像转换到YCrCb空间，Y代表明亮度，即灰阶值，Cr代表BGR红色部分与BGR信号亮度值之间的差异，Cb代表BGR蓝色部分与BGR信号亮度值之间的差异；
1-5)对YCrCb空间的图像进行通道分离，只选择Y通道数据进行训练，并对Y通道数据进行归一化处理；
1-6)对Y通道图像进行裁剪，将裁剪过后的真实图像块作为训练目标，将裁剪过后的低分辨率图像块作为网络训练时的输入，每一次迭代所需的训练数据为32对；
2)教师网络的训练；教师网络拥有较深卷积层的神经网络模型，
2-1)教师网络的第一层为特征提取和表示层，由卷积层和非线性激活层组成，非线性激活层选择ReLU作为激活函数，第一层的操作可用如下公式表示：F1(X)＝max(0,W1*X+b1)式中，W1,b1分别为第一层卷积层的权重和偏置，“*”表示卷积操作，ReLU函数的定义为max(0,x)；
2-2)教师网络的中间层由10个残差块组成，每个残差块有两个卷积层，每个卷积层后是激活函数为ReLU的非线性激活层；用一个跳跃连接将第一个卷积层的输入和第二个卷积层的输出相加，仅对第一个卷积层的输入进行残差学习；每一个残差块用如下公式表示：
F2o+1(X)＝max(0,W2o+1*Fo(X)+b2o+1)+F2o-1(X)(1≤o≤10)
式中，o代表残差块序号，Fo(X)代表残差块中第一个卷积层和非线性激活层的输出，W2o+1和b2o+1分别代表残差块中第二个卷积层的权重和偏置，F2o-1(X)代表残差块的输入；
2-3)教师网络的重构层是反卷积层，反卷积层用于将前一层网络的输出进行上采样，使输出的超分辨率图像与训练目标大小相等；
2-4)对于教师网络的训练，学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：
Figure FDA0003268192200000011
式中，n为训练样本数量，Yi为输入图像，Y′i为预测图像；
2-5)使用Adam优化方法使损失函数最小化；
3)学生网络的训练；
3-1)学生网络的第一层为特征提取和表示层，其参数设置与教师网络的第一层相同；
3-2)学生网络的中间层由3个深度可分离卷积模块组成，每个模块都是由一个3×3的深度级卷积层和一个1×1的卷积层组成，深度级卷积层和卷积层后都是一个激活函数为ReLU的非线性激活层，深度级卷积的操作由如下公式表示：
Figure FDA0003268192200000021
式中，K是大小为Dk×Dk×M的深度卷积核，将K中的第m个滤波器应用于F的第m个特征图，来产生经滤波的输出特征图G的第m个特征图；
3-3)学生网络重构层的参数设置与教师网络的重构层相同；
3-4)学生网络的学习率，损失函数，优化方法与教师网络相同；即学习率设置为0.0001，使用MSE函数作为训练目标和网络输出的损失函数，其表达式如下所示：
Figure FDA0003268192200000022
式中，n为训练样本数量；
4)教师网络对学生网络的指导学习；通过三组指导实验由学生网络学习吸收教师网路的特征图；
5)测试评估图像重建效果；
6)根据输出特征图之间不同的矩阵关系对学生网络进行进一步指导；
设卷积神经网络的激活层的输出张量为A∈RC×H×W，式中C为特征图个数，H和W分别为特征图的高和宽，
函数M将张量A作为输入，输出为二维矩阵，即：M：RC×H×W→RH×W，且输出特征图之间满足以下关系：
特征图均值的p次方：
Figure FDA0003268192200000023
特征图p次方的均值：
Figure FDA0003268192200000024
特征图的最大值：Mmax(A)＝maxi＝1,CAi
特征图的最小值：Mmin(A)＝mini＝1,CAi
式中，M为函数，p为幂次方系数，A为卷积神经网络的激活层的输出张量，C为特征图个数，i为特征图序号。
2.根据权利要求1所述的一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：步骤1- 4)中BGR空间到YCrCb空间的转换公式如下所示：
Y＝0.097906×B+0.504129×G+0.256789×R+16.0
Cr＝-0.071246×B-0.367789×G+0.439215×R+128.0
Cb＝0.439215×B-0.290992×G-0.148223×R+128.0。
3.根据权利要求1所述的一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：步骤4)指导实验中使用MSE函数作为训练目标和网络输出的损失函数，并记为loss0，即：
Figure FDA0003268192200000031
Figure FDA0003268192200000032
式中，n为实验样本数量，Yi为输入图像，Y′i为预测图像；
指导实验一：提取学生网络的第1个深度可分离卷积模块的输出特征图，对其求平均，记为S1，即：
Figure FDA0003268192200000033
式中，n1为特征图个数，si为学生网络中第1个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第4个残差块模块的输出特征图，对其求平均，记为T1，即：
Figure FDA0003268192200000034
式中，n1为特征图个数，ti为教师网络中第4个残差块模块输出的第i张特征图；
使用MSE函数作为T1和S1的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss1，即：
Figure FDA0003268192200000035
式中，n1为特征图个数，T1为教师网络的第4个残差块模块的输出特征图的均值，S1为学生网络的第1个深度可分离卷积模块的输出特征图的均值；
指导实验一的总损失函数loss＝loss0+loss1，使用Adam优化方法使总损失函数最小化；
指导实验二：提取学生网络的第2个深度可分离卷积模块的输出特征图，对其求平均，记为S2，即：
Figure FDA0003268192200000036
式中，n2为特征图个数，s2i为学生网络中第2个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第7个残差块模块的输出特征图，对其求平均，记为T2，即：
Figure FDA0003268192200000037
式中，n2为特征图个数，t2i为教师网络中第7个残差块模块输出的第i张特征图；
使用MSE函数作为T2和S2的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss2，即：
Figure FDA0003268192200000038
式中，n2为特征图个数，T2为教师网络的第7个残差块模块的输出特征图的均值，S2为学生网络的第2个深度可分离卷积模块的输出特征图的均值；
指导实验二的总损失函数为loss＝loss0+loss2，使用Adam优化方法使总损失函数最小化；指导实验三：提取学生网络的第3个深度可分离卷积模块的输出特征图，对其求平均，记为S3，即：
Figure FDA0003268192200000041
式中，n3为特征图个数，s3i为学生网络中第3个深度可分离卷积模块输出的第i张特征图；
提取教师网络的第10个残差块模块的输出特征图，对其求平均，记为T3，即：
Figure FDA0003268192200000042
式中，n3为特征图个数，t3i为教师网络中第10个残差块模块输出的第i张特征图；
使用MSE函数作为T3和S3的损失函数，使学生网络学习到教师网络特征图的内容，并记为loss3，即：
Figure FDA0003268192200000043
式中，n3为特征图个数，T3为教师网络的第10个残差块模块的输出特征图的均值，S3为学生网络的第3个深度可分离卷积模块的输出特征图的均值；
指导实验三的总损失函数为loss＝loss0+loss3，使用Adam优化方法使总损失函数最小化。
4.根据权利要求1所述的一种基于知识蒸馏的图像超分辨率增强方法，其特征在于：步骤5的具体步骤为：
5-1)使用opencv库中的imread()函数读取测试集的真实图像，图像格式为BGR数据，
5-2)将BGR空间的图像转换到YCrCb 空间，并对YCrCb空间的图像进行通道分离，此时只选择Y通道数据进行测试，其灰阶值范围在[0-255]之间，
5-3)通过Bicubic下采样的方法将测试集的灰度图像进行3倍下采样，得到其对应的低分辨率图像，对低分辨率图像Y通道数据进行归一化处理，使其灰阶值范围变为[0-1]之间，并将其作为网络的输入；
5-4)计算网络的输出与真实图像的灰度图像的PSNR来衡量超分辨率重建效果。
CN201810603516.3A 2018-06-12 2018-06-12 一种基于知识蒸馏的图像超分辨率增强方法 Active CN108830813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810603516.3A CN108830813B (zh) 2018-06-12 2018-06-12 一种基于知识蒸馏的图像超分辨率增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810603516.3A CN108830813B (zh) 2018-06-12 2018-06-12 一种基于知识蒸馏的图像超分辨率增强方法

Publications (2)

Publication Number Publication Date
CN108830813A CN108830813A (zh) 2018-11-16
CN108830813B true CN108830813B (zh) 2021-11-09

Family

ID=64143896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810603516.3A Active CN108830813B (zh) 2018-06-12 2018-06-12 一种基于知识蒸馏的图像超分辨率增强方法

Country Status (1)

Country Link
CN (1) CN108830813B (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658354B (zh) * 2018-12-20 2022-02-08 上海联影医疗科技股份有限公司 一种图像增强方法和***
WO2019228482A1 (en) 2018-05-30 2019-12-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN109816636B (zh) * 2018-12-28 2020-11-27 汕头大学 一种基于智能终端的裂缝检测方法
CN110309842B (zh) * 2018-12-28 2023-01-06 中国科学院微电子研究所 基于卷积神经网络的物体检测方法及装置
CN109637546B (zh) * 2018-12-29 2021-02-12 苏州思必驰信息科技有限公司 知识蒸馏方法和装置
CN111414987B (zh) * 2019-01-08 2023-08-29 南京人工智能高等研究院有限公司 神经网络的训练方法、训练装置和电子设备
CN110458765B (zh) * 2019-01-25 2022-12-02 西安电子科技大学 基于感知保持卷积网络的图像质量增强方法
CN109978763A (zh) * 2019-03-01 2019-07-05 昆明理工大学 一种基于跳跃连接残差网络的图像超分辨率重建算法
CN110111256B (zh) * 2019-04-28 2023-03-31 西安电子科技大学 基于残差蒸馏网络的图像超分辨重建方法
CN110110634B (zh) * 2019-04-28 2023-04-07 南通大学 基于深度学习的病理图像多染色分离方法
CN110111257B (zh) * 2019-05-08 2023-01-03 哈尔滨工程大学 一种基于特征通道自适应加权的超分辨图像重建方法
CN110245754B (zh) * 2019-06-14 2021-04-06 西安邮电大学 一种基于位置敏感图的知识蒸馏指导方法
CN112116526B (zh) * 2019-06-19 2024-06-11 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN110598727B (zh) * 2019-07-19 2023-07-28 深圳力维智联技术有限公司 基于迁移学习的模型构建方法、图像识别方法及其装置
CN110796619B (zh) * 2019-10-28 2022-08-30 腾讯科技（深圳）有限公司 一种图像处理模型训练方法、装置、电子设备及存储介质
CN111209832B (zh) * 2019-12-31 2023-07-25 华瑞新智科技（北京）有限公司 变电站巡检机器人辅助避障训练方法、设备及介质
CN111160533B (zh) * 2019-12-31 2023-04-18 中山大学 一种基于跨分辨率知识蒸馏的神经网络加速方法
CN111275646B (zh) * 2020-01-20 2022-04-26 南开大学 一种基于深度学***滑方法
CN113365107B (zh) * 2020-03-05 2024-05-10 阿里巴巴集团控股有限公司 视频处理方法、影视视频处理方法及装置
US11900260B2 (en) 2020-03-05 2024-02-13 Huawei Technologies Co., Ltd. Methods, devices and media providing an integrated teacher-student system
CN111402311B (zh) * 2020-03-09 2023-04-14 福建帝视信息科技有限公司 一种基于知识蒸馏的轻量级立体视差估计方法
CN111428191B (zh) * 2020-03-12 2023-06-16 五邑大学 基于知识蒸馏的天线下倾角计算方法、装置和存储介质
CN111639744B (zh) * 2020-04-15 2023-09-22 北京迈格威科技有限公司 学生模型的训练方法、装置及电子设备
CN111626330B (zh) * 2020-04-23 2022-07-26 南京邮电大学 基于多尺度特征图重构和知识蒸馏的目标检测方法与***
CN111598793A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种用于输电线路图像去雾的方法、***及存储介质
CN111582101B (zh) * 2020-04-28 2021-10-01 中国科学院空天信息创新研究院 一种基于轻量化蒸馏网络的遥感图像目标检测方法及***
CN111681178B (zh) * 2020-05-22 2022-04-26 厦门大学 一种基于知识蒸馏的图像去雾方法
CN111681298A (zh) * 2020-06-08 2020-09-18 南开大学 一种基于多特征残差网络的压缩感知图像重建方法
CN111724306B (zh) * 2020-06-19 2022-07-08 福州大学 一种基于卷积神经网络的图像缩小方法及***
CN111881920B (zh) * 2020-07-16 2024-04-09 深圳力维智联技术有限公司 一种大分辨率图像的网络适配方法及神经网络训练装置
CN112037139B (zh) * 2020-08-03 2022-05-03 哈尔滨工业大学（威海） 基于RBW-CycleGAN网络的图像去雾方法
CN111967597A (zh) * 2020-08-18 2020-11-20 上海商汤临港智能科技有限公司 神经网络训练及图像分类方法、装置、存储介质、设备
CN112200062B (zh) * 2020-09-30 2021-09-28 广州云从人工智能技术有限公司 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN112200722A (zh) * 2020-10-16 2021-01-08 鹏城实验室 图像超分辨重构模型的生成方法、重构方法及电子设备
CN112348167B (zh) * 2020-10-20 2022-10-11 华东交通大学 一种基于知识蒸馏的矿石分选方法和计算机可读存储介质
CN112734645B (zh) * 2021-01-19 2023-11-03 青岛大学 一种基于特征蒸馏复用的轻量化图像超分辨率重建方法
CN112884650B (zh) * 2021-02-08 2022-07-19 武汉大学 一种基于自适应纹理蒸馏的图像混合超分辨率方法
CN113065635A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种模型的训练方法、图像增强方法及设备
CN113096013B (zh) * 2021-03-31 2021-11-26 南京理工大学 基于成像建模和知识蒸馏的盲图像超分辨重建方法及***
CN113240580B (zh) * 2021-04-09 2022-12-27 暨南大学 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN113177888A (zh) * 2021-04-27 2021-07-27 北京有竹居网络技术有限公司 超分修复网络模型生成方法、图像超分修复方法及装置
CN113411425B (zh) * 2021-06-21 2023-11-07 深圳思谋信息科技有限公司 视频超分模型构建处理方法、装置、计算机设备和介质
CN113469977B (zh) * 2021-07-06 2024-01-12 浙江霖研精密科技有限公司 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质
CN113592742A (zh) * 2021-08-09 2021-11-02 天津大学 一种去除图像摩尔纹的方法
CN113724261A (zh) * 2021-08-11 2021-11-30 电子科技大学 一种基于卷积神经网络的快速图像构图方法
CN113807214B (zh) * 2021-08-31 2024-01-05 中国科学院上海微***与信息技术研究所 基于deit附属网络知识蒸馏的小目标人脸识别方法
CN113793265A (zh) * 2021-09-14 2021-12-14 南京理工大学 一种基于深度特征关联性的图像超分辨率方法及***
CN113837308B (zh) * 2021-09-29 2022-08-05 北京百度网讯科技有限公司 基于知识蒸馏的模型训练方法、装置、电子设备
CN114359053B (zh) * 2022-01-07 2023-06-20 中国电信股份有限公司 图像处理方法、装置、设备及存储介质
CN114898165A (zh) * 2022-06-20 2022-08-12 哈尔滨工业大学 一种基于模型通道剪裁的深度学习知识蒸馏方法
CN117237190B (zh) * 2023-09-15 2024-03-15 中国矿业大学 用于边缘移动设备的轻量化图像超分辨率重建***及方法
CN117952830A (zh) * 2024-01-24 2024-04-30 天津大学 一种基于迭代交互指导的立体图像超分辨率重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107784628A (zh) * 2017-10-18 2018-03-09 南京大学 一种基于重建优化和深度神经网络的超分辨率实现方法
CN107945146A (zh) * 2017-11-23 2018-04-20 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319039A1 (en) * 2016-11-07 2018-05-09 UMBO CV Inc. A method and system for providing high resolution image through super-resolution reconstruction
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107358293A (zh) * 2017-06-15 2017-11-17 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107784628A (zh) * 2017-10-18 2018-03-09 南京大学 一种基于重建优化和深度神经网络的超分辨率实现方法
CN107945146A (zh) * 2017-11-23 2018-04-20 南京信息工程大学 一种基于深度卷积神经网络的时空卫星图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Convolutional neural network-based transfer learning and knowledge distillation using multi-subject data in motor imagery BCI";Siavash Sakhavi 等;《2017 8th International IEEE/EMBS Conference on Neural Engineering (NER)》;20170815;588-591 *
"基于增强监督知识蒸馏的交通标识分类";赵胜伟 等;《中国科技论文》;20171031;第12卷(第20期);2355-2360 *

Also Published As

Publication number Publication date
CN108830813A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830813B (zh) 一种基于知识蒸馏的图像超分辨率增强方法
CN109509152B (zh) 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN112927202B (zh) 多时域多特征结合的Deepfake视频检测方法及***
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN109685716B (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN111898701A (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN112734646A (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别***及方法
CN113628152A (zh) 一种基于多尺度特征选择性融合的暗光图像增强方法
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN115115514A (zh) 基于高频信息特征融合的图像超分辨率重建方法
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN117635428A (zh) 一种肺部ct图像超分辨重建方法
CN116403063A (zh) 基于多区域特征融合的无参考屏幕内容图像质量评估方法
CN117351542A (zh) 一种面部表情识别方法及***
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN115100039A (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN113850721A (zh) 单幅图像超分辨率重建方法、装置、设备及可读存储介质
CN109615576A (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN108596831B (zh) 一种基于AdaBoost实例回归的超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant