CN110111256B - 基于残差蒸馏网络的图像超分辨重建方法 - Google Patents
基于残差蒸馏网络的图像超分辨重建方法 Download PDFInfo
- Publication number
- CN110111256B CN110111256B CN201910350951.4A CN201910350951A CN110111256B CN 110111256 B CN110111256 B CN 110111256B CN 201910350951 A CN201910350951 A CN 201910350951A CN 110111256 B CN110111256 B CN 110111256B
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- image
- layer
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000004088 simulation Methods 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000001577 simple distillation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于残差蒸馏网络的图像超分辨率重建方法,主要解决现有方法重建效果差,资源消耗大的问题,其实现步骤为:1)构建残差蒸馏模块;2)级联残差蒸馏块构建残差蒸馏卷积群;3)级联低级特征提取网络、残差蒸馏模块和图像重建层构建残差蒸馏卷积网络;4)对公布的图像数据集进行预处理,并将处理后的数据分成训练数据集和测试数据集;5)利用训练数据集训练残差蒸馏网络;6)将测试数据集中的图像输入到残差蒸馏网络中,输出重建后的高分辨率图像。本发明提高了重建图像的清晰度,尤其在重建结构轮廓、自然纹理时,表现更佳,可用于受限设备采集图像的超分辨率重建。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及图像超分辨重建方法,可用于计算机视觉、模式识别。
背景技术
超分辨率重建技术是通过信号处理、机器学习、统计理论等方法,对安防监控、高清电视、医学检测、刑事侦查等多个领域中受限设备采集到的低分辨率图像进行图像重建。其中,基于实例学习的图像超分辨率重建方法是假设低分辨率图像与对应高分辨率图像存在一定的映射关系,通过学习这一映射关系,并将其转移到输入的低分辨率特征空间来重建高分辨率图像。
清华大学深圳研究生院与深圳市未来媒体技术研究院在其申请的专利文献“一种图像的超分辨率重建方法”(专利申请号:201710084743.5;申请公布号:CN106886978A)中提出了一种图像的超分辨率重建方法。该方法主要通过计算各图像块的中心像素点的位置向量所对应的结构张量,然后计算该结构张量的特征值,来判断图像块是否为平滑图像块;在图像块为平滑图像块时,将初始高分辨率图像块作为该图像块的最终高分辨率图像块;在图像块为非平滑图像块时,结合图论进行重建计算,最终得到重建的高分辨率图像。该方法存在的不足之处是,只考虑图像自身的结构信息,而没有引入外部训练样本,使得图像的先验细节不够丰富,使得重建效果大打折扣。
深圳市华星光电技术有限公司在其申请的专利文献“一种图像超分辨率重建方法”(专利申请号:201611153801.7;申请公布号:CN106780333A)中提出了一种图像超分辨率重建方法。该方法主要通过将低分辨率特征空间和高分辨率特征空间构造成多个成对设置的低分辨率特征子空间和高分辨率特征子空间;然后在成对设置的低分辨率特征子空间和高分辨率特征子空间之间建立线性映射关系;最后根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。该方法存在的不足之处是,在划分特征子空间过程中仅使用K-均值算法进行硬聚类,而且该方法在重建过程中使用的是最近邻方法进行最优锚点搜索,如此一来,该工作就仅仅成为了一个聚类与匹配问题,而没有考虑到图像统计信息,导致图像全局性重建效果一般。
发明内容
本发明的目的在于针对已有技术的不足,提出一种基于残差蒸馏网络的图像超分辨率重建方法,以提升图像重建效果,减少网络参数量,降低网络计算量,便于在受限设备上实现。
为实现上述目的,本发明实现的方案如下:
(1)搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块,用于蒸馏数据特征;
(2)将8个残差蒸馏模块进行级联构成残差蒸馏卷积群,并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾,再在残差蒸馏群的末尾添加压缩卷积层,用来蒸馏信息并压缩通道数量;
(3)搭建两层低级特征提取网络,并在其后级联6个残差蒸馏卷积群,再在残差蒸馏卷集群后搭建图像重建层,构成残差蒸馏网络;
(4)对公布的数据集进行预处理,将每个图像矩阵元素的像素值归一化到[0,1]之间,得到归一化的图像矩阵,并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强;
(5)对增强后的图像数据进行双立方插值下采样,依据放大倍数将每个图像的长度和宽度按比例缩减,得到低分辨率原始图像和高分辨率原始图像,再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱,并选取其80%数据作为训练数据集,其余作为测试数据集;
(6)训练残差蒸馏网络:
(6a)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络,得到两个网络参数Wi和bi,其中Wi表示网络中的边连接的权值向量,bi表示网络中下一次对上一层的偏置;
(6b)使用平均绝对误差MAE作为损失函数,用随机梯度下降法对这两个网络参数Wi和bi进行微调,直到损失值e<30或者迭代次数t>120,得到训练好的残差蒸馏网络;
(7)将测试数据集中的低分辨率图像作为输入,利用训练好的残差蒸馏网络来预测得到对应的高分辨率图像,实现图像超分辨率重建。
本发明与现有技术相比具有以下优点:
第一,由于本发明采用残差蒸馏模块,在网络加深的同时,一方面可以保持信息的一致性,另一方面还可以蒸馏出新的特征,充分利用残差网络结构,使得可以重建出更丰富的图像细节信息,提高了重建效果。
第二,由于本发明网络参数少,计算量小,网络结构简单紧凑,在性能表现和模型体量上做出了很好的权衡。
第三,由于本发明通过残差蒸馏网络进行了有效而简单的蒸馏,可获得比现有先进方法质量更高的超分辨率图像。
附图说明
图1是本发明的实现流程图;
图2是用本发明和现有方法对图“Image074”进行图像超分辨率重建的仿真视觉效果图;
图3是用本发明和现有方法对图“Image027”进行图像超分辨率重建的仿真视觉效果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1,本发明实现的具体步骤如下。
步骤1,构建残差蒸馏模块。
搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块,用于蒸馏数据特征。
该残差蒸馏模块的结构关系表示为:
第一层卷积->第一非线性激活层->第二层卷积->第二非线性激活层->第三层卷积。
各层参数如下:
第一层卷积的卷积核设置为64个,卷积核大小为1×1,步长为1;
第一非线性激活层函数为非线性整流函数;
第二层卷积的卷积核设置为72个,卷积核大小为3×3,补零为1,步长为1,卷积群设置为4;
第三层卷积的卷积核设置为72个,卷积核大小为1×1,步长为1;
第二非线性激活层函数为非线性整流函数。
步骤2,构建残差蒸馏卷积群。
将8个残差蒸馏模块进行级联,以构成残差蒸馏卷积群,并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾,再在残差蒸馏群的末尾添加压缩卷积层,用来蒸馏信息并压缩通道数量。其结构关系表示如下:
第1个残差蒸馏模块->第2个残差蒸馏模块->·····->第8个残差蒸馏模块->压缩卷积层。
该压缩卷积层是由一层卷积层构成,卷积核为64个,卷积核大小为1×1,步长为1。
步骤3,构建残差蒸馏网络。
搭建两层低级特征提取网络,并在其后级联6个残差蒸馏卷积群,再在残差蒸馏卷集群后搭建图像重建层,构成残差蒸馏网络。其结构关系表示如下:
低级特征提取网络->第1个残差蒸馏模块卷积群->第2个残差蒸馏模块卷积群->·····->第6个残差蒸馏模块卷积群->图像重建层。
该低级特征提取网络是由两层卷积层级联构成,其参数如下:
第一个卷积层的卷积核为64个,卷积核大小为3×3,补零为1,步长为1;
第二个卷积层的卷积核为64个,卷积核大小为3×3,补零为1,步长为1。
该图像重建层由3层卷积层级联构成,其参数如下:
第1层卷积层的卷积核个数为:64×低分辨率图像的放大倍数×低分辨率图像的放大倍数,卷积核大小为3×3,补零为1,步长为1;
第2层为pixelshuffle层,参数为低分辨率图像的放大倍数;
第3层卷积层的卷积核为3个,卷积核大小为3×3,补零为1,步长为1。
步骤4,对公布的数据集进行预处理。
将每个图像矩阵元素的像素值归一化到[0,1]之间,得到归一化的图像矩阵,并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强。
步骤5,构建训练数据集和测试数据集。
对增强后的图像数据进行双立方插值下采样,依据放大倍数将每个图像的长度和宽度按比例缩减,得到低分辨率原始图像和高分辨率原始图像;
再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱,并选取其80%数据作为训练数据集,其余作为测试数据集。
步骤6,训练残差蒸馏网络。
6.1)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络,得到两个网络参数Wi和bi:
6.1a)向网络中输入低分辨率图像块,网络进行前向传播得到标签;
6.1b)计算标签与高分辨图像块的误差值,根据误差值e调整网络参数:若误差值e>30,返回6.1a),否则,训练结束,得到两个网络参数Wi和bi,其中Wi表示网络中的边连接的权值向量,bi表示网络中下一次对上一层的偏置。
6.2)用随机梯度下降法对这两个网络参数Wi和bi进行微调:
6.2a)输入一个低分辨率图像;
6.2b)计算网络的输出与所输入的低分辨率图像对应的高分辨率图像之间的差值,用该差值计算损失函数lMAE,公式表示如下:
6.2c)通过损失函数lMAE计算得到的Wi的偏导数GW,i和bi的偏导数Gb,i:
6.2d)依照下式,调整网络中的每个参数:
bi′=bi-α×Gb,i,
Wi′=Wi-α×GW,i,
其中,bi′表示网络调整参数后的参数bi,Wi′表示网络调整参数后的参数Wi,α表示调整参数时的学习率,α∈[0,1];
6.2e)判断调整参数后网络的损失值e是否小于30,若是,则得到训练好的网络,否则,返回6.2a)。
步骤7,重建超分辨率图像。
将测试数据集中的低分辨率图像输入到训练好的残差蒸馏网络,经过残差蒸馏网络的前向传播得到对应的高分辨率图像,实现图像超分辨率重建。
下面结合仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件:
1.1)本发明的仿真实验的硬件平台为:Intel Core [email protected]、16GBRAM,软件平台为:Pytorch;本文仿真实验采用单帧图像超分辨率重建公众数据库,选取图像大小为48×48像素,放大倍数为4倍,其中训练样本集是DIV2K库中的800张图像,包含风景、花鸟、人物的自然图像,参考出处为“Ntire 2017challenge on single image super-resolution:Methods and results,”in Computer Vision and Pattern RecognitionWorkshops(CVPRW),2017IEEE Conference on.IEEE,2017,pp.1110–1121.,本实验的测试样本采用的是,Urban100中的100幅高分辨率无失真24位RGB图像,参考出处为“A databaseof human segmented natural im-ages and its application to evaluatingsegmentation al-gorithms and measuring ecological statistics,”in ComputerVision,2001.ICCV 2001.Proceedings.Eighth IEEE International Conferenceon.IEEE,2001,vol.2,pp.416–423.。
1.2)仿真使用的方法
仿真实验中分别使用本发明及其现有先进方法中的三种方法:
现有技术中的第一种方法是采用记忆存储网络对测试样本进行超分辨率重建,本发明的仿真实验中记为方法A,参考文献“Memnet:A persistent memory network forimage restoration,”in Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition,2017,pp.4539–4547.
现有技术中的第二种方法是采用基于信息蒸馏网络的超分辨率重建方法对测试样本进行超分辨率重建,本发明的仿真实验中记为方法B,参考文献“Fast and accuratesingle image super-resolution via information distillation network,”inProceedings of the IEEE Conference on Computer Vision and PatternRecognition,2018,pp.723–731.
现有技术中的第三种方法是采用基于多尺度残差网络的超分辨率重建方法对测试样本进行超分辨率重建,本发明的仿真实验中记为方法C,参考文献“Multi-scaleresidual network for image super-resolution,”in Proceedings of the EuropeanConference on Computer Vision(ECCV),2018,pp.517–532.
2、仿真内容及其结果分析:
仿真1,用本发明与现有三种方法对测试样本Urban100中的低分辨率“Image074”图进行超分辨率重建,放大倍数为4倍,结果如图2,其中:
图2(a)是测试样本中的低分辨率“Image074”图,
图2(b)是使用方法A对低分辨率“Image074”图进行重建的结果图,
图2(c)是使用方法B对低分辨率“Image074”图进行重建的结果图,
图2(d)是使用方法C对低分辨率“Image074”图进行重建的结果图,
图2(e)是使用本发明对低分辨率“Image074”图进行重建的结果图,
图2(f)是测试样本中的高分辨“Image074”图像。
对比图2(b)、图2(c)、图2(d)和图2(e),可以看出,本发明在对窗户结构轮廓的重建效果较现有技术中的三种方法更加清晰且更加自然。
仿真2,用本发明与现有三种方法对测试样本Urban100中的低分辨率“Image027”图进行超分辨率重建,放大倍数为3倍,结果如图3,其中:
图3(a)是测试样本中的低分辨率“Image027”图,
图3(b)是使用方法A对低分辨率“Image027”图进行重建的结果图,
图3(c)是使用方法B对低分辨率“Image027”图进行重建的结果图,
图3(d)是使用方法C对低分辨率“Image027”图进行重建的结果图,
图3(e)是使用本发明对低分辨率“Image027”图进行重建的结果图,
图3(f)是测试样本中的高分辨“Image027”图像。
对比图3(b)、图3(c)、图3(d)和图3(e),可以看出,本发明在对建筑物纹理的重建效果较现有技术中的三种方法重建更加准确真实。
仿真3,用本发明与现有三种方法对测试样本Urban100重建图像进行客观评价,放大倍数为4倍,采用峰值信噪比PSNR、结构相似度SSIM这两个评价指标作为客观评价指标,评价指标越高,说明重建后的图像质量越好。
本发明与上述现有三种方法重建Urban100图像的客观评价指标的平均值的对比结果如表1所示:
表1本发明与对比方法重建图像的客观评价值评价表
由表1可以看出,本发明重建测试样本Urban100后的两个客观评价指标的平均值均高于上述现有技术中的三种方法,说明本发明重建的图像更接近原始高分辨率的图像,取得更好的重建效果。
Claims (9)
1.一种基于残差蒸馏网络的图像超分辨率重建方法,其特征在于,包括如下:
(1)搭建一个由三个残差卷积层和两个非线性激活层构成残差蒸馏模块,用于蒸馏数据特征;
(2)将8个残差蒸馏模块进行级联构成残差蒸馏卷积群,并将每个残差蒸馏模块中通道数大于64的特征图叠加到残差蒸馏群末尾,再在残差蒸馏群的末尾添加压缩卷积层,用来蒸馏信息并压缩通道数量;
(3)搭建两层低级特征提取网络,并在其后级联6个残差蒸馏卷积群,再在残差蒸馏卷集群后搭建图像重建层,构成残差蒸馏网络;
(4)对公布的数据集进行预处理,将每个图像矩阵元素的像素值归一化到[0,1]之间,得到归一化的图像矩阵,并对图像矩阵随机进行反转、折叠和旋转变化实现图像数据增强;
(5)对增强后的图像数据进行双立方插值下采样,依据放大倍数将每个图像的长度和宽度按比例缩减,得到低分辨率原始图像和高分辨率原始图像,再将低分辨率原始图像与高分辨率原始图像数据成对地进行随机扰乱,并选取其80%数据作为训练数据集,其余作为测试数据集;
(6)训练残差蒸馏网络:
(6a)用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络,得到两个网络参数Wi和bi,其中Wi表示网络中的边连接的权值向量,bi表示网络中下一层对上一层的偏置;
(6b)使用平均绝对误差MAE作为损失函数,用随机梯度下降法对这两个网络参数Wi和bi进行微调,直到损失值e<30或者迭代次数t>120,得到训练好的残差蒸馏网络;
(7)将测试数据集中的低分辨率图像作为输入,利用训练好的残差蒸馏网络来预测得到对应的高分辨率图像,实现图像超分辨率重建。
2.根据权利要求1所述的方法,其特征在于:(1)中的残差蒸馏模块,结构参数如下:
结构关系表示为:
第一层卷积->第一非线性激活层->第二层卷积->第二非线性激活层->第三层卷积;
各层参数设定为:
第一层卷积的卷积核为64个,卷积核大小为1×1,步长为1;
第一非线性激活层采用非线性整流函数;
第二层卷积的卷积核为72个,卷积核大小为3×3,补零为1,步长为1,卷积群设置为4;
第二非线性激活层采用非线性整流函数;
第三层卷积的卷积核为72个,卷积核大小为1×1,步长为1。
3.根据权利要求1所述的方法,其特征在于:(2)中的压缩卷积层,是由一层卷积层构成,其参数如下:
卷积核为64个,卷积核大小为1×1,步长为1。
4.根据权利要求1所述的方法,其特征在于:(3)中的搭建的两层低级特征提取网络,是由两个卷积层级联构成,其参数如下:
第一个卷积层的卷积核为64个,卷积核大小为3×3,补零为1,步长为1;
第二个卷积层的卷积核为64个,卷积核大小为3×3,补零为1,步长为1。
5.根据权利要求1所述的方法,其特征在于:(3)中搭建的图像重建层,是由三层卷积层级联构成,其参数如下:
第一层卷积层的卷积核个数为64×低分辨率图像的放大倍数×低分辨率图像的放大倍数,卷积核大小为3×3,补零为1,步长为1;
第二层为pixelshuffle层,参数为低分辨率图像的放大倍数;
第三层卷积层的卷积核为3个,卷积核大小为3×3,补零为1,步长为1。
7.根据权利要求1所述的方法,其特征在于:(6a)中用训练数据集中的低分辨率图像块和对应的高分辨图像块训练残差蒸馏网络,得到两个网络参数Wi和bi,实现如下:
(6a1)向网络中输入低分辨率图像块,网络进行前向传播得到标签;
(6a2)计算标签与高分辨图像块的误差值,根据误差值e调整网络参数:若误差值e>30,返回(6a1),否则,训练结束,得到两个网络参数Wi和bi,其中Wi表示网络中的边连接的权值向量,bi表示网络中下一次对上一层的偏置。
9.根据权利要求1所述的方法,其特征在于,(6b)中用随机梯度下降法对两个网络Wi参数和bi进行微调,实现步骤如下:
(6b1)输入一个低分辨率图像;
(6b2)计算网络的输出与所输入的低分辨率图像对应的高分辨率图像之间的差值lMAE,通过lMAE计算得到的Wi的偏导数GW,i和bi的偏导数Gb,i
(6b3)依照下式,调整网络中的每个参数:
bi′=bi-α×Gb,i,
Wi′=Wi-α×GW,i,
其中,bi′表示网络调整参数后的参数bi,Wi′表示网络调整参数后的参数Wi,α表示调整参数时的学习率,α∈[0,1];
(6b4)判断调整参数后网络的损失值e是否小于30,若是,则得到训练好的网络,否则,返回(6b1);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910350951.4A CN110111256B (zh) | 2019-04-28 | 2019-04-28 | 基于残差蒸馏网络的图像超分辨重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910350951.4A CN110111256B (zh) | 2019-04-28 | 2019-04-28 | 基于残差蒸馏网络的图像超分辨重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110111256A CN110111256A (zh) | 2019-08-09 |
CN110111256B true CN110111256B (zh) | 2023-03-31 |
Family
ID=67487119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910350951.4A Active CN110111256B (zh) | 2019-04-28 | 2019-04-28 | 基于残差蒸馏网络的图像超分辨重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110111256B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446824B (zh) * | 2019-08-28 | 2024-02-27 | 新华三技术有限公司 | 一种图像重建方法及装置 |
CN111223046B (zh) * | 2019-11-20 | 2023-04-25 | 中国科学院遥感与数字地球研究所 | 一种图像超分辨率重建方法及装置 |
CN113129212B (zh) * | 2019-12-31 | 2023-01-13 | 深圳市联合视觉创新科技有限公司 | 图像超分辨率重建方法、装置、终端设备及存储介质 |
CN111681298A (zh) * | 2020-06-08 | 2020-09-18 | 南开大学 | 一种基于多特征残差网络的压缩感知图像重建方法 |
CN113628115B (zh) * | 2021-08-25 | 2023-12-05 | Oppo广东移动通信有限公司 | 图像重建的处理方法、装置、电子设备和存储介质 |
CN113837941B (zh) * | 2021-09-24 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
CN114881861B (zh) * | 2022-05-25 | 2024-06-04 | 厦门大学 | 基于双采样纹理感知蒸馏学习的不均衡图像超分方法 |
CN114782256B (zh) * | 2022-06-21 | 2022-09-02 | 腾讯科技(深圳)有限公司 | 图像重建方法、装置、计算机设备和存储介质 |
CN115205122B (zh) * | 2022-09-06 | 2022-12-06 | 深圳大学 | 保持结构和纹理的超分图像生成方法、***、装置和介质 |
CN117237190B (zh) * | 2023-09-15 | 2024-03-15 | 中国矿业大学 | 用于边缘移动设备的轻量化图像超分辨率重建***及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
-
2019
- 2019-04-28 CN CN201910350951.4A patent/CN110111256B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110111256A (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
Chen et al. | Denoising hyperspectral image with non-iid noise structure | |
Zhang et al. | Adaptive residual networks for high-quality image restoration | |
Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
CN111127374A (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN111127316B (zh) | 一种基于sngan网络的单幅人脸图像超分辨方法及*** | |
CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
CN111415323B (zh) | 图像的检测方法及装置,神经网络的训练方法及装置 | |
Han et al. | Multi-level U-net network for image super-resolution reconstruction | |
Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
Guo et al. | Remote sensing image super-resolution using cascade generative adversarial nets | |
Zhu et al. | PNEN: Pyramid non-local enhanced networks | |
CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
CN113379597A (zh) | 人脸超分辨率重构方法 | |
CN103020940B (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及*** | |
CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
Bian et al. | Conditional adversarial consistent identity autoencoder for cross-age face synthesis | |
CN117291803B (zh) | Pamgan轻量化面部超分辨率重建方法 | |
CN108090873A (zh) | 基于回归模型的金字塔人脸图像超分辨率重建方法 | |
CN116912268A (zh) | 一种皮肤病变图像分割方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |