CN113487482A - 一种基于元迁移学习的自适应超分辨率方法 - Google Patents
一种基于元迁移学习的自适应超分辨率方法 Download PDFInfo
- Publication number
- CN113487482A CN113487482A CN202110747623.5A CN202110747623A CN113487482A CN 113487482 A CN113487482 A CN 113487482A CN 202110747623 A CN202110747623 A CN 202110747623A CN 113487482 A CN113487482 A CN 113487482A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- meta
- super
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013508 migration Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000005012 migration Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 4
- 230000003044 adaptive effect Effects 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 17
- 238000006731 degradation reaction Methods 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于元迁移学习的自适应超分辨率方法，包括：通过外部图像数据集对基于元迁移学习的自适应超分辨率模型进行预训练，使模型能学习到图像重建的先验信息；通过随机高斯采样的方法对外部图像数据集中的图像进行随机参数的下采样，使元迁移学习过程中的训练数据包含多任务的信息；对待重建的目标低分辨率图像进行下采样得到低分辨率子图像，以(低分辨率图像，低分辨率子图像)作为训练数据来训练模型；依靠孪生神经网络与模型进行对抗训练，通过比较低分辨率图像和低分辨率子图像之间的差异性对模型参数进行调整完成对模型的训练；将模型运用在目标图像上重建生成超分辨率图像。该方法能提高图像重建质量，增强超分辨率模型泛化能力。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于元迁移学习的自适应超分辨率方法。
背景技术
二十世纪60年代有人首次提出了超分辨率的概念，超分辨率最初仅表示对单张影像的复原，随后出现了各种影像复原的方法，但是该技术始终没有在实际中得到广泛应用。二十世纪末，随着计算机技术、信号处理理论以及优化理论的发展，一系列超分辨率方法被陆续提出，主要包括基于插值、基于重建和基于学习的方法。而如今深度学习技术的蓬勃发展，使得基于图像超分辨率的性能更上了一个台阶。目前针对超分辨率的研究有基于插值的图像超分辨率、基于重建的图像超分辨率、基于学习的超分辨率等。
基于插值的图像超分辨率：基于插值的方法认为图像中距离很近的一些像素点应当是连续且平滑过渡的，因此这类方法根据待定像素附近的像素值来计算该位置的像素值。最近邻插值(Nearest Neighbour Interpolation)通过直接用待定像素最近邻的像素灰度来赋值给该像素，这种方法几乎没有计算量，但是容易产生锯齿。双线性插值(Bilinear Interpolation)根据待定像素周围4个近邻像素点的灰度值在2个方向上做3次线性插值，可以使图像变平滑，但是这种方法容易导致图像损失高频信息。双三次插值(Bicubic Interpolation)利用矩形网格中最近的16个点的像素值进行加权平均来得到待定像素值。这种方法的特点是实现简单，速度较快，但是在放大倍率较大的任务上性能下滑十分严重，且容易出现大量锯齿、振铃等副作用。
基于重建的图像超分辨率：基于重建的方法针对低分辨率图像的形成进行建模，从信号的角度试图实现高分辨率图像到低分辨率图像转换的逆过程，如去噪、去模糊及上采样等等，以恢复丢失的高频信息从而获得高分辨率图像。迭代反投影法(Iterativeback-projection，IBP)根据图像生成的模拟序列，估计低分辨率图像中相对于参考图像的子像素位移，并进一步进行迭代反投影从而获得高分辨率图像。凸集投影法(Projectiononto convex sets，POCS)认为目标图像处于一个特定的希尔伯特空间中，而每一个目标图像的先验或约束都限制了希尔伯特空间中的一个封闭凸集的解，只要引入幅度边界的限制，便可以导出求解目标图像的迭代公式。最大后验概率估计法(Maximum a posteriori，MAP)根据贝叶斯原理，利用已知的低分辨率图像在重建过程中加入先验约束，从而使高分辨率图像的后验概率尽可能大。这类方法相较于插值法在效果上有一定提升，但是仍然过于依赖人为归纳的先验信息，在面对复杂超分辨率任务时仍然存在一些问题。
基于学习的超分辨率：基于学习的方法通过建立一定的超分辨率模型，设定优化目标训练模型向最优解方向收敛。邻域嵌入法(Neighbor Embedding，NE)首先以距离为标准进行邻域搜索，然后通过求解一个约束最小均方问题得到最优的加权值以合成目标高分辨率图像。稀疏表示法(Sparse Representation)认为图像块可以表示为特定的超完备字典的稀疏线性组合，根据压缩感知理论，通过对低分辨率和高分辨率图像块字典的联合训练，可以使模型重建出高分辨率图像块。这类基于学习的方法可以获得较好的重建效果，但由于优化方法和模型的局限性可能难以收敛至最优解。
随着深度学习技术在多个计算机领域的应用，基于卷积神经网络的图像超分辨率技术研究取得了许多进展。得益于如今海量的图像数据集、强大的计算能力和最优化理论的发展，基于深度学习模型重建的高分辨率质量往往优于传统方法。有人首次将深度学习方法应用到超分辨率领域，作为超分辨率在深度领域的开山之作，其提出了一种使用三层卷积神经网络的方法，实现了优于传统方法的图像超分辨率重建效果，后来的深度学习模型基本上延用了该模型的基本结构，即分为特征提取和图像重建两部分。为了改进超分辨率卷积神经网络中仍然基于插值的图像重建方式，有人相继提出了基于反卷积和亚像素卷积的上采样方法，将图像重建部分的参数也纳入到模型训练的过程中。基于深度学习的超分辨率方法取得了较好的效果，但也存在如下不足：
(1)大多将重点放在模型结构的设计以及数据集上，很多方法忽略了深度神经网络带来的计算负担，同时由于大多模型在特定数据集上进行训练，这导致模型在真实世界中的实际超分辨率任务上表现往往不如在基准数据集上的效果。
(2)尽管许多深度学习模型取得了较好的重建效果，但是较深的网络也带来了诸如过拟合以及收敛速度较慢等问题，这类问题属于深度神经网络的通病，许多质量较高的超分辨率结果大多依赖于网络的反复调参，最终的模型在实际应用场景中难以复现。
发明内容
为了解决现有技术中存在的问题，本申请提出了一种基于元迁移学习的自适应超分辨率方法，以便提高图像重建的质量，增强超分辨率模型的泛化能力。
为了实现上述目的，本申请提出了一种基于元迁移学习的自适应超分辨率方法，包括以下步骤：
步骤1、通过外部图像数据集对基于元迁移学习的自适应超分辨率模型进行预训练，使所述模型能够学习到图像重建的先验信息；
步骤2、通过随机高斯采样的方法对外部图像数据集中的图像进行随机参数的下采样，使得元迁移学习过程中的训练数据包含了多任务的信息；
步骤3、对待重建的目标低分辨率图像进行下采样得到低分辨率子图像，以(低分辨率图像，低分辨率子图像)作为训练数据来训练所述基于元迁移学习的自适应超分辨率模型，训练完成之后，所述基于元迁移学习的自适应超分辨率模型能将从训练数据集上学习到的从低分辨率图像到高分辨率图像中的映射关系应用到目标任务集上，从而将高分辨率图像生成为超分辨率图像；
步骤4、依靠孪生神经网络与所述基于元迁移学习的自适应超分辨率模型进行对抗训练，通过比较低分辨率图像和低分辨率子图像之间的差异性对所述基于元迁移学习的自适应超分辨率模型的参数进行调整，进而完成对所述基于元迁移学习的自适应超分辨率模型的训练；
步骤5、当基于元迁移学习的自适应超分辨率模型训练完成之后，将所述基于元迁移学习的自适应超分辨率模型运用在目标图像上重建生成超分辨率图像。
在一些实施例中，在所述步骤1中，对于预训练过程，外部图像数据集的预处理采用双三次插值构造图像对，并根据如下的损失函数更新所述基于元迁移学习的自适应超分辨率模型：
其中LD(θ)代表损失函数，
表示高分辨率图像与双三次插值低分辨率图像之间距离的均方差，IHR表示高分辨率图像，f代表映射函数，
代表双三次插值低分辨率图像。
在一些实施例中，在所述步骤2中，元迁移学习过程具体包括以下步骤：
步骤2-1、对超分辨率任务进行划分；
步骤2-2、重新对外部图像数据集进行预处理，使得每个外部图像生成多个(低分辨率图像，低分辨率子图像)图像对；
步骤2-3、分别针对任务级别和元学习级别的损失进行参数更新。
在一些实施例中，在所述步骤2-1中，对于一个图像退化的过程，将退化模型简化为如下形式：
其中IHR表示高分辨率图像，ILR表示低分辨率图像，k表示模糊核，*表示卷积操作，↓s表示倍率为s的降采样过程，n表示加性噪声，k，↓s，n的不同组合对应的退化模型产生的低分辨率图像分别对应于不同的图像超分辨率任务。
在一些实施例中，在所述步骤2-3中，对于任务级别的参数更新形式如下：
其中θi，θ表示模型权重，α表示任务级别的学习率，
表示梯度运算，
表示任务级别训练数据集损失函数；元学习级别的参数更新形式如下：
其中θj，θ表示模型权重，β表示的是元学习率，
表示梯度运算，Ti～p(T)表示服从p分布，
表示元学习级别测试集损失函数。
本申请的该方案的有益效果在于上述基于元迁移学习的自适应超分辨率方法训练的基于元迁移学习的自适应超分辨率模型在面对复杂未知的超分辨率任务时可以获得比基于常规训练方法得到的超分辨率模型更好的重建效果；其他相关模型用一类图像训练之后只能针对同一种目标图像类别进行重建，泛化能力不够强；而通过本申请所涉及的方法训练的基于元迁移学习的自适应超分辨率模型不受到目标图像类别的限制，一旦模型训练完成之后便可以运用在不同的目标图像上重建生成超分辨率图像，泛化能力强。
附图说明
图1示出了实施例中基于元迁移学习的自适应超分辨率整体框架图。
图2示出了实施例中孪生神经网络基本结构图。
图3示出了实施例中×2倍率下常规超分辨率任务不同模型的重建结果平均峰值信噪比/结构相似性图。
图4示出了实施例中×2倍率下超分辨率任务上无监督方法效果对比图。
图5示出了实施例中超分辨率任务降采样模型图。
图6示出了实施例中Set5数据集上多任务超分辨率不同模型的重建结果平均峰值信噪比/结构相似性图。
图7示出了实施例中B100数据集上多任务超分辨率不同模型的重建结果平均峰值信噪比/结构相似性图。
图8示出了实施例中Urban100数据集上多任务超分辨率不同模型的重建结果平均峰值信噪比/结构相似性图。
具体实施方式
下面结合附图对本申请的具体实施方式作进一步的说明。
如图1所示，本申请所涉及的基于元迁移学习的自适应超分辨率方法包括以下步骤：
步骤1、通过外部图像数据集对基于元迁移学习的自适应超分辨率模型进行预训练，使所述模型能够初步学习到图像重建的基本先验信息，即初步学习图像的共性特征，为迁移学习打下了基础。其中，外部图像数据集是指图像处理领域一些公认的图像集合。
对于预训练过程，外部图像数据集的预处理与常规模型一样采用双三次插值构造图像对，并根据如下的损失函数更新所述基于元迁移学习的自适应超分辨率模型：
该损失函数为真实图像与生成图像之间的L1距离，其中真实图像是指外部图像数据集中的图像，生成图像是指采用双三次插值对所述外部图像数据集中的图像进行构造产生的图像，其中LD(θ)代表损失函数，
表示高分辨率图像与双三次插值低分辨率图像之间距离的均方差，IHR表示高分辨率图像，f代表映射函数，
代表双三次插值低分辨率图像。
步骤2、通过随机高斯采样的方法对外部图像数据集中的图像进行随机参数的下采样，使得元迁移学习过程中的训练数据包含了多任务的信息。在这里，将外部图像数据集中的各图片称作训练数据。
其中，元迁移学习过程具体包括以下步骤：
步骤2-1、对超分辨率任务进行划分。
对于一个图像退化的过程，我们进一步将退化模型简化为如下形式：
，其中IHR表示高分辨率图像，ILR表示低分辨率图像，k表示模糊核，*表示卷积操作，↓s表示倍率为s的降采样过程，n表示加性噪声。现实场景中遇到的图像退化过程在该模型下可以归结为不同的k，↓s和n，那么k，↓s，n的不同组合对应的退化模型产生的LR(低分辨率)图像分别对应于不同的图像超分辨率任务。
步骤2-2、重新对外部图像数据集进行预处理，使得每个外部图像生成多个(低分辨率图像，低分辨率子图像)图像对。
这里为了让所述基于元迁移学习的自适应超分辨率模型收敛至最大泛化的初始位置，需要让训练数据包含足够多的超分辨率任务。为了生成尽可能多的不同超分辨率任务，对模糊核参数进行随机采样，其中包括各向同性和各向异性高斯，令(IHR，ILR)表示每个超分辨率任务对应的图像对，给定一个核分布p(k)，每一个核的具体参数取决于一个协方差矩阵，该协方差矩阵由(0,π)范围的随机角度γ和两个随机特征值λ1～U[1，2.5s]，λ2～U[1，λ1]产生，s表示图像放大倍率，协方差矩阵可以表示为：
∑代表采样分布过程，该形式保证了采样产生的超分辨率任务参数的多样性，这直接关系到所述基于元迁移学习的自适应超分辨率模型元迁移学习后的泛化性能。
步骤2-3、分别针对任务级别和元学习级别的损失进行参数更新。
对于任务级别的参数更新与常规超分辨率任务的参数更新是一致的：
其中θi，θ表示模型权重，α表示任务级别的学习率，即该学习率控制的是所述基于元迁移学习的自适应超分辨率模型在超分辨率特定任务上的收敛速率，
表示梯度运算，
表示任务级别训练数据集损失函数。
由于元迁移学习要求所述基于元迁移学习的自适应超分辨率模型收敛至一个对任务泛化的状态，因此元学习级别的参数更新应该以任务级别更新后的结果作为依据，其优化目标可以表示为：
其中
表示元学习级别测试集损失函数，Ti～p(T)表示服从p分布，相对应的元学习级别的参数更新形式如下：
其中θj，θ表示模型权重，
表示元学习级别测试集损失函数，
表示梯度运算，β表示的是元学习率，即该学习率控制的是所述基于元迁移学习的自适应超分辨率模型在任务间向泛化状态收敛的速率。
步骤3、由于所述基于元迁移学习的自适应超分辨率模型的训练仍旧需要LR(LowResolution，低分辨率)-HR(High Resolution，高分辨率)图像对，而无监督场景下并没有HR图像，因此为了构造图像对，需要对待重建的目标低分辨率图像进行进一步下采样得到LRson(低分辨率子图像)图像，这时以(低分辨率图像，低分辨率子图像)作为训练数据来训练所述基于元迁移学习的自适应超分辨率模型，训练完成之后，所述基于元迁移学习的自适应超分辨率模型便能将从训练数据集上学习到的从低分辨率图像到高分辨率图像中的映射关系应用到目标任务集上，从而将高分辨率图像生成为超分辨率图像。
步骤4、依靠孪生神经网络与所述基于元迁移学习的自适应超分辨率模型进行对抗训练，通过比较低分辨率图像和低分辨率子图像之间的差异性对所述基于元迁移学习的自适应超分辨率模型的参数进行调整，进而完成对所述基于元迁移学习的自适应超分辨率模型的训练。
如图2所示，孪生神经网络的输入为两幅图像，分别为低分辨率图像和所述基于元迁移学习的自适应超分辨率模型生成的低分辨率子图像，孪生神经网络将会计算两幅图像的相似性度量，并判断两幅图像是否基本一致。这里所述基于元迁移学习的自适应超分辨率模型相当于生成器，孪生神经网络相当于判别器，所述基于元迁移学习的自适应超分辨率模型需要尽可能生成让孪生神经网络认为是和原图一致的图片，同时孪生神经网络需要尽可能判断出生成图片与原图的相似性，以进一步提升生成器的能力。
步骤5、当基于元迁移学习的自适应超分辨率模型训练完成之后，将所述基于元迁移学习的自适应超分辨率模型运用在目标图像上重建生成超分辨率图像。
将本申请所涉及的基于元迁移学习的自适应超分辨率方法与其他方法在常规超分辨率任务下的表现进行对比发现，本申请所涉及的方法训练的基于元迁移学习的自适应超分辨率模型不受到目标图像类别的限制，一旦训练完成之后便可以运用在不同的目标图像上重建生成超分辨率图像，泛化能力强。
图3中显示了在Set5、B100和Urban100这三个数据集上进行2倍重建效果的平均峰值信噪比和结构相似性。图4显示了不同的无监督方法在2倍超分辨率任务上的实际效果，可以看到本申请提出的方法在经过了判别器监督的对抗训练后可以还原出更真实的效果，在细节上表现得要更好一些，峰值信噪比指标上也能体现出基于元迁移学习的自适应超分辨率模型的优势。
由于本申请所涉及的方法提出的是为了进一步提升所述基于元迁移学习的自适应超分辨率模型在多任务超分辨率上的泛化性能，因此这里比较了不同退化模型下各个方法在超分辨率任务上的表现，在此分别设定了图5中几种降采样作为退化模型产生对应任务的低分辨率图像。比较结果如图6-8所示，结果表明本申请所涉及的方法训练的基于元迁移学习的自适应超分辨率模型在面对复杂未知的超分辨率任务时可以获得比基于常规训练方法训练的超分辨率模型更好的重建效果。其他相关模型用一类图像训练之后只能针对同一种目标图像类别进行重建，泛化能力不够强，而本申请所涉及的方法训练的基于元迁移学习的自适应超分辨率模型不受到目标图像类别的限制，一旦训练完成之后便可以运用在不同的目标图像上重建生成超分辨率图像，泛化能力强。
Claims (5)
1.一种基于元迁移学习的自适应超分辨率方法，其特征在于：包括以下步骤：
步骤1、通过外部图像数据集对基于元迁移学习的自适应超分辨率模型进行预训练，使所述模型能够学习到图像重建的先验信息；
步骤2、通过随机高斯采样的方法对外部图像数据集中的图像进行随机参数的下采样，使得元迁移学习过程中的训练数据包含了多任务的信息；
步骤3、对待重建的目标低分辨率图像进行下采样得到低分辨率子图像，以(低分辨率图像，低分辨率子图像)作为训练数据来训练所述基于元迁移学习的自适应超分辨率模型，训练完成之后，所述基于元迁移学习的自适应超分辨率模型能将从训练数据集上学习到的从低分辨率图像到高分辨率图像中的映射关系应用到目标任务集上，从而将高分辨率图像生成为超分辨率图像；
步骤4、依靠孪生神经网络与所述基于元迁移学习的自适应超分辨率模型进行对抗训练，通过比较低分辨率图像和低分辨率子图像之间的差异性对所述基于元迁移学习的自适应超分辨率模型的参数进行调整，进而完成对所述基于元迁移学习的自适应超分辨率模型的训练；
步骤5、当基于元迁移学习的自适应超分辨率模型训练完成之后，将所述基于元迁移学习的自适应超分辨率模型运用在目标图像上重建生成超分辨率图像。
2.根据权利要求1所述的基于元迁移学习的自适应超分辨率方法，其特征在于：在所述步骤1中，对于预训练过程，外部图像数据集的预处理采用双三次插值构造图像对，并根据如下的损失函数更新所述基于元迁移学习的自适应超分辨率模型：
其中LD(θ)代表损失函数，
表示高分辨率图像与双三次插值低分辨率图像之间距离的均方差，IHR表示高分辨率图像，f代表映射函数，
代表双三次插值低分辨率图像。
3.根据权利要求2所述的基于元迁移学习的自适应超分辨率方法，其特征在于：在所述步骤2中，元迁移学习过程具体包括以下步骤：
步骤2-1、对超分辨率任务进行划分；
步骤2-2、重新对外部图像数据集进行预处理，使得每个外部图像生成多个(低分辨率图像，低分辨率子图像)图像对；
步骤2-3、分别针对任务级别和元学习级别的损失进行参数更新。
4.根据权利要求3所述的基于元迁移学习的自适应超分辨率方法，其特征在于：在所述步骤2-1中，对于一个图像退化的过程，将退化模型简化为如下形式：
其中IHR表示高分辨率图像，ILR表示低分辨率图像，k表示模糊核，*表示卷积操作，↓s表示倍率为s的降采样过程，n表示加性噪声，k，↓s，n的不同组合对应的退化模型产生的低分辨率图像分别对应于不同的图像超分辨率任务。
5.根据权利要求3所述的基于元迁移学习的自适应超分辨率方法，其特征在于：在所述步骤2-3中，对于任务级别的参数更新形式如下：
其中θi，θ表示模型权重，α表示任务级别的学习率，
表示梯度运算，
表示任务级别训练数据集损失函数；元学习级别的参数更新形式如下：
其中θj，θ表示模型权重，β表示的是元学习率，
表示梯度运算，Ti～p(T)表示服从p分布，
表示元学习级别测试集损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747623.5A CN113487482B (zh) | 2021-07-01 | 2021-07-01 | 一种基于元迁移学习的自适应超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747623.5A CN113487482B (zh) | 2021-07-01 | 2021-07-01 | 一种基于元迁移学习的自适应超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487482A true CN113487482A (zh) | 2021-10-08 |
| CN113487482B CN113487482B (zh) | 2024-03-29 |
Family
ID=77940099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110747623.5A Active CN113487482B (zh) | 2021-07-01 | 2021-07-01 | 一种基于元迁移学习的自适应超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487482B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019183A (zh) * | 2022-07-28 | 2022-09-06 | 北京卫星信息工程研究所 | 基于知识蒸馏和图像重构的遥感影像模型迁移方法 |
| CN115187463A (zh) * | 2022-09-13 | 2022-10-14 | 云南省交通规划设计研究院有限公司 | 一种滑坡遥感影像集超分辨率重建方法和*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060067256A1 (en) * | 2004-09-30 | 2006-03-30 | Motorola, Inc. | Method for the selection of forward error correction (FEC)/ constellation pairings for digital transmitted segments based on learning radio link adaptation (RLA) |
| CN103969629A (zh) * | 2014-04-21 | 2014-08-06 | 河海大学 | 一种基于主瓣杂波配准的机载雷达杂波自适应抑制方法 |
| CN104850656A (zh) * | 2015-06-05 | 2015-08-19 | 中国信息安全研究院有限公司 | 一种动态自适应多级Bloom滤波器装置 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
| US20200327406A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Training of artificial neural networks |
-
2021
- 2021-07-01 CN CN202110747623.5A patent/CN113487482B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060067256A1 (en) * | 2004-09-30 | 2006-03-30 | Motorola, Inc. | Method for the selection of forward error correction (FEC)/ constellation pairings for digital transmitted segments based on learning radio link adaptation (RLA) |
| CN103969629A (zh) * | 2014-04-21 | 2014-08-06 | 河海大学 | 一种基于主瓣杂波配准的机载雷达杂波自适应抑制方法 |
| CN104850656A (zh) * | 2015-06-05 | 2015-08-19 | 中国信息安全研究院有限公司 | 一种动态自适应多级Bloom滤波器装置 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| US20200327406A1 (en) * | 2019-04-10 | 2020-10-15 | International Business Machines Corporation | Training of artificial neural networks |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115019183A (zh) * | 2022-07-28 | 2022-09-06 | 北京卫星信息工程研究所 | 基于知识蒸馏和图像重构的遥感影像模型迁移方法 |
| CN115187463A (zh) * | 2022-09-13 | 2022-10-14 | 云南省交通规划设计研究院有限公司 | 一种滑坡遥感影像集超分辨率重建方法和*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487482B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754403B (zh) | 一种基于残差学习的图像超分辨率重构方法 | |
| CN109146784B (zh) | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| JP4140690B2 (ja) | ピクセル画像から超解像度画像を生成する方法 | |
| CN110675321A (zh) | 一种基于渐进式的深度残差网络的超分辨率图像重建方法 | |
| CN111028150A (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| KR102289045B1 (ko) | 멀티 스케일 객체 이미지 복원 방법 및 장치 | |
| CN113487482B (zh) | 一种基于元迁移学习的自适应超分辨率方法 | |
| CN110111251B (zh) | 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
| CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及*** | |
| CN116681584A (zh) | 一种多级扩散图像超分辨算法 | |
| Hui et al. | Two-stage convolutional network for image super-resolution | |
| Shen et al. | Deeper super-resolution generative adversarial network with gradient penalty for sonar image enhancement | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及*** | |
| CN115511705A (zh) | 一种基于可变形残差卷积神经网络的图像超分辨率重建方法 | |
| Hung et al. | Image interpolation using convolutional neural networks with deep recursive residual learning | |
| CN108492264B (zh) | 一种基于sigmoid变换的单帧图像快速超分辨方法 | |
| CN116188265A (zh) | 一种基于真实退化的空间可变核感知盲超分重建方法 | |
| Lyn | Multi-level feature fusion mechanism for single image super-resolution | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
| Yang et al. | Deep networks for image super-resolution using hierarchical features | |
| CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 | |
| Badran et al. | Single image super resolution based on learning features to constrain back projection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |