CN109509149A - 一种基于双通道卷积网络特征融合的超分辨率重建方法 - Google Patents
一种基于双通道卷积网络特征融合的超分辨率重建方法 Download PDFInfo
- Publication number
- CN109509149A CN109509149A CN201811197772.3A CN201811197772A CN109509149A CN 109509149 A CN109509149 A CN 109509149A CN 201811197772 A CN201811197772 A CN 201811197772A CN 109509149 A CN109509149 A CN 109509149A
- Authority
- CN
- China
- Prior art keywords
- resolution
- binary channels
- loss function
- super
- convolutional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 230000004913 activation Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 26
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于双通道卷积网络特征融合的超分辨率重建方法，包括：基于不同卷积核的稠密卷积网络搭建双通道卷积网络；所述双通道卷积网络包括：两个子通道，每个子通道采用稠密连接网络的结构，该结构由多个稠密连接块级联生成，每个稠密连接块由一个1×1卷积层接一个3×3卷积层和一个跳层连接组成，并且在每个卷积层前采用一个PReLU层作为非线性激活函数；采用加权L1范数作为损失函数，在每个子通道之后分别对图像进行超分辨率重建，分别计算损失函数并为模型进行参数调优；所述损失函数为：子通道输出图像所计算的损失函数与整体输出所计算的损失函数的加权和；输入任意大小的低分辨率图，加载训练好的模型，输出重建出的高分辨率图。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于双通道卷积网络特征融合的超分辨率重建方法。
背景技术
图像的超分辨率重建技术，指通过计算机处理，将小尺度低分辨率图像重建成大尺度高分辨率图像的技术。图像超分辨率问题是一个病态的算法问题，一方面，超分辨率旨在恢复更多的高频特征，使重建后的图像纹理、轮廓更加清晰，细节特征更加丰富；另一方面，超分辨率不能以牺牲图像的准确性为代价创造更多的伪细节。由于相似但不同的图像有可能降采样成同一张低分辨率图像，因此超分辨率是一个无法准确收敛的病态问题，为提高重建精度，现有技术可根据重建方法的不同分为三类：基于差值的重建、基于重建的重建、基于学习的重建。
基于差值的方法通常根据相邻像素点之间的关系，利用平滑因子进行图像放大，速度最快，常见的平滑因子有最近邻、双线性、双三次等。由于该方法只利用了低分辨率图像相邻像素点之间的关系进行平滑处理，重建后的图案往往具有模糊、锯齿等现象。基于重建的方法是基于低分辨率亚像素块来实现超分辨率的方法，通常利用正则化，将超分辨率重建问题转化为对一个约束条件下的代价函数的最优化问题。但由于高频信息不充分，基于重建的方法沿着边缘会产生明显的模糊和混叠伪像，在不平滑的区域表现出较差的性能。基于学习的超分辨率方法是目前比较流行的重建方案，包含：随机森林、稀疏表示、以及神经网络等方法，其中基于神经网络的超分辨率在现阶段表现出最突出的性能，近几年，研究人员发现基于VGG(Visual Geometry Group)、ResNet(残差网络)等经典网络结构的卷积神经网络，都极大的提高了超分辨率的精度。
但是，就深度学习来说，图像特征可以被抽象为两个概念：局部特征与全局特征，而VGG、ResNet等网络并没有充分的提取图像的局部特征。虽然在分类、检测等问题上，这种经典网络表现出极优异的性能，但超分辨率问题需要更充分的局部特征来为预测提供参考，这成为传统网络在超分辨率领域的掣肘。
同时，传统经典网络采用单通道的网络架构，极少用到特征融合，考虑到卷积网络不同卷积核所提特征具有互补性，合理的特征融合模块的缺失会导致图片重建质量的下降，以及鲁棒性的下降。
发明内容
本发明设计了一个端到端、完整的基于双通道卷积网络特征融合的超分辨率重建方法，可实现单帧图像的超分辨率，本方法将基于不同卷积核的稠密卷积网络进行特征融合，提取图像不同尺度的局部特征，用以实现高精度的超分辨率重建，详见下文描述：
一种基于双通道卷积网络特征融合的超分辨率重建方法，所述方法包括：
1)基于不同卷积核的稠密卷积网络搭建双通道卷积网络，该网络作为模型；
所述双通道卷积网络包括：两个子通道，每个子通道采用稠密连接网络的结构，该结构由多个稠密连接块级联生成，每个稠密连接块由一个1×1卷积层接一个3×3卷积层和一个跳层连接组成，并且在每个卷积层前采用一个PReLU层作为非线性激活函数；
2)采用加权L1范数作为损失函数，在每个子通道之后分别对图像进行超分辨率重建，分别计算损失函数并为模型进行参数调优；
所述损失函数为：子通道输出图像所计算的损失函数与整体输出所计算的损失函数的加权和；
3)输入任意大小的低分辨率图，加载训练好的模型，输出重建出的高分辨率图。
进一步地，所述双通道卷积网络还包括：
将96×96大小的低分辨率图像块输入一个7×7的卷积层，并采用PReLU作为激活函数；
两个子通道的输出进行级联，输入PReLU与3×3卷积层进行特征选择与降维，完成多通道之间的特征融合，获取图像特征；
采用一个跳层，将7×7卷积层输出的特征图和1×1卷积层降维后的特征图堆叠起来，共同作为放大端的输入。
具体实现时，所述方法还包括：
采用亚像素拼接的方法将低分辨率特征图按次序拼接成相应倍数的高分辨率特征图。
进一步地，所述方法还包括对训练模型的学习率进行设置，具体为：
将学习率设置为10-3，并且每训练过一个训练集周期学习率减小为之前的一半，100个训练周期后，训练停止。
其中，所述损失函数具体为：
其中，I为图向量，为高分辨率图像，为网络整体输出的超分辨率图像，为某一子通道生成的超分辨率图像，α为子通道输出为整体损失函数贡献的比重，r为放大倍数，H为输出图像的高，W为输出图像的宽。
进一步地，所述两个子通道的α＝0.7，其余模块采用α＝0。
本发明提供的技术方案的有益效果是：
1)本发明在以往深度学习的基础上，增强了网络对局部特征的利用，增强了网络对不同感受野所提特征的融合能力，提高了网络的鲁棒性；
2)本发明提出一种可调参数的损失函数用来分别优化网络的不同部分，以快速收敛；
3)本发明可实现一套端到端(即重建中间不需要人员操作，输入待处理目标后直接可以获得结果)的超分辨率重建，节省预处理、后处理等繁杂操作，重建简单方便。
附图说明
图1为所提出的双通道超分辨率方法***的网络整体结构示意图；
其中，图中“C”表示特征图在通道维度的堆叠，每个稠密卷积块后的L和S分别表示卷积核的大小，本发明中L表示5×5的卷积核，S表示3×3的卷积核。
图2为每个稠密卷积块的结构示意图；
其中，图中(a)为S子通道稠密卷积块，(b)为L子通道稠密卷积块。
图3为放大模块的结构示意图。
其中，图中示例的是r＝2，c＝1的情况。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了解决背景技术中存在的问题，本发明实施例考虑采用稠密卷积神经网络结构(Dense Convolutional Network,DenseNet)来取代其余经典网络，这会增强网络对局部特征的提取能力；此外，本发明实施例将基于不同卷积核的稠密卷积所提特征进行融合，已取得更优效果。
实施例1
本发明实施例提出了一种基于双通道卷积网络特征融合的超分辨率重建方法，参见图1和图2，该方法包括下列步骤：
101：基于不同卷积核的稠密卷积网络搭建双通道卷积网络；
其中，该双通道卷积网络包括：两个子通道，每个子通道采用稠密连接网络的结构，该结构由多个稠密连接块级联生成，每个稠密连接块由一个1×1卷积层接一个3×3卷积层和一个跳层连接组成，并且在每个卷积层前采用一个PReLU层作为非线性激活函数。
102：采用加权L1范数作为损失函数，在每个子通道之后分别对图像进行超分辨率重建，计算损失函数并作为训练模型；
其中，损失函数为：子通道输出图像所计算的损失函数与整体输出所计算的损失函数的加权和；
103：输入任意大小的低分辨率图，加载训练好的模型，输出重建出的高分辨率图。
进一步地，该双通道卷积网络还包括：
将96×96大小的低分辨率图像块输入一个7×7的卷积层，并采用PReLU作为激活函数；
两个子通道的输出进行级联，输入PReLU与3×3卷积层进行特征选择与降维，完成多通道之间的特征融合，获取图像特征；
采用一个跳层，将7×7卷积层输出的特征图和1×1卷积层降维后的特征图堆叠起来，共同作为放大端的输入。
其中，本方法还包括：
采用亚像素拼接的方法将低分辨率特征图按次序拼接成相应倍数的高分辨率特征图。
综上所述，本发明实施例解决了如下的问题：
1)由于传统神经网络在提取图像局部特征的能力上尚有较大提升空间，本发明实施例采用稠密卷积神经网络，使网络提取更多的细节信息用于图像重建；
2)本发明实施例设计双通道的网络形式，不同通道均采用稠密卷积网络，不同通道采用不同大小的卷积核，并将双通道所提特征进行融合，以获得更充分的特征，用于进一步提升网络性能，并增强网络鲁棒性；
3)本发明实施例提出一种新的双通道网络的调优方式，以取得网络效果的最优。
实施例2
下面结合具体的数学公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：构造数据集；
其中，该步骤201包括：
第一步：划分数据集，采用的数据集来源为DIV2K(DIVerse 2K resolutionimages，多种2000分辨率图像)，每例样本包括：高分辨率及其不同尺度的低分辨率图像(作为训练图)，低分辨率图像通过降质方法生成。本发明实施例划分的DIV2K数据集包括800张训练数据与100张验证数据。
其中，降质方法可以为：双三次差值降采样、双线性降采样等常用算法。
第二步：图像裁剪，将训练图裁剪成若干个96×96的图像块，作为训练网络的输入。
202：网络结构搭建；
其中，该步骤202包括：
第一步：将96×96大小的低分辨率图像块输入一个7×7的卷积层，并采用PReLU(Parametric Rectified Linear Units，参数整流线性单元)作为激活函数。
第二步：将7×7卷积层的输出特征图同时输入到网络两个子通道中，每个子通道采用稠密连接网络的结构，该结构由多个稠密连接块级联生成，每个稠密连接块由一个1×1卷积层接一个3×3卷积层和一个跳层连接组成，并且在每个卷积层前采用一个PReLU层作为非线性激活函数。
第三步：将两个子通道的输出进行级联，输入PReLU与3×3卷积层进行特征选择与降维，完成多通道之间的特征融合，获取充分的图像特征。
第四步：采用一个跳层，将7×7卷积层输出的特征图和1×1卷积层降维后的特征图堆叠起来，共同作为放大模块的输入。
第五步：采用亚像素拼接的方法(本领域技术人员所公知)将低分辨率特征图按次序拼接成相应倍数的高分辨率特征图。
例如：将(C×r2)×H×W(通道数为C×r2，图像尺度为H×W)的特征图通过亚像素拼接放大r倍，可获得C×rH×rW(通道数为C，图像尺度为rH×rW)的特征图。
第六步：采用一个1×1卷积层将特征图限定为RGB三个通道，并采用Tanh激活函数。
203：模型训练；
其中，该步骤203包括：
第一步：学习率设置；
其中，学习率设置为10-3，并且每训练过一个训练集周期学习率减小为之前的一半，100个训练周期后，训练停止。
第二步：损失函数设置；
采用加权L1范数作为模型损失函数，训练阶段，在每个子通道之后分别加入重建模块对图像进行超分辨率重建，并分别对其计算损失函数，该损失函数为：子通道输出图像所计算的损失函数与整体输出所计算的损失函数的加权和，可表示为：
其中，I为图向量，为高分辨率图像，为网络整体输出的超分辨率图像，为某一子通道生成的超分辨率图像，α为子通道输出为整体损失函数贡献的比重。
假设两个子通道分别命名为Sc和Lc，则两个子通道在训练过程中损失函数采用α＝0.7，为该子通道重建得到的超分辨率图；网络其余模块(如特征预提取模块、重建模块)采用α＝0的L，仅由网络整体输出作为调优的唯一参数。
第三步：优化器设置。
采用ADAM(自适应矩估计，Adaptive Moment Estimation)优化器以进行快速收敛，若采用PyTorch(本领域技术人员所公知)框架，则框架中的参数α1＝0.1,α2＝0.001。
204：图像重建。
其中，该步骤204包括：输入任意大小的低分辨率图，加载训练好的模型，输出由主重建模块(不包括训练阶段每个子通道的重建模块)重建出的高分辨率图。
综上所述，本发明实施例在以往深度学习的基础上，增强了网络对局部特征的利用，增强了网络对不同感受野所提特征的融合能力，提高了网络的鲁棒性。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行进一步地介绍，详见下文描述：
301：数据准备：
其中，该步骤包括：
(a)划分数据集：
本实施例采用DIV2K数据集，包括：800张训练图，100张验证图，100张测试图。由测试集未公开标签，本文采用验证集作为测试评测数据。
(b)将800张训练图随机裁剪成96×96大小的图像块，作为训练阶段网络输入。
302：网络结构搭建；
本发明实施例中的网络结构可分为：一个特征预提取模块，两个子通道(分别包含若干稠密卷积块)，一个特征融合模块、一条跳层连接、一个特征重建模块(包括特征上采样层与映射学习层)。
(a)训练阶段采用批迭代调优方式，批设置为16，数据输入为16×3×96×96大小的四维数据，率先经过卷积核大小为5×5的特征预提取模块进行特征粗提取，生成16×64×96×96的四维数据。
(b)将(a)的输出分别接入网络S和L两个子通道中，每个子通道由16个稠密连接块首尾级联构成，每个子通道生成一组16×256×96×96的四维数据，叠加之后可生成16×512×96×96数据。
(c)为降低堆叠稠密多连接块结构块的特征图个数，将(b)的输出特征图输入一个1×1卷积层，得到256个输出特征图。
(d)为了局部特征和全局特征的进一步融合，本发明实施例采用了一个跳层，将(a)输出的16×64×96×96特征图和(c)输出的16×256×96×96特征图堆叠起来，生成16×320×96×96的四维数据，再经过1×1卷积层进行降维，得到288个输出特征图。
(e)将(d)的输出加载到亚像素上采样层中，如图3所示，将16×(C×r2)×H×W的特征图放大成16×C×rH×rW的特征图。
(f)最后，将(e)的输出接入1×1卷积层，输出为RGB三个通道，采用Tanh激活函数，输出超分辨率重建图像。
303：模型训练：
(a)本发明实施例的学习率设为10-3，每经过一次完整训练周期，学习率减半，100个周期后，停止训练。
(b)训练过程中，分别将S与L子通道所提特征图进行超分辨率重建，重建原理同图1重建模块，生成超分辨率图并将与联合求取该子通道的损失函数，公式如下：
其中，两个子通道采用α＝0.7，其余模块采用α＝0。
(c)采用ADAM优化方法，若采用PyTorch框架，则α1＝0.1,α2＝0.001。
304：图像重建：将任意大小RGB三通道图输入网络，即可输出超分辨率图像。
305：评价指标：峰值信噪比(Peak Signal to Noise Ratio，PSNR)，定义为：
式中，f(x,y)和f'(x,y)代表高分辨率图与超分辨率图，M×N代表空间分辨率。PSNR越高，证明重建效果越好。
表1不同放大倍数PSNR(单位：dB)
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述方法包括：
1)基于不同卷积核的稠密卷积网络搭建双通道卷积网络，作为模型；
所述双通道卷积网络包括：两个子通道，每个子通道采用稠密连接网络的结构，该结构由多个稠密连接块级联生成，每个稠密连接块由一个1×1卷积层接一个3×3卷积层和一个跳层连接组成，并且在每个卷积层前采用一个PReLU层作为非线性激活函数；
2)采用加权L1范数作为损失函数，在每个子通道之后分别对图像进行超分辨率重建，计算损失函数并为模型优化参数；
所述损失函数为：子通道输出图像所计算的损失函数与整体输出所计算的损失函数的加权和；
3)输入任意大小的低分辨率图，加载训练好的模型，输出重建出的高分辨率图。
2.根据权利要求1所述的一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述双通道卷积网络还包括：
将96×96大小的低分辨率图像块输入一个7×7的卷积层，并采用PReLU作为激活函数；
两个子通道的输出进行级联，输入PReLU与3×3卷积层进行特征选择与降维，完成多通道之间的特征融合，获取图像特征；
采用一个跳层，将7×7卷积层输出的特征图和1×1卷积层降维后的特征图堆叠起来，共同作为放大端的输入。
3.根据权利要求1所述的一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述方法还包括：
采用亚像素拼接的方法将低分辨率特征图按次序拼接成相应倍数的高分辨率特征图。
4.根据权利要求1所述的一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述方法还包括对训练模型的学习率进行设置，具体为：
将学习率设置为10-3，并且每训练过一个训练集周期学习率减小为之前的一半，100个训练周期后，训练停止。
5.根据权利要求1所述的一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述损失函数具体为：
其中，I为图向量，为高分辨率图像，为网络整体输出的超分辨率图像，为某一子通道生成的超分辨率图像，α为子通道输出为整体损失函数贡献的比重，r为放大倍数，H为输出图像的高，W为输出图像的宽。
6.根据权利要求5所述的一种基于双通道卷积网络特征融合的超分辨率重建方法，其特征在于，所述两个子通道的α＝0.7，其余模块采用α＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811197772.3A CN109509149A (zh) | 2018-10-15 | 2018-10-15 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811197772.3A CN109509149A (zh) | 2018-10-15 | 2018-10-15 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109509149A true CN109509149A (zh) | 2019-03-22 |
Family
ID=65746538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811197772.3A Pending CN109509149A (zh) | 2018-10-15 | 2018-10-15 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109509149A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135591A (zh) * | 2019-05-16 | 2019-08-16 | 数坤（北京）网络科技有限公司 | 一种基于深度学习的损失值优化方法及设备 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110246085A (zh) * | 2019-05-21 | 2019-09-17 | 桂林电子科技大学 | 一种单图像超分辨率方法 |
| CN110264410A (zh) * | 2019-05-07 | 2019-09-20 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110674926A (zh) * | 2019-09-06 | 2020-01-10 | 华南理工大学 | 一种用于目标重建的嵌套结构的渐进式稠密网络 |
| CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110853040A (zh) * | 2019-11-12 | 2020-02-28 | 北京深境智能科技有限公司 | 一种基于超分辨率重建的图像协同分割方法 |
| CN111861870A (zh) * | 2020-07-16 | 2020-10-30 | 南通大学 | 一种面向图像翻译的端到端的并行生成器网络构建方法 |
| CN112070676A (zh) * | 2020-09-10 | 2020-12-11 | 东北大学秦皇岛分校 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
| CN112188237A (zh) * | 2019-07-04 | 2021-01-05 | 国家广播电视总局广播电视科学研究院 | 节目分发方法和装置、接收方法、终端设备及介质 |
| CN112561877A (zh) * | 2020-12-14 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 多尺度双通道卷积模型训练方法、图像处理方法及装置 |
| CN112949647A (zh) * | 2021-02-26 | 2021-06-11 | 中国科学院自动化研究所 | 三维场景描述方法、装置、电子设备和存储介质 |
| CN113222818A (zh) * | 2021-05-18 | 2021-08-06 | 浙江师范大学 | 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 |
| CN113762349A (zh) * | 2021-08-11 | 2021-12-07 | 同济大学 | 一种面向海洋生物的轻量化混叠稠密网络分类方法和*** |
| CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150036015A1 (en) * | 2010-12-14 | 2015-02-05 | Pelican Imaging Corporation | Systems and Methods for Dynamic Refocusing of High Resolution Images Generated Using Images Captured by a Plurality of Imagers |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN105741255A (zh) * | 2014-12-08 | 2016-07-06 | 展讯通信（上海）有限公司 | 图像融合方法及装置 |
| CN106296681A (zh) * | 2016-08-09 | 2017-01-04 | 西安电子科技大学 | 基于双通道低秩分解的协同学习显著性检测方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107221013A (zh) * | 2017-05-16 | 2017-09-29 | 山东财经大学 | 一种基于变分光流估计肺部4d‑ct图像超分辨率处理方法 |
| CN107392852A (zh) * | 2017-07-10 | 2017-11-24 | 深圳大学 | 深度图像的超分辨率重建方法、装置、设备及存储介质 |
| CN108090870A (zh) * | 2017-12-13 | 2018-05-29 | 苏州长风航空电子有限公司 | 一种基于结构转化自相似的红外图像超分辨率重建方法 |
| CN108230240A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于深度学习获取图像城市范围内位置及姿态的方法 |
-
2018
- 2018-10-15 CN CN201811197772.3A patent/CN109509149A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150036015A1 (en) * | 2010-12-14 | 2015-02-05 | Pelican Imaging Corporation | Systems and Methods for Dynamic Refocusing of High Resolution Images Generated Using Images Captured by a Plurality of Imagers |
| US20150042833A1 (en) * | 2010-12-14 | 2015-02-12 | Pelican Imaging Corporation | Systems and Methods for Synthesizing High Resolution Images Using a Set of Geometrically Registered Images |
| CN105741255A (zh) * | 2014-12-08 | 2016-07-06 | 展讯通信（上海）有限公司 | 图像融合方法及装置 |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN106296681A (zh) * | 2016-08-09 | 2017-01-04 | 西安电子科技大学 | 基于双通道低秩分解的协同学习显著性检测方法 |
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN107103590A (zh) * | 2017-03-22 | 2017-08-29 | 华南理工大学 | 一种基于深度卷积对抗生成网络的图像反射去除方法 |
| CN107221013A (zh) * | 2017-05-16 | 2017-09-29 | 山东财经大学 | 一种基于变分光流估计肺部4d‑ct图像超分辨率处理方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107392852A (zh) * | 2017-07-10 | 2017-11-24 | 深圳大学 | 深度图像的超分辨率重建方法、装置、设备及存储介质 |
| CN108090870A (zh) * | 2017-12-13 | 2018-05-29 | 苏州长风航空电子有限公司 | 一种基于结构转化自相似的红外图像超分辨率重建方法 |
| CN108230240A (zh) * | 2017-12-31 | 2018-06-29 | 厦门大学 | 一种基于深度学习获取图像城市范围内位置及姿态的方法 |
Non-Patent Citations (2)
| Title |
|---|
| FU ZHANG 等: "Image super-resolution via a novel cascaded convolutional neural network framework", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
| 姚琴娟 等: "基于双通道CNN的单幅图像超分辨率重建", 《华东理工大学学报（自然科学版）》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264410A (zh) * | 2019-05-07 | 2019-09-20 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110264410B (zh) * | 2019-05-07 | 2021-06-15 | 西安理工大学 | 一种基于细节特征的图像超分辨率重建方法 |
| CN110189282A (zh) * | 2019-05-09 | 2019-08-30 | 西北工业大学 | 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法 |
| CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110136063B (zh) * | 2019-05-13 | 2023-06-23 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110135591A (zh) * | 2019-05-16 | 2019-08-16 | 数坤（北京）网络科技有限公司 | 一种基于深度学习的损失值优化方法及设备 |
| CN110246085A (zh) * | 2019-05-21 | 2019-09-17 | 桂林电子科技大学 | 一种单图像超分辨率方法 |
| CN112188237A (zh) * | 2019-07-04 | 2021-01-05 | 国家广播电视总局广播电视科学研究院 | 节目分发方法和装置、接收方法、终端设备及介质 |
| CN110738231A (zh) * | 2019-07-25 | 2020-01-31 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110738231B (zh) * | 2019-07-25 | 2022-12-27 | 太原理工大学 | 改进S-DNet神经网络模型的乳腺X射线图像的分类方法 |
| CN110674926A (zh) * | 2019-09-06 | 2020-01-10 | 华南理工大学 | 一种用于目标重建的嵌套结构的渐进式稠密网络 |
| CN110853040B (zh) * | 2019-11-12 | 2023-04-28 | 北京深境智能科技有限公司 | 一种基于超分辨率重建的图像协同分割方法 |
| CN110853040A (zh) * | 2019-11-12 | 2020-02-28 | 北京深境智能科技有限公司 | 一种基于超分辨率重建的图像协同分割方法 |
| CN111861870A (zh) * | 2020-07-16 | 2020-10-30 | 南通大学 | 一种面向图像翻译的端到端的并行生成器网络构建方法 |
| CN112070676A (zh) * | 2020-09-10 | 2020-12-11 | 东北大学秦皇岛分校 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
| CN112070676B (zh) * | 2020-09-10 | 2023-10-27 | 东北大学秦皇岛分校 | 一种双通道多感知卷积神经网络的图片超分辨率重建方法 |
| CN112561877A (zh) * | 2020-12-14 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 多尺度双通道卷积模型训练方法、图像处理方法及装置 |
| CN112561877B (zh) * | 2020-12-14 | 2024-03-29 | 中国科学院深圳先进技术研究院 | 多尺度双通道卷积模型训练方法、图像处理方法及装置 |
| CN112949647A (zh) * | 2021-02-26 | 2021-06-11 | 中国科学院自动化研究所 | 三维场景描述方法、装置、电子设备和存储介质 |
| CN113222818A (zh) * | 2021-05-18 | 2021-08-06 | 浙江师范大学 | 一种使用轻量化多通道聚合网络重建超分辨率图像的方法 |
| CN113762349A (zh) * | 2021-08-11 | 2021-12-07 | 同济大学 | 一种面向海洋生物的轻量化混叠稠密网络分类方法和*** |
| CN113762349B (zh) * | 2021-08-11 | 2024-03-29 | 同济大学 | 一种面向海洋生物的轻量化混叠稠密网络分类方法和*** |
| CN115439329A (zh) * | 2022-11-10 | 2022-12-06 | 四川轻化工大学 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509149A (zh) | 一种基于双通道卷积网络特征融合的超分辨率重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其*** | |
| CN110197468A (zh) | 一种基于多尺度残差学习网络的单图像超分辨重建算法 | |
| CN107358576A (zh) | 基于卷积神经网络的深度图超分辨率重建方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN109255755A (zh) | 基于多列卷积神经网络的图像超分辨率重建方法 | |
| CN102243711B (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| Wang | Edge-enhanced feature distillation network for efficient super-resolution | |
| CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
| CN110136062A (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN110060204B (zh) | 一种基于可逆网络的单一图像超分辨率方法 | |
| CN113888491B (zh) | 基于非局部特征的多级高光谱图像递进超分方法及*** | |
| CN112862689A (zh) | 一种图像超分辨率重建方法及*** | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN110197217A (zh) | 一种基于深度交错融合分组卷积网络的图像分类方法 | |
| CN104899835A (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
| CN110246085A (zh) | 一种单图像超分辨率方法 | |
| Li | Image super-resolution using attention based densenet with residual deconvolution | |
| Ma et al. | Back-projection-based progressive growing generative adversarial network for single image super-resolution | |
| CN117576402B (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN114626984A (zh) | 中文文本图像的超分辨率重建方法 | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN117456330A (zh) | 一种基于MSFAF-Net的低照度目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190322 |
|
| WD01 | Invention patent application deemed withdrawn after publication |