CN107358575A - 一种基于深度残差网络的单幅图像超分辨率重建方法 - Google Patents
一种基于深度残差网络的单幅图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107358575A CN107358575A CN201710426614.XA CN201710426614A CN107358575A CN 107358575 A CN107358575 A CN 107358575A CN 201710426614 A CN201710426614 A CN 201710426614A CN 107358575 A CN107358575 A CN 107358575A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- training
- residual error
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007935 neutral effect Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000003321 amplification Effects 0.000 claims abstract description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000013499 data model Methods 0.000 claims abstract description 3
- 230000001537 neural effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000003252 repetitive effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 238000005070 sampling Methods 0.000 abstract description 10
- 230000006835 compression Effects 0.000 abstract 1
- 238000007906 compression Methods 0.000 abstract 1
- 238000007689 inspection Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度残差网络的单幅图像超分辨率重建方法。本发明主要包括以下步骤：1、对样本图像数据库中的图像进行区块抽取和像素平均处理，得到对应的高分辨率和低分辨率训练图像集；2、构建一个具有残差结构的深度卷积神经网络进行迭代训练，进而将步骤1中得到的训练集输入步骤二中构建的神经网络进行迭代训练；3、依据训练得到的数据模型，通过迭代运算和插值算法结合实现对输入低分辨率图像的连续比例放大。本发明通过引入深度残差网络，同时在网络末端引入了上采样层，加快了图像放大的处理速度，增强了图像细节部分的显示效果，获得了更好的图像超分辨率重建效果，在图像高清显示、图像压缩、安全检查等领域中有着广泛的应用前景。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度残差网络的单幅图像超分辨率重建方法。
背景技术
目前，随着多媒体技术的广泛应用和数码设备的大范围普及,数字图像由于其成本低、实时性好、便于后期处理等优势已经在各领域取得了广泛应用。然而，然而受传感器物理尺寸和数目的限制，成像***产生的数字图像的空间分辨率往往难以满足审图人员的需求，而受到成像原理和制作工艺的限制，制造高空间分辨率的成像***将会大幅增加***的成本和研发周期。因此在硬件***相同的条件下，利用算法提升数字图像的分辨率，恢复高分辨率图像细节具有重要意义。
图像超分辨率重建是指利用低分辨率图像或图像序列得到高分辨率图像，根据重建思路可分为3类：插值算法、重建算法和基于学习的方法。其中利用邻域的像素点进行权重组合得到目标像素值的插值算法由于其形式简单、处理速度快的特点广泛应用于数字化X射线摄影***中。然而，这类算法会损失图像高频信息，丢失图像细节，造成图像模糊，不利于审图人员作出精确的判断。之后在此基础上出现了基于边缘的插值算法，其一定程度上保留了图像的高频信息，然而基于边缘的插值算法难以处理图像的纹理区域，适用范围有着很大的限制。
不同于传统超分辨率方法，基于学习的方法利用有监督的机器学习建立低分辨率图像和高分辨率图像的非线性映射关系进行图像的重建。这类方法能从样本集中提取图像的先验信息，从而可取得更高的重建精度。然而，传统的基于学习的重建方法只能提取图像较为简单的特征，如图像的一阶、二阶梯度等，这些特征不足以充分地表征图像信息，使图像的重建质量受到了限制。受到深度学习方法在计算机视觉领域取得的巨大成功的启发，深度学习方法被应用于图像超分辨率重建问题，出现了应用卷积神经网络的单帧图像超分辨率重建算法(SRCNN)，避免了人为设计特征提取方式，实现了端对端的学习，提高了图像的重建精度。然而，由于卷积神经网络中梯度弥散现象的影响，SRCNN在卷积深度较大的情况下会出现网络退化的现象，即图像的重建质量下降，限制了算法的重建性能。
现有的图像超分辨率重建方法存在以下缺陷：1.在提取训练样本集中，没有考虑图像本身的性质，对图像的高频和低频部分进行随机处理，可能会导致训练样本集中低频部分的信息冗余，限制神经网络训练效果；2.现有技术中实质处理对象多为双三次插值图像，而双三次插值在图像处理中实质为低通滤波，可能会丢失图像的高频信息，故在图像边缘、纹理等部分不能得到更好的重建效果，并且对插值图像进行处理会大大增加重建任务的计算量；3.现有技术中网络无法解决神经网络训练中可能出现的梯度弥散现象，网络深度均无法达到十层，难以充分表征图像信息，限制了图像重建的效果。4.现有技术中神经网络为某一固定的放大比例设计，难以实现较为灵活的连续比例放大。
发明内容
针对现有一些超分辨技术重建精度不高，重建速度慢，无法连续比例放大图像等缺点。本申请提出一种基于深度残差网络的单幅图像超分辨率重建方法。针对现有方法重建精度不高的缺陷，本发明将残差结构引入神经网络，消除了神经网络中的梯度弥散现象，大大增加了神经网络的深度，提升了训练过程的速度和重建图像的精度。针对现有方法重建速度慢的缺陷，本发明在神经网络末层引入上采样层，同时降低了神经网络中的参数数目，从而提升了图像重建的速度。针对现有方法无法连续比例放大图像的缺点，本发明在图像的重建过程中，将低分辨率图像通过神经网络迭代处理，并利用插值算法调整其尺寸从而实现了图像的连续比例放大。
附图说明
图1为本发明基于深度残差网络的进行图像重建的步骤；
图2为本发明获得用于重建训练的文件的步骤；
图3为本发明中的超深层次的神经网络结构；
图4为本发明在神经网络中对图像处理的步骤；
图5为现有技术和本发明对图像的放大的效果对比；
图6为现有技术和本发明对图像的放大的指标对比。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基于深度残差网络的单幅图像超分辨率重建方法，如图1所示包括以下步骤：1、对样本图像数据库中的图像进行区块抽取和像素平均处理，得到对应的高分辨率和低分辨率训练图像集；2、构建一个具有残差结构的深度卷积神经网络进行迭代训练，进而将步骤1中得到的训练集输入步骤二中构建的神经网络进行迭代训练；3、依据训练得到的数据模型，通过迭代运算和插值算法结合实现对输入低分辨率图像的连续比例放大。
本发明的基于深度残差网络的单幅图像超分辨率重建方法，首先需要得到用于重建训练的文件，其中最主要的是：1.考虑了图像的梯度特征，在图像梯度较高的区域即图像高频部分抽取更为密集，低频部分抽取较为稀疏。这样可以保证训练集中的高频区域占多数，有助于提升神经网络的训练效果；2.除提取高低分辨率图区外，增加了双三次插值的图区，所述的双三次插值图像包含了图像的低频部分，可以保证神经网络只对高频特征进行学习，降低了训练难度，增强了训练效果。
图像缩放操作中，输出图像像素点坐标有可能对应于输入图像上几个像素点之间的位置，需要通过灰度插值处理来计算出该输出点的灰度值。本发明中双三次插值不仅考虑到周围四个直接相邻像素点灰度值的影响，还考虑到它们灰度值变化率的影响。在这种方法中，函数f在点(x，y)的值f(x，y)可以通过矩形网格中最近的十六个采样点的加权平均得到，在这里需要使用两个多项式插值三次函数，每个方向使用一个。通过双三次插值可以得到一个连续的插值函数，它的一阶偏导数连续，并且交叉导数处处连续。加权方法为
f(i+u，j+v)＝ABCT
A＝[S(u+1) S(u) S(u-1) S(u-2)]
C＝[S(v+1) S(v) S(v-1) S(v-2)]
B＝f(i-1：i+2，j-1：j+2)
其中S(x)为三次插值核函数，可由如下式子近似：
本发明中双三次插值本质上是图像的低通滤波器，能得到比较平滑的图像，然而在插值处理时滤去了图像的高频信息，这部分高频信息可以利用神经网络进行恢复。
图2为获得用于重建训练的文件的实施例，其是从一批样本图像中提取用于训练的高分辨率图区和对应的低分辨率图区训练集。具体提取方法如下：利用旋转、翻转操作将原始数据集中的样本图像扩充为原来的5倍，并将样本图像以数据矩阵的形式读入计算机，每间隔m个像素抽取一个尺寸为21n*21n的子矩阵图区，其中，m的数值由子矩阵图区的最大梯度决定，从而使图区抽样在低频部分较为稀疏，在高频部分较为稠密，具体为，对抽取的21n*21n图像区块的各像素点进行遍历，计算各个像素点在不同方向上的四邻域像素点的差值，并将差值取绝对值后相加，即计算 得到图像区块的梯度和频率信息。抽取图像区块的间隔像素点数目m取的计算值，从而保证了在高频区取得的图像区块更为稠密；n为用于训练的神经网络的放大倍数，一般地选取为2。然后将抽取的子图区矩阵进行n倍的下采样处理，得到高分辨率图区对应的21*21大小的低分辨率图像区块。再将得到的低分辨率图像区块进行n倍的双三次插值处理得到尺寸为21n*21n的双三次图像区块。最后将高分辨率图区、低分辨率图区和双三次图区保存为用于训练的h5文件。
在得到用于重建训练文件之后，需要将图像区块输入构建的神经网络。所述神经网络为本发明将深度残差网络引入超分辨率重建任务，加工而成的一种超深层次的网络结构。在本发明的神经网络中，直接对原始低分辨率图像进行卷积，在靠近网络末端的位置利用上采样层对图像进行上采样。将双三次插值得到的图像与神经网络的输出层相加来预测真实的图像，本质上是让神经网络预测真实图像与双三次插值图像的差值，也就是图像的高频信息。此种方式有助于降低神经网络的训练难度，提高重建效果。本发明提出的神经网络使用了21层的卷积层和一层上采样层，而前18层卷积操作均对低分辨率图像作处理，在18层卷积层后利用上采样层提升了图像分辨率，这样可以有效地提升运算速度，同时在上采样层后增加了三层卷积层，保证了图像的重建效果。
本发明引入残差网络结构，各卷积层之间采用跨层连接，降低了梯度弥散的同时实现了多模型的融合。残差网络结构的引入将神经网络的深度提升到了21层，并且将学习率从10^-5提升到0.1，极大提升了模型的收敛速度和精度。另外，本发明通过将插值图像中包含有图像的低频信息直接映射到网络末端可以避免神经网络对图像低频信息的重复训练，提高了模型的收敛速度和重建精度。
图3为本发明中的神经网络结构。重建的图像主要由两部分组成，即其中为重建图像，X为原始低分辨率图像。B(X)是由低分辨率图像直接进行双三次插值得到的图像，其代表了图像的低频部分。C(X)是低分辨率图像经过一系列级联的卷积层后的输出图像，其代表了图像的高频部分。其中神经网络只对图像的高频部分进行学习，大大降低了图像的训练难度。
卷积层的参数用(n,s)表示，其中n为卷积层中卷积核的数量，s为卷积核的尺寸，本文每个卷积层均采用16个卷积核，尺寸为3×3。卷积层后采用线性修正单元(ReLU)作为激活单元,图像经过每一个卷积层的输出Cl为Cl＝max(0,Wl*Cl-1+bl)，其中Wl和bl分别为第l层卷积核的权值和偏置。
卷积层后面为上采样层，作用是提升图像的分辨率。对跨度为n的上采样层，尺寸为21*21的低分辨率图像区块在经过上采样层的处理后尺寸变为21n*21n。为了降低神经网络处理的计算量，将上采样层放置在靠近网络末端。
本发明在训练过程中采用的优化算法为随机梯度下降法，并采用可变学习率的策略。初始的学习率为0.1，每完成十次对训练集中全样本的训练，学习率下降为之前的10％，这个策略可以保证模型迅速地收敛的同时抑制梯度弥散现象，使模型收敛在一个较优的位置。
本发明在得到具有残差结构的深度卷积神经网络结构后，利用神经网络的迭代运算和像素加权算法实现了图像的连续比例放大，解决了现有技术中训练模型不能实现连续放大的问题。本发明实现图像的浮点放大基于双三次插值的方法，为将图像放大为3.5倍尺寸，可将低分辨率图像通过两倍放大的神经网络处理后的图像再通过神经网络处理，得到4倍放大的图像，然后再利用双三次插值的核函数将图像缩小为目标尺寸。
如图4所示为本发明在神经网络中对图像处理的步骤。具体为：放大过程中，将低分辨率图像输入训练完成的具有残差结构的深度卷积神经网络后尺寸得到提升，提升的倍数为训练过程中，神经网络对输入图片预先设置的放大倍数。若通过神经网络后，图像的分辨率没有达到目标分辨率，则输出图像再次通过神经网络处理。迭代运算后，当输出图像的分辨率超过目标分辨率，则对该输出图像进行缩小处理，使图像达到目标分辨率。缩小处理的算法类似于插值算法的逆运算，根据图像缩小的比例对图像的像素值大小进行加权运算。
为了验证本发明对图像放大处理方法的有效性，在图像测试库set14上，分别与其他三种优秀算法进行比较。图5分别为如下几种算法的图像处理效果的比较：图5-1为原图，图5-2为Bicubic双三次插值算法，图5-3为A+为改进的锚点近邻回归算法，图5-4为SRCNN为基于卷积神经网络的超分辨率重建算法，图5-5本发明的重建算法，可以看出在窗台部分，本发明的视觉效果明显优于其他方法，同时整体效果更为清晰。图6为在图像测试库set14中，不同放大倍数下各重建方法的信噪比的比较。实验结果表明，本发明提出的方法，不仅在视觉效果上而且在客观评价标准上都取得了比其他几种优秀的算法要显著的效果，展现了优秀的超分辨率重建性能。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于深度残差网络的单幅图像超分辨率重建方法，包括：步骤1，对样本图像数据库中的图像进行区块抽取和像素平均处理，得到对应的高分辨率和低分辨率训练图像集的训练文件；步骤2，构建一个具有残差结构的深度卷积神经网络进行迭代训练，进而将步骤1中得到的训练文件输入所述具有残差结构的深度卷积神经网络中进行迭代训练；步骤3，依据步骤2迭代训练得到的数据模型，通过迭代运算和插值算法结合实现对输入低分辨率图像的连续比例放大得到重建图像。
2.如权利要求1所述的方法，其特征在于，在步骤1中，得到用于重建训练的训练文件的方法为，根据图像的像素梯度特征抽取相应尺寸的子矩阵图区，在图像高频部分抽取更为稠密，低频部分抽取较为稀疏，并增加双三次插值的图区，所述双三次插值图像包含了图像的低频部分。
3.如权利要求2所述的方法，其特征在于，保证在图像高频部分抽取更为稠密，低频部分抽取较为稀疏的方法为：利用旋转、翻转操作扩充原始数据集中的样本图像，将所述样本图像以数据矩阵的形式读入计算机，每间隔图像区块的间隔像素点数目m抽取一个尺寸为21n*21n的子矩阵图区，其中，n为用于训练的神经网络的放大倍数，对抽取的21n*21n图像区块的各像素点进行遍历，计算各个像素点在不同方向上的四邻域像素点的差值，并将差值取绝对值后相加，即计算 得到图像区块的梯度和频率信息，所述f(x,y)可以通过矩形网格中最近的十六个采样点的加权平均得到，所述抽取图像区块的间隔像素点数目m取的计算值，从而保证了在高频区取得的图像区块更为稠密。
4.如权利要求1所述的方法，其特征在于，所述重建图像主要由两部分组成，即其中为重建图像，X为原始低分辨率图像，B(X)是由低分辨率图像直接进行双三次插值得到的图像，其代表了图像的低频部分，C(X)是低分辨率图像经过一系列级联的卷积层后的输出图像，其代表了图像的高频部分。
5.如权利要求1所述的方法，其特征在于，在步骤2中，得到具有残差结构的深度卷积神经网络的方法为，将深度残差网络引入超分辨率重建任务，加工而成的一种超深层次的网络结构。
6.如权利要求4所述的方法，其特征在于，在所述构建的具有残差结构的深度卷积神经网络中，直接对原始低分辨率图像进行卷积，在靠近网络末端的位置利用上采样层对图像进行上采样。
7.如权利要求4所述的方法，其特征在于，在所述构建的具有残差结构的深度卷积神经网络中，引入残差网络结构，各卷积层之间采用跨层连接，降低了梯度弥散的同时实现多模型的融合，残差网络结构的引入将神经网络的深度提升至21层。
8.如权利要求1所述的方法，其特征在于：在所述构建的具有残差结构的深度卷积神经网络中，通过将插值图像中包含有图像的低频信息直接映射到网络末端，避免神经网络对图像低频信息的重复训练。
9.如权利要求1所述的方法，其特征在于，步骤3中，所述对输入低分辨率图像的连续比例放大步骤为：S1.将低分辨率图像输入所述神经网络后尺寸得到提升，提升的倍数为训练过程中神经网络对输入图片预先设置的放大倍数；S2.若通过所述神经网络后，图像的分辨率没有达到目标分辨率，则进入步骤S1，若当输出图像的分辨率超过目标分辨率，则进入步骤S3；S3.对该输出图像进行缩小处理，使图像达到目标分辨率，所述缩小处理的算法类似于插值算法的逆运算，根据图像缩小的比例对图像的像素值大小进行加权运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710426614.XA CN107358575A (zh) | 2017-06-08 | 2017-06-08 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710426614.XA CN107358575A (zh) | 2017-06-08 | 2017-06-08 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107358575A true CN107358575A (zh) | 2017-11-17 |
Family
ID=60272460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710426614.XA Pending CN107358575A (zh) | 2017-06-08 | 2017-06-08 | 一种基于深度残差网络的单幅图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358575A (zh) |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| CN108175402A (zh) * | 2017-12-26 | 2018-06-19 | 智慧康源（厦门）科技有限公司 | 基于残差网络的心电数据的智能识别方法 |
| CN108235058A (zh) * | 2018-01-12 | 2018-06-29 | 广州华多网络科技有限公司 | 视频质量处理方法、存储介质和终端 |
| CN108416736A (zh) * | 2018-03-21 | 2018-08-17 | 西安邮电大学 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108765290A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN108765297A (zh) * | 2018-06-14 | 2018-11-06 | 厦门大学 | 基于循环训练的超分辨率重建方法 |
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、***、终端设备及存储介质 |
| CN109003229A (zh) * | 2018-08-09 | 2018-12-14 | 成都大学 | 基于三维增强深度残差网络的磁共振超分辨率重建方法 |
| CN109064394A (zh) * | 2018-06-11 | 2018-12-21 | 西安电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
| CN109102463A (zh) * | 2018-08-13 | 2018-12-28 | 北京飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109345476A (zh) * | 2018-09-19 | 2019-02-15 | 南昌工程学院 | 基于深度残差网络的高光谱图像超分辨率重建方法及装置 |
| CN109544451A (zh) * | 2018-11-14 | 2019-03-29 | 武汉大学 | 一种基于渐进式迭代反投影的图像超分辨率重建方法和*** |
| CN109584164A (zh) * | 2018-12-18 | 2019-04-05 | 华中科技大学 | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
| WO2019104705A1 (zh) * | 2017-12-01 | 2019-06-06 | 华为技术有限公司 | 图像处理的方法和设备 |
| CN109889800A (zh) * | 2019-02-28 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像增强方法和装置、电子设备、存储介质 |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
| CN109996023A (zh) * | 2017-12-29 | 2019-07-09 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
| CN110060314A (zh) * | 2019-04-22 | 2019-07-26 | 深圳安科高技术股份有限公司 | 一种基于人工智能的ct迭代重建加速方法及*** |
| CN110188807A (zh) * | 2019-05-21 | 2019-08-30 | 重庆大学 | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
| CN110446071A (zh) * | 2019-08-13 | 2019-11-12 | 腾讯科技（深圳）有限公司 | 基于神经网络的多媒体处理方法、装置、设备及介质 |
| CN110458759A (zh) * | 2019-08-16 | 2019-11-15 | 杭州微算智能科技有限公司 | 一种基于edsr单图超分辨率重建方法 |
| CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建***及其方法 |
| CN111192215A (zh) * | 2019-12-30 | 2020-05-22 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| WO2020125740A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳市中兴微电子技术有限公司 | 图像重建方法、装置、设备及计算机可读存储介质 |
| CN111583502A (zh) * | 2020-05-08 | 2020-08-25 | 辽宁科技大学 | 基于深度卷积神经网络的人民币冠字号多标签识别方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111951164A (zh) * | 2020-08-11 | 2020-11-17 | 哈尔滨理工大学 | 一种图像超分辨率重建网络结构及图像重建效果分析方法 |
| CN112183736A (zh) * | 2019-07-05 | 2021-01-05 | 三星电子株式会社 | 人工智能处理器及其执行神经网络运算的方法 |
| CN112419146A (zh) * | 2019-08-20 | 2021-02-26 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、装置及终端设备 |
| WO2021134874A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳大学 | 二维码去摩尔纹的深度残差网络的训练方法 |
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113538235A (zh) * | 2021-06-30 | 2021-10-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| WO2021258530A1 (zh) * | 2020-06-22 | 2021-12-30 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114820302A (zh) * | 2022-03-22 | 2022-07-29 | 桂林理工大学 | 基于残差稠密cnn和边缘增强的改进图像超分辨率算法 |
| JP2022536807A (ja) * | 2019-06-18 | 2022-08-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | リアルタイム映像超高解像度 |
| CN115190263A (zh) * | 2022-09-13 | 2022-10-14 | 广州市保伦电子有限公司 | 一种视频缩放方法、装置、设备及存储介质 |
| CN115409715A (zh) * | 2022-11-01 | 2022-11-29 | 北京科技大学 | 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 |
| CN116128727A (zh) * | 2023-02-02 | 2023-05-16 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、***和方法 |
| CN104660951A (zh) * | 2015-01-21 | 2015-05-27 | 上海交通大学 | 一种高清转超高清视频图像的超分辨率放大方法 |
| CN106097253A (zh) * | 2016-08-24 | 2016-11-09 | 北京印刷学院 | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 |
-
2017
- 2017-06-08 CN CN201710426614.XA patent/CN107358575A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020897A (zh) * | 2012-09-28 | 2013-04-03 | 香港应用科技研究院有限公司 | 基于多区块的单帧图像的超分辨率重建的装置、***和方法 |
| CN104660951A (zh) * | 2015-01-21 | 2015-05-27 | 上海交通大学 | 一种高清转超高清视频图像的超分辨率放大方法 |
| CN106097253A (zh) * | 2016-08-24 | 2016-11-09 | 北京印刷学院 | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙跃文 等: ""基于深度学习的辐射图像超分辨率重建方法"", 《原子能科学技术》 * |
Cited By (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107967669B (zh) * | 2017-11-24 | 2022-08-09 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| WO2019104705A1 (zh) * | 2017-12-01 | 2019-06-06 | 华为技术有限公司 | 图像处理的方法和设备 |
| US11704771B2 (en) | 2017-12-01 | 2023-07-18 | Huawei Technologies Co., Ltd. | Training super-resolution convolutional neural network model using a high-definition training image, a low-definition training image, and a mask image |
| CN108175402A (zh) * | 2017-12-26 | 2018-06-19 | 智慧康源（厦门）科技有限公司 | 基于残差网络的心电数据的智能识别方法 |
| CN109996023B (zh) * | 2017-12-29 | 2021-06-29 | 华为技术有限公司 | 图像处理方法和装置 |
| CN109996023A (zh) * | 2017-12-29 | 2019-07-09 | 华为技术有限公司 | 图像处理方法和装置 |
| CN108235058A (zh) * | 2018-01-12 | 2018-06-29 | 广州华多网络科技有限公司 | 视频质量处理方法、存储介质和终端 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108416736A (zh) * | 2018-03-21 | 2018-08-17 | 西安邮电大学 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
| CN108416736B (zh) * | 2018-03-21 | 2021-11-16 | 西安邮电大学 | 一种基于二次锚点邻域回归的图像超分辨率重建方法 |
| WO2019192588A1 (zh) * | 2018-04-04 | 2019-10-10 | 华为技术有限公司 | 图像超分方法及装置 |
| CN109903221A (zh) * | 2018-04-04 | 2019-06-18 | 华为技术有限公司 | 图像超分方法及装置 |
| US11593916B2 (en) | 2018-04-04 | 2023-02-28 | Huawei Technologies Co., Ltd. | Image super-resolution method and apparatus |
| CN109903221B (zh) * | 2018-04-04 | 2023-08-22 | 华为技术有限公司 | 图像超分方法及装置 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
| CN108765290A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 一种基于改进的稠密卷积神经网络的超分辨率重建方法 |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN109064394A (zh) * | 2018-06-11 | 2018-12-21 | 西安电子科技大学 | 一种基于卷积神经网络的图像超分辨率重建方法 |
| CN108765297B (zh) * | 2018-06-14 | 2020-07-17 | 厦门大学 | 基于循环训练的超分辨率重建方法 |
| CN108765297A (zh) * | 2018-06-14 | 2018-11-06 | 厦门大学 | 基于循环训练的超分辨率重建方法 |
| CN108986029B (zh) * | 2018-07-03 | 2023-09-08 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、***、终端设备及存储介质 |
| CN108986029A (zh) * | 2018-07-03 | 2018-12-11 | 南京览笛信息科技有限公司 | 文字图像超分辨率重建方法、***、终端设备及存储介质 |
| CN109003229A (zh) * | 2018-08-09 | 2018-12-14 | 成都大学 | 基于三维增强深度残差网络的磁共振超分辨率重建方法 |
| CN109003229B (zh) * | 2018-08-09 | 2022-12-13 | 成都大学 | 基于三维增强深度残差网络的磁共振超分辨率重建方法 |
| CN109102463A (zh) * | 2018-08-13 | 2018-12-28 | 北京飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109102463B (zh) * | 2018-08-13 | 2023-01-24 | 苏州飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109345476A (zh) * | 2018-09-19 | 2019-02-15 | 南昌工程学院 | 基于深度残差网络的高光谱图像超分辨率重建方法及装置 |
| CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
| CN109544451A (zh) * | 2018-11-14 | 2019-03-29 | 武汉大学 | 一种基于渐进式迭代反投影的图像超分辨率重建方法和*** |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
| CN109584164B (zh) * | 2018-12-18 | 2023-05-26 | 华中科技大学 | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 |
| CN109584164A (zh) * | 2018-12-18 | 2019-04-05 | 华中科技大学 | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 |
| CN111353944B (zh) * | 2018-12-20 | 2024-05-28 | 深圳市中兴微电子技术有限公司 | 一种图像重建方法、装置及计算机可读存储介质 |
| CN111353944A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种图像重建方法、装置及计算机可读存储介质 |
| WO2020125740A1 (zh) * | 2018-12-20 | 2020-06-25 | 深圳市中兴微电子技术有限公司 | 图像重建方法、装置、设备及计算机可读存储介质 |
| US20220036506A1 (en) * | 2018-12-20 | 2022-02-03 | Zte Corporation | Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium |
| US11810265B2 (en) * | 2018-12-20 | 2023-11-07 | Sanechips Technology Co., Ltd. | Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium |
| CN109903226A (zh) * | 2019-01-30 | 2019-06-18 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109903226B (zh) * | 2019-01-30 | 2023-08-15 | 天津城建大学 | 基于对称残差卷积神经网络的图像超分辨率重建方法 |
| CN109889800A (zh) * | 2019-02-28 | 2019-06-14 | 深圳市商汤科技有限公司 | 图像增强方法和装置、电子设备、存储介质 |
| CN109889800B (zh) * | 2019-02-28 | 2021-09-10 | 深圳市商汤科技有限公司 | 图像增强方法和装置、电子设备、存储介质 |
| CN110060314A (zh) * | 2019-04-22 | 2019-07-26 | 深圳安科高技术股份有限公司 | 一种基于人工智能的ct迭代重建加速方法及*** |
| CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
| CN110188807A (zh) * | 2019-05-21 | 2019-08-30 | 重庆大学 | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
| JP7417640B2 (ja) | 2019-06-18 | 2024-01-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | リアルタイム映像超高解像度 |
| JP2022536807A (ja) * | 2019-06-18 | 2022-08-18 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | リアルタイム映像超高解像度 |
| CN112183736A (zh) * | 2019-07-05 | 2021-01-05 | 三星电子株式会社 | 人工智能处理器及其执行神经网络运算的方法 |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
| CN110430419B (zh) * | 2019-07-12 | 2021-06-04 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
| CN110446071A (zh) * | 2019-08-13 | 2019-11-12 | 腾讯科技（深圳）有限公司 | 基于神经网络的多媒体处理方法、装置、设备及介质 |
| CN110458759A (zh) * | 2019-08-16 | 2019-11-15 | 杭州微算智能科技有限公司 | 一种基于edsr单图超分辨率重建方法 |
| CN112419146B (zh) * | 2019-08-20 | 2023-12-29 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、装置及终端设备 |
| CN112419146A (zh) * | 2019-08-20 | 2021-02-26 | 武汉Tcl集团工业研究院有限公司 | 一种图像处理方法、装置及终端设备 |
| CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建***及其方法 |
| CN110826467B (zh) * | 2019-11-22 | 2023-09-29 | 中南大学湘雅三医院 | 一种电子显微镜图像重建***及其方法 |
| CN111192215B (zh) * | 2019-12-30 | 2023-08-29 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| CN111192215A (zh) * | 2019-12-30 | 2020-05-22 | 百度时代网络技术（北京）有限公司 | 图像处理方法、装置、设备和可读存储介质 |
| WO2021134874A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳大学 | 二维码去摩尔纹的深度残差网络的训练方法 |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111583502A (zh) * | 2020-05-08 | 2020-08-25 | 辽宁科技大学 | 基于深度卷积神经网络的人民币冠字号多标签识别方法 |
| WO2021258530A1 (zh) * | 2020-06-22 | 2021-12-30 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN111951164A (zh) * | 2020-08-11 | 2020-11-17 | 哈尔滨理工大学 | 一种图像超分辨率重建网络结构及图像重建效果分析方法 |
| CN113096011B (zh) * | 2021-03-25 | 2024-02-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113096011A (zh) * | 2021-03-25 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN113538235B (zh) * | 2021-06-30 | 2024-01-09 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN113538235A (zh) * | 2021-06-30 | 2021-10-22 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN114494569A (zh) * | 2022-01-27 | 2022-05-13 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114494569B (zh) * | 2022-01-27 | 2023-09-19 | 光线云(杭州)科技有限公司 | 基于轻量级神经网络和残差流式传输的云渲染方法和装置 |
| CN114820302A (zh) * | 2022-03-22 | 2022-07-29 | 桂林理工大学 | 基于残差稠密cnn和边缘增强的改进图像超分辨率算法 |
| CN114820302B (zh) * | 2022-03-22 | 2024-05-24 | 桂林理工大学 | 基于残差稠密cnn和边缘增强的改进图像超分辨率算法 |
| CN115190263A (zh) * | 2022-09-13 | 2022-10-14 | 广州市保伦电子有限公司 | 一种视频缩放方法、装置、设备及存储介质 |
| CN115190263B (zh) * | 2022-09-13 | 2022-12-20 | 广州市保伦电子有限公司 | 一种视频缩放方法、装置、设备及存储介质 |
| CN115409715A (zh) * | 2022-11-01 | 2022-11-29 | 北京科技大学 | 一种基于Hodges-Lehmann的消防危险品图像超分方法及装置 |
| CN116128727B (zh) * | 2023-02-02 | 2023-06-20 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
| CN116128727A (zh) * | 2023-02-02 | 2023-05-16 | 中国人民解放军国防科技大学 | 极化雷达图像超分辨方法、***、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358575A (zh) | 一种基于深度残差网络的单幅图像超分辨率重建方法 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| Zhu et al. | A benchmark for edge-preserving image smoothing | |
| CN108510485A (zh) | 一种基于卷积神经网络的无参照图像质量评估方法 | |
| Yuan et al. | Using the wide-range attention U-Net for road segmentation | |
| CN108734660A (zh) | 一种基于深度学习的图像超分辨率重建方法及装置 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及*** | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN106373109A (zh) | 一种医学图像模态合成的方法 | |
| CN110532894A (zh) | 基于边界约束CenterNet的遥感目标检测方法 | |
| CN109345476A (zh) | 基于深度残差网络的高光谱图像超分辨率重建方法及装置 | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN109685717A (zh) | 图像超分辨率重建方法、装置及电子设备 | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN107343196A (zh) | 一种混合失真无参考图像质量评价方法 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN108734225A (zh) | 一种基于深度学习的输电线路施工物体图像检测方法 | |
| Feng et al. | Multi-scale fractal residual network for image super-resolution | |
| CN112464891B (zh) | 一种高光谱图像分类方法 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| CN106169174A (zh) | 一种图像放大方法 | |
| CN102306378A (zh) | 一种图像增强方法 | |
| Li et al. | Lightweight adaptive weighted network for single image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |
|
| RJ01 | Rejection of invention patent application after publication |