CN107784628A - 一种基于重建优化和深度神经网络的超分辨率实现方法 - Google Patents
一种基于重建优化和深度神经网络的超分辨率实现方法 Download PDFInfo
- Publication number
- CN107784628A CN107784628A CN201710970817.5A CN201710970817A CN107784628A CN 107784628 A CN107784628 A CN 107784628A CN 201710970817 A CN201710970817 A CN 201710970817A CN 107784628 A CN107784628 A CN 107784628A
- Authority
- CN
- China
- Prior art keywords
- msub
- msup
- mrow
- object function
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 38
- 238000005070 sampling Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 8
- 230000007935 neutral effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000013441 quality evaluation Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于重建优化和深度神经网络的超分辨率实现方法。该方法的具体步骤如下：(1)通过降采样方法，建立高分辨率图像与下采样图像之间的关系；通过最小二乘法建立目标函数：(2)利用共轭梯度下降算法对目标函数进行迭代优化，得到一张基于重建优化算法的高分辨率图像；(3)建立并训练完成一个三层全卷积神经网络；(4)将步骤(2)得到的高分辨率图像输入三层全卷积神经网络中，进一步提高图像的分辨率。利用本发明方法无论是在主观评测还是客观图像质量评价方面，都能取得很好的成果。
Description
技术领域
本发明涉及计算摄像学领域，尤其涉及一种基于重建优化和深度神经网络的超分辨率实现方法。
背景技术
图像超分辨率技术旨在从一张(单帧超分辨率)或一系列(多帧超分辨率)低分辨率图像中恢复出具有更多高频细节的高分辨率图像。现有的实现图像超分辨率的算法主要分为两大类：基于重建的方法和基于学习的方法。
基于重建的算法通过模拟下采样的逆过程，从一系列互相具有亚像素偏移的低分辨图像中重建出一张高分辨率图像。然而，这种基于重建的方法因为缺少图像的高频细节信息，所以其求解过程实质上是一个病态过程。通过在目标函数中引入正则化项，如一范数或二范数等，可以在一定程度上解决这个问题。从理论上讲，添加L1范数或L2范数正则化项相当于在目标函数中加入了拉普拉斯分布和高斯分布的先验信息。
基于学习的算法是通过学习图像的内部信息(即图像的相似性)或外部信息(即学习高低分辨率图像对之间的映射函数)来进行重建。目前，基于深度学习的算法在图像超分辨问题上有不错的视觉效果。然而尽管如此，但这些基于学习的方法是根据低分辨率输入图像和学习到的映射函数来直接对丢失的高频细节进行推测，这将很可能会导致错误的结果，即与真实的图像信息不符。
发明内容
针对以上现有方法中存在的缺陷，本发明的目的在于提出一种创新的多帧超分辨率实现方法，该方法通过将基于重建的优化技术和三层全卷积神经网络级联，能够恢复出一张性能优异的高分辨率图像。
为达上述目的，本发明采用的技术方案如下：
一种基于重建优化和深度神经网络的超分辨率实现方法，包括如下步骤：
步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；
其中X代表高分辨率图像，表示下采样矩阵，表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s2表示重建所需要的图像数量；
将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：
其中，β是正则化项的权重系数，θ是辅助项的权重系数；
步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：
利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；
步骤3，将目标函数中的X值取步骤2优化后的值，然后只优化目标函数中Q值的大小，目标函数变为：
通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数中Q值的取值；
步骤4，反复执行步骤2和步骤3，迭代优化目标函数中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；
步骤5，建立一个三层全卷积神经网络，第一层网络作用于输入图像，第二层网络包括两层卷积层，这两层卷积层都有128个特征，卷积核分别为9×9和5×5；每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层网络用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中；
步骤6，从图像库中选择N张自然图像，对每张图像进行下采样产生s2张相互具有亚像素偏移的低分辨率图像；选取步长为l像素，将低分辨率图像和高分辨率图像分别都裁剪成k×k的图像块，得到M对高分辨率图像对；利用这些图像对，对步骤5的网络参数进行训练；
步骤7，训练完成之后，将步骤4得到的高分辨率图像作为网络输入，通过所述三层全卷积神经网络的处理，输出一张最终重建得到的超分辨图像。
本发明提出了一种新颖的多帧超分辨率实现方法，通过结合基于重建的超分辨率技术和全卷积层神经网络，能够重建出一张包含高频细节信息的高分辨率图像。与其他先进的超分辨率技术相比，本发明方法在主观和客观的评测中都具有更优异的性能，通过验证比较，本发明方法可以在目前最优的超分辨率技术上再提高7dB左右的PSNR值(峰值信噪比)。
附图说明
图1为本发明方法的流程图；
图2为本发明实施例中三层卷积神经网络结构图；
图3为本发明方法和其他超分辨率方法在PSNR(峰值信噪比)数值和运行时间上的统计比较图；
图4为本发明方法和其他超分辨率方法在具体实现中的主观性能比较图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
本发明首先采用基于重建的超分辨率技术，将多个具有亚像素偏移的低分辨率图像序列作为输入。考虑到问题的病态性，在目标函数中加入L1范数对求解过程进行约束。L1正则化项有助于生成一个稀疏权值矩阵，进而可以用于特征选择。通过共轭梯度对目标函数进行快速收敛，从而得到一张高分辨率图像。在基于重建的超分辨率技术中，当放大系数过大或者输入图像不足时，无可避免地会产生振铃现象。本发明中应用了一个三层全卷积神经网络来抑制这种振铃现象，对之前输出的高分辨率图像做进一步优化处理。该方法不仅利用了重建技术中从多张低分辨率图像中获得的信息，而且从神经网络中学到足够信息。因此本发明方法选择性地结合了这两种技术的优点，从而实现了一种性能卓越的超分辨率技术。
参照图1，本实施例的一种基于重建优化和深度神经网络的超分辨率方法，具体步骤如下：
步骤1，假定低分辨率图像大小为M×N，超分辨率放大因子为s＝4，则重建出的高分辨率图像大小为Ms×Ns。令X∈RM×N表示高清图像，表示图像的下采样矩阵，表示经过下采样之后得到的低分辨率图像，则高分辨率图像X和低分辨率图像之间的关系可以表示为：
超分辨率的目标是为了从输入的多张低分辨率图像中重建出高分辨率图像X。利用最小二乘法原理，可以建立目标函数(2)。考虑到超分辨率问题存在的病态性，该方法在目标函数中引入了L1范数对函数进行约束。
考虑到不方便对L1范数进行求导，该方法又引入了一个辅助变量Q帮助优化求解。将目标函数构成如下形式：
观察公式(3)的形式，可以方便地利用Lasso特征收敛技术对后两项进行优化。其中，β表示正则化项的权重系数，将其设为β＝0.1；θ是辅助项的权重系数，初始值设为θ＝0.001，之后每迭代一次都会执行θ＝θ×0.99来加速目标函数的收敛。
步骤2，在这一步骤中，初始时，设置目标函数中的Q＝0，之后将Q值大小固定为由步骤3得到的优化Q值。在步骤2中，只优化目标函数中的X变量。此时，目标函数可以简化成：
利用共轭梯度算法可以迅速对目标函数进行收敛，直至找到目前最优的X值。共轭梯度有许多优点，首先其只使用一阶导数，非常简单。另外，由于不需要其他额外的参数，所以共轭梯度算法能够快速稳定地对函数进行收敛。
步骤3，在这一步骤中，只优化目标函数中的Q值，而变量X取步骤2中优化后的X值。在此步骤中，目标函数可以简化成：
因为该函数具有lasso回归模型的性质，只需通过lasso特征收敛技术，就可以得到目前最优的Q值。
步骤4，重复执行步骤2和步骤3，通过迭代地固定X值优化Q值，再固定Q值优化X值，可以不断更新目前最优的X值和Q值。当前后两次迭代过程后重建的X值之差小于所设定的阈值时，停止迭代操作，此时X的值即为基于重建算法的最优重建结果。
步骤5，输出一张基于重建算法的高分辨率图像。该图像从输入的低分辨率图像中获取信息，重建出丢失的高频细节信息。但在基于重建的算法中，当放大系数较大或者输入图像不足时，会无法避免地产生振铃现象，所以后续对该高分辨率图像进行进一步优化处理。
步骤6，搭建一个三层的全卷积神经网络。该神经网络的第一层作用于输入图像，后续两层为卷积层，其卷积核分别为9×9和5×5。卷积核的大小代表着感受野的区域，在这里选取9和5是性能与效率结合考虑的结果；卷积层通过不同的卷积核可以提取出输入图像的不同特征，从而能更好地对图像进行高阶表示。每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中在卷积层之后。用来抑制振铃效应的三层卷积神经网络的层级结构如图2所示。
步骤7，从图像库中选择100张自然图像，对每张图像进行下采样产生16张相互具有亚像素偏移的低分辨率图像；考虑到硬件的处理能力，选取步长为15像素，将低清和高清图像分别裁剪成50×50的图像块，得到95037对高低清图像对，利用这些配对的data和label图像块，对步骤6中的网络参数进行训练。在具体实现中，训练过程总计迭代76029次，在Tesla P100-PCIE-16G的GPU上训练时间约为一小时。
步骤8，网络训练完成之后，将步骤5输出的带有振铃效应的高分辨率图像作为网络输入，通过三层卷积层的处理，输出一张振铃现象得到明显抑制的高分辨图像。从最终输出的高分辨率图像中可以看出，经过神经网络的优化处理，重建质量得到了进一步的提升。比目前领先的超分辨方法的PSNR(峰值信噪比)高出7dB左右。具体性能结果见图3，图4。
在图3中，将本发明与其他先进的超分辨率算法进行比较。这些超分辨率技术包括：SelfExSR(从变换的自数据对中学习的单帧超分辨率技术)、DRCN(深度递归卷积网络图像超分辨率)、SCN(稀疏编码超分辨率)、RFL(随机森林学习超分辨率)、A+(自适应固定临近回归快速超分辨率)、VDSR(使用深度神经网络的准确超分辨率技术)、SRCNN(运用深度神经网络的超分辨算法)、LapSRN(基于深度拉普拉斯金字塔网络的超分辨率)、FSRCNN(加速超分辨卷积神经网络)。可以看出，本发明不仅在PSNR(峰值信噪比)的数值上比目前其他超分辨方法高出很多，而且在运行时间方面也很有优势。
图4是在具体图像中，将本发明与其他先进的超分辨率技术进行对比。其中VDSR为使用深度神经网络的准确超分辨率技术，LapSRN为基于深度拉普拉斯金字塔网络的超分辨率，MFSR(处理运动模糊的多帧超分辨率技术)和VideoSR(深度整体学习的视频超分辨率技术)都是针对视频处理的超分辨技术。下方的数值分别代表了PSNR(峰值信噪比)和SSIM(结构相似性)，这两个都是常用的评价图像质量的数值指标。无论是从图像细节还是质量指标来看，本发明重建出的图像都远远优于其他先进的超分辨率技术。
Claims (1)
1.一种基于重建优化和深度神经网络的超分辨率实现方法，其特征在于，包括如下步骤：
步骤1，通过降采样方法，建立高分辨率图像与下采样图像之间的关系；
<mrow>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>Y</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>Y</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>....</mn>
<mo>,</mo>
<msub>
<mi>Y</mi>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<msub>
<mi>D</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<mn>....</mn>
<mo>,</mo>
<msub>
<mi>D</mi>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</msub>
<mo>&rsqb;</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>&CenterDot;</mo>
<mi>X</mi>
</mrow>
其中X代表高分辨率图像，表示下采样矩阵，表示经过下采样之后的低分辨率图像，s代表放大系数并且s＝4，s2表示重建所需要的图像数量；
将多张低分辨率图像作为已知量，通过最小二乘法建立目标函数并引入一个辅助求解的变量Q：
<mrow>
<mi>J</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<mi>X</mi>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&theta;</mi>
<mo>|</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>X</mi>
<mo>-</mo>
<mi>Q</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>Q</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
其中，β是正则化项的权重系数，θ是辅助项的权重系数；
步骤2，将目标函数中的Q值初始值设置为0，只迭代收敛目标函数中的X变量，目标函数写成：
<mrow>
<mi>J</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mi>s</mi>
<mn>2</mn>
</msup>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>D</mi>
<mi>i</mi>
</msub>
<mo>&CenterDot;</mo>
<mi>X</mi>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>+</mo>
<mi>&theta;</mi>
<mo>|</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>X</mi>
<mo>-</mo>
<mi>Q</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
利用共轭梯度算法对目标函数进行收敛，直至找到目前最优的X值；
步骤3，将目标函数中的X值取步骤2优化后的值，然后只优化目标函数中Q值的大小，目标函数变为：
<mrow>
<mi>J</mi>
<mo>=</mo>
<mi>&theta;</mi>
<mo>|</mo>
<mo>|</mo>
<mo>&dtri;</mo>
<mi>X</mi>
<mo>-</mo>
<mi>Q</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>Q</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
通过特征收敛Lasso回归模型，得到目前最优的Q值，然后作为步骤2目标函数中Q值的取值；
步骤4，反复执行步骤2和步骤3，迭代优化目标函数中的X值和Q值，直到得到的X值趋于收敛时，停止迭代，此时的X值即为基于重建算法的最优重建结果，得到一张基于重建优化算法的高分辨率图像；
步骤5，建立一个三层全卷积神经网络，第一层网络作用于输入图像，第二层网络包括两层卷积层，这两层卷积层都有128个特征，卷积核分别为9×9和5×5；每一层卷积层后都采用修正线性单元加入非线性映射，并使用自适应矩估计优化器对训练过程进行优化；最后一层网络用于图像的重建，利用卷积层提取出的高阶特征，将图像从低阶空间域映射到高阶空间域中；
步骤6，从图像库中选择N张自然图像，对每张图像进行下采样产生s2张相互具有亚像素偏移的低分辨率图像；选取步长为l像素，将低分辨率图像和高分辨率图像分别都裁剪成k×k的图像块，得到M对高分辨率图像对；利用这些图像对，对步骤5的网络参数进行训练；
步骤7，训练完成之后，将步骤4得到的高分辨率图像作为网络输入，通过所述三层全卷积神经网络的处理，输出一张最终重建得到的超分辨图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710970817.5A CN107784628B (zh) | 2017-10-18 | 2017-10-18 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710970817.5A CN107784628B (zh) | 2017-10-18 | 2017-10-18 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107784628A true CN107784628A (zh) | 2018-03-09 |
| CN107784628B CN107784628B (zh) | 2021-03-19 |
Family
ID=61434544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710970817.5A Active CN107784628B (zh) | 2017-10-18 | 2017-10-18 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107784628B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN108875915A (zh) * | 2018-06-12 | 2018-11-23 | 辽宁工程技术大学 | 一种面向嵌入式应用的深度对抗网络优化方法 |
| CN109191376A (zh) * | 2018-07-18 | 2019-01-11 | 电子科技大学 | 基于srcnn改进模型的高分辨率太赫兹图像重构方法 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
| CN110033469A (zh) * | 2019-04-01 | 2019-07-19 | 北京科技大学 | 一种亚像素边缘检测方法及*** |
| WO2019180991A1 (en) * | 2018-03-19 | 2019-09-26 | Mitsubishi Electric Corporation | Imaging system and method for image processing |
| CN110443768A (zh) * | 2019-08-08 | 2019-11-12 | 齐鲁工业大学 | 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
| WO2017158363A1 (en) * | 2016-03-18 | 2017-09-21 | Magic Pony Technology Limited | Generative methods of super resolution |
-
2017
- 2017-10-18 CN CN201710970817.5A patent/CN107784628B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| WO2017158363A1 (en) * | 2016-03-18 | 2017-09-21 | Magic Pony Technology Limited | Generative methods of super resolution |
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN106780338A (zh) * | 2016-12-27 | 2017-05-31 | 南京理工大学 | 基于各向异性的快速超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107133919A (zh) * | 2017-05-16 | 2017-09-05 | 西安电子科技大学 | 基于深度学习的时间维视频超分辨率方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZAIWENWENA,WOTAOYIN, HONGCHAO ZHANG AND DONALD GOLDFARB: "A fast algorithm for sparse reconstruction based on shrinkage,subspace optimization, and continuation", 《OPTIMIZATION METHODS & SOFTWARE》 * |
| 沈焕锋; 李平湘; 张良培: "一种基于正则化技术的超分辨影像重建方法", 《中国图象图形学报》 * |
| 蔡苗苗: "基于稀疏正则化理论的超分辨率图像重建算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019180991A1 (en) * | 2018-03-19 | 2019-09-26 | Mitsubishi Electric Corporation | Imaging system and method for image processing |
| CN108765511A (zh) * | 2018-05-30 | 2018-11-06 | 重庆大学 | 基于深度学习的超声图像超分辨率重建方法 |
| CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN108875915A (zh) * | 2018-06-12 | 2018-11-23 | 辽宁工程技术大学 | 一种面向嵌入式应用的深度对抗网络优化方法 |
| CN108830813B (zh) * | 2018-06-12 | 2021-11-09 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN109191376A (zh) * | 2018-07-18 | 2019-01-11 | 电子科技大学 | 基于srcnn改进模型的高分辨率太赫兹图像重构方法 |
| CN109191376B (zh) * | 2018-07-18 | 2022-11-25 | 电子科技大学 | 基于srcnn改进模型的高分辨率太赫兹图像重构方法 |
| CN109525859B (zh) * | 2018-10-10 | 2021-01-15 | 腾讯科技（深圳）有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
| CN109525859A (zh) * | 2018-10-10 | 2019-03-26 | 腾讯科技（深圳）有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
| CN109389557A (zh) * | 2018-10-20 | 2019-02-26 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN109389557B (zh) * | 2018-10-20 | 2023-01-06 | 南京大学 | 一种基于图像先验的细胞图像超分辨方法及装置 |
| CN110033469A (zh) * | 2019-04-01 | 2019-07-19 | 北京科技大学 | 一种亚像素边缘检测方法及*** |
| CN110033469B (zh) * | 2019-04-01 | 2021-08-27 | 北京科技大学 | 一种亚像素边缘检测方法及*** |
| CN110443768A (zh) * | 2019-08-08 | 2019-11-12 | 齐鲁工业大学 | 基于多重微分一致性约束和对称冗余网络的单帧图像超分辨率重建方法 |
| CN110443768B (zh) * | 2019-08-08 | 2023-05-12 | 齐鲁工业大学 | 基于多重一致性约束的单帧图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107784628B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN112184554B (zh) | 一种基于残差混合膨胀卷积的遥感图像融合方法 | |
| CN110310227A (zh) | 一种基于高低频信息分解的图像超分辨率重建方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN106981080A (zh) | 基于红外图像和雷达数据的夜间无人车场景深度估计方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN107633520A (zh) | 一种基于深度残差网络的超分辨率图像质量评估方法 | |
| CN109727195B (zh) | 一种图像超分辨率重构方法 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| CN110516716A (zh) | 基于多分支相似度网络的无参考图像质量评价方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
| CN107316004A (zh) | 基于深度学习的空间目标识别方法 | |
| CN109949222A (zh) | 基于语义图的图像超分辨率重建方法 | |
| CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
| CN107369147A (zh) | 基于自我监督学习的图像融合方法 | |
| CN111861886A (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN109559278B (zh) | 基于多特征学习的超分辨图像重建方法及*** | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN106981046A (zh) | 基于多层梯度约束回归的单幅图像超分辨率重建方法 | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network | |
| Kim et al. | Restoring spatially-heterogeneous distortions using mixture of experts network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |