CN112767252A - 一种基于卷积神经网络的图像超分辨率重建方法 - Google Patents

一种基于卷积神经网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN112767252A
CN112767252A CN202110105967.6A CN202110105967A CN112767252A CN 112767252 A CN112767252 A CN 112767252A CN 202110105967 A CN202110105967 A CN 202110105967A CN 112767252 A CN112767252 A CN 112767252A
Authority
CN
China
Prior art keywords
image
convolution
layer
convolutional
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110105967.6A
Other languages
English (en)
Other versions
CN112767252B (zh
Inventor
李劼
任春辉
王斌
付毓生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
CETC 54 Research Institute
Original Assignee
University of Electronic Science and Technology of China
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, CETC 54 Research Institute filed Critical University of Electronic Science and Technology of China
Priority to CN202110105967.6A priority Critical patent/CN112767252B/zh
Publication of CN112767252A publication Critical patent/CN112767252A/zh
Application granted granted Critical
Publication of CN112767252B publication Critical patent/CN112767252B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像技术领域，具体是涉及一种基于卷积神经网络的图像超分辨率重建方法。本发明方法根据不同卷积核的感受野差异原理，利用异形卷积核对卷积神经网络进行改进，使得网络在具有较少的参数的情况下能够提取图像的丰富特征。同时，利用tanh函数作为激活函数以及跳跃连接的方式将多层特征图像信息充分利用，使得重建图像的质量有所提高。另外，本发明方法利用卷积神经网络轻量化原理，对卷积神经网络进行轻量化优化，使得网络在重建图像质量略有下降的情况下整个网络的参数减少，运算量有下降。本发明方法能够在相较于传统网络的参数没有较大提升的基础上提升重建图像质量，同时重建图像相较与传统方法所重建的图像在人眼观感上有明显提升。

Description

一种基于卷积神经网络的图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域，具体是涉及一种基于卷积神经网络的图像超分辨率重建方法。
背景技术
图像超分辨率重建是低分辨率图像重建成高分辨率图像的图像处理技术。随着设备显示能力的提升，用户需要有更高分辨率的图像带来更好的视觉体验，同时更高的分辨率也能方便更多行业的从业人员进行科研，这就需要对图像进行超分辨率重建。
图像超分辨率重建方法包括基于插值的图像超分辨率重建、基于拟合的图像超分辨率重建和基于学习的图像超分辨率重建。基于学习的图像超分辨率重建是当前较为热门的一种重建方法，其具有重建质量好、重建图像细节丰富和人眼观感好等特点，在医疗、卫星和民用领域均得到广泛的应用，因此对图像超分辨率重建的重建质量提升具有重要意义。基于学习的图像超分辨率重建方法又有基于字典学习的图像超分辨率重建方法和基于卷积神经网络的图像超分辨率重建方法，基于卷积神经网络的图像超分辨率重建方法由于其具有较好的特征提取能力和非线性映射能力，使其重建图像质量优于其他方法。
目前针对基于卷积神经网络的图像超分辨率重建方法主要集中在以下几种:
1.卷积神经网络
卷积神经网络方法通过将卷积神经网络利用在图像超分辨率重建问题上，该方法主要利用三层卷积层对图像进行超分辨率重建：特征提取层、非线性映射层和超分辨率重建层，该方法有效的提升了重建图像质量，但是由于网络层数少、图像特征利用率低等弊端，并没有充分使用图像信息，重建效果还可以进一步提升。
2.循环神经网络
循环神经网络方法是利用循环神经网络对图像进行超分辨率重建，在特征提取层之后，利用循环卷积的原理，对特征图像进行循环卷积，并将每次卷积的结果传给最后一层卷积层，实现对图像特征的提取。利用循环神经网络进行图像超分辨率重建的方法虽然改动不大，但是循环卷积的方式可以对图像的某些特征进行充分的提取，避免了一部分卷积神经网络层数少，没有充分提取特征的问题；但是循环神经网络使用同一层卷积层进行循环卷积，无法充分提取图像的不同特征，使得重建图像会对某类重复出现的特征的重建效果较好、其他特征效果一般的问题。
3.对抗神经网络
该方法基于对抗神经网络，利用生成网络和对抗网络两个网络同时训练，得到能够重建出具有丰富纹理的图案，但是由于该网络在训练过程中用到了对抗网络对图像的观感进行提升，会造成重建图像与真实图像所呈现的内容有较大的差异，并且同时训练两个网络需要较长的时间和较多的资源，对设备的要求非常高，实用性有一定的限制。
发明内容
本发明的目的在于，针对上述问题，提出一种基于改进的卷积神经网络——水平垂直网络(Horizonal and Vertical Super-Resolution，HVSR)的图像超分辨率重建方法，是一种重建图像性能好且网络参数较少的图像超分辨率重建方法。
本发明的技术方案为，一种基于卷积神经网络的图像超分辨率重建方法，如图1所示，包括以下步骤：
S1、选取n张图像作为训练集{PH1,PH2,...,PHn}，下标H表示图像为高分辨率图像；
S2、对训练集进行预处理：随机提取训练集每张图像中大小为100×100的像素区域，图像像素区域小于100则用0补齐不足区域，然后对这些像素区域进行下采样，得到对应的低分辨率图像集{PL1,PL2,...,PLn}；
S3、构建卷积神经网络，将网络从输入到输出的方向定义为垂直方向，则：
沿垂直方向，依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、反卷积层、第七卷积层；其中，
所述第一卷积层的输入为低分辨率图像集，第一卷积层输出的特征图像分为数量相等的两组；
所述第二卷积层具有a×1和1×a的两种卷积核，两种卷积核分别将第一卷积层的两组输出作为输入，每种卷积核的输出又分为数量相等的两组，即第二卷积层输出四组特征图像；
所述第三卷积层具有四个卷积核，沿水平方向，交替由a×1和1×a的两种卷积核构成，第一组a×1和1×a卷积核对应的输入为第二卷积层中a×1卷积核输出的两组特征图像，第二组a×1和1×a卷积核对应的输入为第二卷积层中1×a卷积核输出的两组特征图像，每种卷积核的输出又分为数量相等的两组，即第三卷积层输出八组特征图像；
所述第四卷积层具有八个卷积核，沿水平方向，交替由a×1和1×a的两种卷积核构成，每个卷积核的输入与第三卷积层中卷积核同理，每个卷积核输出一组特征图像；
所述第五卷积层为1×1的卷积核，输入为第二卷积层、第三卷积层、第四卷积层输出的所有特征图像，输出特征图像数目为第一层特征图像数目的一半；
网络中每一次卷积后采用tanh函数作为激活函数；
S4、对构建的卷积神经网络进行训练，具体为：设置目标图像为残差图像，通过将低分辨率图像集利用双线性插值法放大至与训练集中对应图像等大，得到放大的低分辨率图像集{PIL1,PIL2,...,PILn}，将放大的低分辨率图像集与提取的像素区域中对应的图像的对应位置的像素值相减，得到残差图像集{PR1,PR2,...,PRn}；将输入低分辨率图像PLi到网络中后所获得的输出图像POi与对应的残差图像PRi比较，得到均方差
Figure BDA0002917421610000031
将均方差作为网络的损失函数，对网络参数进行更新，从而获得训练好的卷积神经网络；
S5、利用训练好的卷积神经网络进行图像的超分辨率重建，如图2所示，具体为：
S51、将需要超分辨率重建的图像PL作为输入图像，输入卷积神经网络后得到输出图像PO；
S52、对图像PL利用双三次插值法放大至与图像PO等大，获得放大后的图像PIL；
S53、将PIL与PO对应的像素点的像素值进行相加，得到超分辨率图像PS。
进一步的，所述第一卷积层为3×3的卷积核，第二卷积层中为1×5和5×1的卷积核，第六卷积层为1×1的卷积核，第七卷积层为3×3的卷积核。
本发明的有益效果是：
(1)通过采用与传统n×n卷积核不同的1×5和5×1卷积核，使感受野更加丰富；同时，与常用的3×3的卷积核相比，每个卷积核具有的参数更少，但是最终可以获得的感受野相同。
(2)在一层卷积层中同时使用了1×5和5×1的卷积核，在保证水平和垂直方向特征都提取的同时，通过多层卷积层中不同卷积核的组合得到不同的感受野形状，丰富了卷积神经网络提取图像中不同形状特征的能力。
(3)本发明采用了轻量化的思想，利用分组卷积的思想，在重建性能没有较大改变的基础上，减少了网络的运算量，使得该卷积神经网络的适用范围更广。
附图说明
图1为本发明方法训练流程图。
图2为本发明方法图像超分辨率重建流程图。
图3为本发明的卷积神经网络结构图。
图4为不同模型在不同训练周期后在测试集上的表现。
图5为不同模型对同一图像的超分辨率重建效果图。
具体实施方式
下面结合附图，详细描述本发明的技术方案：
卷积神经网络定义为：
Y＝a(w*X+b)
Y代表输出，a(·)代表激活函数，w代表卷积核，*代表卷积操作，b代表偏置项。
如图3所示，相比于传统卷积神经网络进行超分辨率重建时使用n×n的卷积核进行图像超分辨率重建，本发明定义异形卷积核使用了1×5和5×1的两种卷积核代替原始卷积核，这种卷积核能够使用较少的参数达到与传统卷积核相同感受野的作用，如使用5×5的卷积核作为卷积神经网络的卷积核时，感受野大小为5×5，所使用的参数数目为25个。当使用3×3的卷积核作为卷积神经网络的卷积核时，达到5×5的感受野时需要两个同样大小的3×3卷积核，此时所用参数为18个。而使用1×5和5×1的两种卷积核进行卷积的时候，要达到5×5的感受野需要一个1×5和一个5×1的卷积核，此时所用参数为10个，远远小于传统的卷积核数目。
传统卷积神经网络进行超分辨率重建时每一层卷积层只会使用一种形状卷积核进行卷积，经过多层卷积之后，特征图像中的某一点所具有的感受野形状单一，对原本的图像所提取特征的区域较为固定，而本发明方法将1×5和5×1的两种卷积核放置在同一层卷积层中，可以保证提取上一层中水平和竖直方向的图像信息，而避免了只使用单一方向提取图像信息时造成的另一方向的图像特征信息没有提取的问题，同时多种卷积核组合，可以使整个卷积神经网络的感受野形状丰富，对于提取某些形状的图像特征更有利；使得通过多层卷积层后，不同形状的感受野相互组合，得到不同形状的感受野，而不同形状的感受野对于不同形状的图像特征具有不同的提取能力，相对于单一形状的感受野，不同形状的感受野能够更好的捕捉图像不同的特征。
本发明的网络采用分组卷积的方式，将每层所提取的特征图像进行分组，每组分别用下一层的卷积核进行卷积，如将第二层卷积核所提取的图像分成两组，每组分别用1×5和5×1的卷积核进行卷积。这样做，每层卷积核的数目是不变的，但是通过分组，使得每层所需的运算量有了较大的减少。例如第二层提取的特征图像分成两组后，第三层卷积层所需的运算量就只有第二层的50％，而第三层提取的特征图像分成四组，则运算量变为第二层的25％，以此类推。并且在后面的卷积之前，利用跳跃连接的方法将所有的特征图像集合，并用1×1的卷积核对所有的特征图像进行“混合”，并且改变特征图像的图像数目，减少后层卷积层的运算量。
每一次卷积后都采用tanh函数作为激活函数，因为在图像超分辨率重建问题中，所需要输出的结果是图像信息，图像中的物体都较为平滑和连续，并且经过处理之后的目标图像的取值范围在[-1,1]之间，而tanh函数的表达式如下：
Figure BDA0002917421610000051
tanh函数的输出值也是在[-1,1]之间，不像ReLU和PReLU函数在取值为0的点有不可导的点。tanh函数不会将负数的输出值直接置0，使得该图像特征不被激活，造成训练过程中的一部分图像信息的丢失，tanh函数在接近0点处的输出值有较大的变化率，对较小的变化能够比较好的捕捉，在远离0点处的输出值有较小的变化率，且输出范围有限，对较大的卷积结果能够很好的抑制其增长，防止梯度消失和梯度***的问题。因此通过激活函数之后的特征图像更接近目标图像，更有利于后续对图像超分辨率重建的处理。
训练中使用dropout方法进行训练，在训练一定周期数后，随机屏蔽一部分卷积核再次训练，训练一段时间后重新选择新的卷积核进行屏蔽，最后再将所有卷积核进行组合，这样可以防止整个卷积神经网络过拟合，提高网络的鲁棒性。
本发明的卷积神经网络进行了轻量化处理，具体体现为：
统的卷积神经网络进行图像超分辨率重建时，采用的方式为下层的卷积核对所有上一层的特征图像全部进行卷积，因此传统的卷积神经网络在每一层卷积层上所需的计算量都较大，所需的参数也较多，标准卷积的计算量如下：
Q＝HWNKLM
H×W表示输入图像的空间尺寸(H表示图像的高度，W表示图像的宽度)，N表示输入图像的通道数，K×L表示卷积核的尺寸(K表示卷积核的长，L表示卷积核的宽)，M表示卷积核数目(输出图像的通道数目)。
而本发明采用了分组卷积的方式，对前一层的特征图像进行分组，后一层的卷积核只对分组后的特征图像中的其中一组进行卷积，该卷积的计算量为：
Figure BDA0002917421610000061
G为特征图像所分的组的数目，可见，当组分的越多时，卷积运算的运算量就越小，但同时后一层的特征图像中每一张特征图像所提取的前一层的特征图像数目就越少，当G取最大值N时，整个网络就变成了单通道的卷积神经网络。
如图3，本发明的方法在卷积神经网络的第2-4层对提取的特征图像进行了分组处理，其中第2层分为两组，分为1×5卷积核所提取的特征图像组和5×1卷积核所提取的特征图像组，并且让每组特征图像对应的后一层的卷积层中都包含1×5和5×1两种形状的卷积核，这样做是为了保证感受野的丰富性，使得网络能够提取丰富的图像特征。第3层分按照4组卷积核将特征图像分为4组，以此类推，第4层8组，使用分组卷积后的卷积神经网络比未使用的参数减少了24％，大大节约了计算量。
同时，本发明在使用分组卷积之后，利用跳跃连接的方式，将前几层中的特征图像组合在一起，并且利用1×1的卷积核对这些图像进行混合，使后一层的特征图像数量减少，减少后一层卷积运算的运算量和网络参数数目。
下面通过仿真示例并结合图4、图5来证明本发明的有效性：
在训练过程中，使用的是ImageNet2012数据集中的10000张图片作为训练集，每张图片随机选取100×100的像素快作为训练区域，图像放大倍数设置成4倍。学习率设置成0.0001。
图4是不同的网络模型在不同训练周期时，在测试集的重建性能比较。其中横坐标是模型所训练的周期数，纵坐标是峰值信噪比，是一种客观评价图像重建质量的指标。从图中可以看出，本发明的网络在十几个训练周期后就得到了良好的图像重建质量，优于其他网络。此实例说明本发明具有很好的特征提取能力和图像超分辨率重建的能力，并且易于训练。
图5是不同的网络模型的重建效果，从图上可以看出，本发明的网络所重建的图像相较于其他网络在人眼观感上有一定提升，其模糊程度较低，相比于其他网络，也更没有重建时的锯齿感。此实例说明，本发明重建的图像具有很好的人眼观感。

Claims (2)

1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
S1、选取n张图像作为训练集{PH1,PH2,...,PHn}，下标H表示图像为高分辨率图像；
S2、对训练集进行预处理：随机提取训练集每张图像中大小为100×100的像素区域，图像像素区域小于100则用0补齐不足区域，然后对这些像素区域进行下采样，得到对应的低分辨率图像集{PL1,PL2,...,PLn}；
S3、构建卷积神经网络，将网络从输入到输出的方向定义为垂直方向，则：
沿垂直方向，依次包括第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、反卷积层；其中，
所述第一卷积层的输入为低分辨率图像集，第一卷积层输出的特征图像分为数量相等的两组；
所述第二卷积层具有a×1和1×a的两种卷积核，两种卷积核分别将第一卷积层的两组输出作为输入，每种卷积核的输出又分为数量相等的两组，即第二卷积层输出四组特征图像；
所述第三卷积层具有四个卷积核，沿水平方向，交替由a×1和1×a的两种卷积核构成，第一组a×1和1×a卷积核对应的输入为第二卷积层中a×1卷积核输出的两组特征图像，第二组a×1和1×a卷积核对应的输入为第二卷积层中1×a卷积核输出的两组特征图像，每种卷积核的输出又分为数量相等的两组，即第三卷积层输出八组特征图像；
所述第四卷积层具有八个卷积核，沿水平方向，交替由a×1和1×a的两种卷积核构成，每个卷积核的输入与第三卷积层中卷积核同理，每个卷积核输出一组特征图像；
所述第五卷积层为1×1的卷积核，输入为第二卷积层、第三卷积层、第四卷积层输出的所有特征图像；
网络中每一次卷积后采用tanh函数作为激活函数；
S4、对构建的卷积神经网络进行训练，具体为：设置目标图像为残差图像，通过将低分辨率图像集利用双线性插值法放大至与训练集中对应图像等大，得到放大的低分辨率图像集{PIL1,PIL2,...,PILn}，将放大的低分辨率图像集与提取的像素区域中对应的图像的对应位置的像素值相减，得到残差图像集{PR1,PR2,...,PRn}；将输入低分辨率图像PLi到网络中后所获得的输出图像POi与对应的残差图像PRi比较，得到均方差
Figure FDA0002917421600000021
将均方差作为网络的损失函数，对网络参数进行更新，经过预设训练周期数的训练后，获得训练好的卷积神经网络；
S5、利用训练好的卷积神经网络进行图像的超分辨率重建，具体为：
S51、将需要超分辨率重建的图像PL作为输入图像，输入卷积神经网络后得到输出图像PO；
S52、对图像PL利用双三次插值法放大至与图像PO等大，获得放大后的图像PIL；
S53、将PIL与PO对应的像素点的像素值进行相加，得到超分辨率图像PS。
2.根据权利要求1所述的一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，所述第一卷积层为3×3的卷积核，第二卷积层中为1×5和5×1的卷积核，第六卷积层为1×1的卷积核，第七卷积层为3×3的卷积核。
CN202110105967.6A 2021-01-26 2021-01-26 一种基于卷积神经网络的图像超分辨率重建方法 Expired - Fee Related CN112767252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110105967.6A CN112767252B (zh) 2021-01-26 2021-01-26 一种基于卷积神经网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110105967.6A CN112767252B (zh) 2021-01-26 2021-01-26 一种基于卷积神经网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN112767252A true CN112767252A (zh) 2021-05-07
CN112767252B CN112767252B (zh) 2022-08-02

Family

ID=75705858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110105967.6A Expired - Fee Related CN112767252B (zh) 2021-01-26 2021-01-26 一种基于卷积神经网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN112767252B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284112A (zh) * 2021-05-27 2021-08-20 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及***
CN113409195A (zh) * 2021-07-06 2021-09-17 中国标准化研究院 基于改进的深度卷积神经网络的图像超分辨率重建方法
CN113610706A (zh) * 2021-07-19 2021-11-05 河南大学 基于卷积神经网络的模糊监控图像超分辨率重建方法
CN114469174A (zh) * 2021-12-17 2022-05-13 上海深至信息科技有限公司 一种基于超声扫查视频的动脉斑块识别方法及***

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US20150116545A1 (en) * 2013-10-30 2015-04-30 Ilia Ovsiannikov Super-resolution in processing images such as from multi-layer sensors
CN106548449A (zh) * 2016-09-18 2017-03-29 北京市商汤科技开发有限公司 生成超分辨率深度图的方法、装置及***
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN107194893A (zh) * 2017-05-22 2017-09-22 西安电子科技大学 基于卷积神经网络的深度图像超分辨方法
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN108492249A (zh) * 2018-02-08 2018-09-04 浙江大学 基于小卷积递归神经网络的单帧超分辨重建方法
WO2019032304A1 (en) * 2017-08-07 2019-02-14 Standard Cognition Corp. IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION
CN109544457A (zh) * 2018-12-04 2019-03-29 电子科技大学 基于致密链接神经网络的图像超分辨率方法、存储介质和终端
US20190139191A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing methods and image processing devices
CN110136067A (zh) * 2019-05-27 2019-08-16 商丘师范学院 一种针对超分辨率b超影像的实时影像生成方法
CN110427922A (zh) * 2019-09-03 2019-11-08 陈�峰 一种基于机器视觉和卷积神经网络病虫害识别***和方法
US20200019860A1 (en) * 2017-03-24 2020-01-16 Huawei Technologies Co., Ltd. Neural network data processing apparatus and method
WO2020109001A1 (fr) * 2018-11-29 2020-06-04 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procédé de super-résolution
CN111402131A (zh) * 2020-03-10 2020-07-10 北京师范大学 基于深度学习的超分辨率土地覆被分类图的获取方法
CN111402138A (zh) * 2020-03-24 2020-07-10 天津城建大学 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN111612799A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对不完整的网纹人脸修复方法、***及存储介质
CN111754400A (zh) * 2020-06-01 2020-10-09 杭州电子科技大学 一种高效的图片超分辨率重建方法
KR20200139500A (ko) * 2019-06-04 2020-12-14 국방과학연구소 음탐 그램에서 토널 주파수 분석을 위한 콘볼루션 뉴럴 네트워크 기반의 학습 및 추론 방법

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US20150116545A1 (en) * 2013-10-30 2015-04-30 Ilia Ovsiannikov Super-resolution in processing images such as from multi-layer sensors
CN106548449A (zh) * 2016-09-18 2017-03-29 北京市商汤科技开发有限公司 生成超分辨率深度图的方法、装置及***
US20180137603A1 (en) * 2016-11-07 2018-05-17 Umbo Cv Inc. Method and system for providing high resolution image through super-resolution reconstruction
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
US20200019860A1 (en) * 2017-03-24 2020-01-16 Huawei Technologies Co., Ltd. Neural network data processing apparatus and method
CN107194893A (zh) * 2017-05-22 2017-09-22 西安电子科技大学 基于卷积神经网络的深度图像超分辨方法
WO2019032304A1 (en) * 2017-08-07 2019-02-14 Standard Cognition Corp. IDENTIFICATION AND FOLLOW-UP OF THE SUBJECT USING IMAGE RECOGNITION
US20190139191A1 (en) * 2017-11-09 2019-05-09 Boe Technology Group Co., Ltd. Image processing methods and image processing devices
CN108492249A (zh) * 2018-02-08 2018-09-04 浙江大学 基于小卷积递归神经网络的单帧超分辨重建方法
WO2020109001A1 (fr) * 2018-11-29 2020-06-04 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procédé de super-résolution
CN109544457A (zh) * 2018-12-04 2019-03-29 电子科技大学 基于致密链接神经网络的图像超分辨率方法、存储介质和终端
CN110136067A (zh) * 2019-05-27 2019-08-16 商丘师范学院 一种针对超分辨率b超影像的实时影像生成方法
KR20200139500A (ko) * 2019-06-04 2020-12-14 국방과학연구소 음탐 그램에서 토널 주파수 분석을 위한 콘볼루션 뉴럴 네트워크 기반의 학습 및 추론 방법
CN110427922A (zh) * 2019-09-03 2019-11-08 陈�峰 一种基于机器视觉和卷积神经网络病虫害识别***和方法
CN111402131A (zh) * 2020-03-10 2020-07-10 北京师范大学 基于深度学习的超分辨率土地覆被分类图的获取方法
CN111402138A (zh) * 2020-03-24 2020-07-10 天津城建大学 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN111612799A (zh) * 2020-05-15 2020-09-01 中南大学 面向人脸数据对不完整的网纹人脸修复方法、***及存储介质
CN111754400A (zh) * 2020-06-01 2020-10-09 杭州电子科技大学 一种高效的图片超分辨率重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LIUPENG LIN 等: "《Polarimetric SAR Image Super-Resolution VIA Deep Convolutional Neural Network》", 《IGARSS 2019 - 2019 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
YONGWOO KIM 等: "《A Real-Time Convolutional Neural Network for Super-Resolution on FPGA With Applications to 4K UHD 60 fps Video Services》", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 》 *
卢建昀: "《基于Inception模型和超分辨率迁移学习的交通信号识别》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
秦兴 等: "《基于压缩卷积神经网络的图像超分辨率算法》", 《电子科技》 *
赵春林: "《战场目标毫米波辐射特性及无源成像超分辨算法研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
龙祥: "《基于深度学习的图像超分辨率重建技术研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284112A (zh) * 2021-05-27 2021-08-20 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及***
CN113284112B (zh) * 2021-05-27 2023-11-10 中国科学院国家空间科学中心 一种基于深度神经网络的熔滴图像轮廓提取方法及***
CN113409195A (zh) * 2021-07-06 2021-09-17 中国标准化研究院 基于改进的深度卷积神经网络的图像超分辨率重建方法
CN113610706A (zh) * 2021-07-19 2021-11-05 河南大学 基于卷积神经网络的模糊监控图像超分辨率重建方法
CN114469174A (zh) * 2021-12-17 2022-05-13 上海深至信息科技有限公司 一种基于超声扫查视频的动脉斑块识别方法及***

Also Published As

Publication number Publication date
CN112767252B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN112767252B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
Li et al. Luminance-aware pyramid network for low-light image enhancement
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN106683067A (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN109389556A (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN108259994B (zh) 一种提高视频空间分辨率的方法
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和***
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN108921786A (zh) 基于残差卷积神经网络的图像超分辨率重构方法
CN107464216A (zh) 一种基于多层卷积神经网络的医学图像超分辨率重构方法
CN109685716A (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN111242846A (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN111507462A (zh) 一种端对端的三维医学图像超分辨率重建方法及***
CN110490804A (zh) 一种基于生成对抗网络的生成超分辨图像的方法
CN110136067B (zh) 一种针对超分辨率b超影像的实时影像生成方法
CN112017116A (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN110349085A (zh) 一种基于生成对抗网络的单幅图像超分辨特征增强方法
CN108416736A (zh) 一种基于二次锚点邻域回归的图像超分辨率重建方法
CN113837946A (zh) 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法
Ai et al. Single image super-resolution via residual neuron attention networks
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220802