CN113487481B - 基于信息构建和多密集残差块的循环视频超分辨率方法 - Google Patents

基于信息构建和多密集残差块的循环视频超分辨率方法 Download PDF

Info

Publication number
CN113487481B
CN113487481B CN202110746815.4A CN202110746815A CN113487481B CN 113487481 B CN113487481 B CN 113487481B CN 202110746815 A CN202110746815 A CN 202110746815A CN 113487481 B CN113487481 B CN 113487481B
Authority
CN
China
Prior art keywords
resolution
information
convolution
output
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110746815.4A
Other languages
English (en)
Other versions
CN113487481A (zh
Inventor
于明
王书韵
薛翠红
郭迎春
朱叶
于洋
师硕
阎刚
刘依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Tianjin University of Technology
Original Assignee
Hebei University of Technology
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology, Tianjin University of Technology filed Critical Hebei University of Technology
Priority to CN202110746815.4A priority Critical patent/CN113487481B/zh
Publication of CN113487481A publication Critical patent/CN113487481A/zh
Application granted granted Critical
Publication of CN113487481B publication Critical patent/CN113487481B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明为基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：对视频数据进行预处理，获得对应的低分辨率帧序列；构建信息构建模块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h0和初始的预输出信息o0；构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，得到超分辨率帧序列。可以胜任在线超分辨率任务。

Description

基于信息构建和多密集残差块的循环视频超分辨率方法
技术领域
本发明的技术方案涉及视频的超分辨率重建，具体地说是基于信息构建和多密集残差块的循环视频超分辨率方法。
背景技术
随着5G时代的到来，视频逐渐代替图像成为互联网传输的主流信息，越来越多的超高清视频数据正在悄无声息的改变着人们的生活。然而，对于应用厂商，如何将这些大量的高清视频快速、清晰的传递到用户的手中无疑成为了需要解决的问题。高质量视频往往经过压缩编码后在通道中传输，传输到终端后进行解码。但是这个过程是有损的，部分像素可能在编解码时发生丢失，抑或在传输过程中丢失，导致解码后的视频质量大大下降，影响用户体验。超分辨率技术是通过计算和填补缺失信息将低分辨率视频修复还原成高分辨率视频的一种方法，将解码后的视频经过超分辨率算法处理，可以提升视频的质量，从而缓解在编解码和传输过程中的质量损伤。
与单帧图像的超分辨率方法不同，视频数据是由连续帧组成的，如何充分利用时空信息是恢复视频细节的关键问题。传统的基于重建和学习的超分辨率方法对于超高清视频的修复效果并不理想，现有的单向循环神经网络的视频超分辨率方法在靠前帧的重建时由于无法获取到丰富的细节信息，使得它们对初始帧的重建效果极差，极大的影响超分辨率的效果和用户体验度。双向循环神经网络的方法无法及时的输出重建完毕的视频帧，在视频传输等应用领域受到了极大的限制。如CN111587447A公开了一种帧循环视频超分辨率方法，该方法通过利用显示的运动估计和光流方法对当前待处理的帧进行扭曲和运动补偿来挖掘时间信息然后进行递归和迭代，从而实现超分辨率重建，该方法的缺点是：这种显示的运动补偿方法很依赖运动估计所计算出的光流的精度，一旦光流的计算出现偏差，则会导致严重的伪影和失真问题，从而严重的影响超分辨率的结果。CN109102462A公开了一种基于深度学习的视频超分辨率重建方法，该方法先使用双向循环网络进行前后向特征提取，再使用深度3D反向投影对时空信息进行整合。该方法的缺点是：双向循环网络需要先对所有视频帧进行计算才能进一步输入到下一个模块，这使其在视频超分辨率任务中不能做到在线处理，在对时空信息进行整合时使用大量的3D卷积会使计算复杂度大大增加，加重计算负担，并且这样先提取再整合的分离式的方法无法复用所生成特征信息，使得计算效率大大降低，特别是在当处理较高分辨率或较多帧的视频时，不仅时间长，还对内存要求高。CN111260560A公开了一种融合注意力机制的多帧视频超分辨率方法，该方法连接3D卷积特征对齐模块和变形卷积特征对齐模块一起作为隐式对齐模块，再使用多个加入空间及通道注意力机制的残差块进行特征重建。该方法的缺点是：首先，3D卷积特征对齐模块和变形卷积特征对齐模块均为用时超高的模块，会使计算参数量大大提升，大大延长了超分辨率时间，严重影响超分辨率过程的效率。其次，该方法在使用残差块进行特征重建时，残差块生成的局部特征不能有效的反复利用，浪费了计算资源，添加的注意力机制利用在特征重建上影响甚微，反而会增加计算负担。
发明内容
针对现有技术的不足，本发明所要解决的技术问题是：提供基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得靠前的循环神经网络有足够的信息去重建靠前帧，克服了单向循环神经网络方法在靠前帧的重建效果不佳的缺陷，相比双向循环神经网络减小了内存占用和计算开销，并且可以胜任在线超分辨率任务；利用多密集残差块提取和整合深层次信息的特征，并在循环神经网络中以隐藏状态的方式进行传播，克服了现有技术对时空信息整合不足的缺陷。
本发明解决该技术问题所采用的技术方案是：基于信息构建和多密集残差块的循环视频超分辨率方法，该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：
对视频数据进行预处理，获得对应的低分辨率帧序列
Figure BDA0003144575400000021
构建信息构建模块：所述信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h0和初始的预输出信息o0；
特征提取与通道注意力的过程是：首先将低分辨率帧序列ILR中的前m(1≤m≤n)帧每一帧都经过卷积处理进行特征提取，得到浅层特征
Figure BDA0003144575400000022
然后将浅层特征在通道维度上叠加，输入进一个通道注意力模块SE，获得的浅层特征筛选集合K；
快速信息架构调整块具体结构为：将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取，输出深层信息特征，残差块由两个卷积和一个跳层连接组成；
结构模拟块的具体操作为：将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理，得到初始的隐藏信息，同时，将输出的深层信息特征经过另一个卷积层进行特征降维，然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息；
构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，经过t次循环得到第t个序数的循环神经网络的输出ht、ot和超分辨率图像
Figure BDA0003144575400000023
若此时t<n，则进行第t+1个序数的循环神经网络的运行，若此时t＝n，则表示所有n帧的超分辨率计算完成，得到超分辨率帧序列
Figure BDA0003144575400000024
具体步骤如下：
第一步，对视频数据进行预处理：
利用random函数和自定义的阈值对视频数据进行旋转或翻转，对旋转或翻转后的视频数据进行抽帧得到视频帧序列V＝(v1,…,vn)，其中，n为视频的总帧数，v1,vn分别为V的第一帧和最后一帧；对所有视频帧进行平均剪裁处理，使其宽和高都统一到256*256像素值，得到视频帧序列V所对应的高分辨率帧序列
Figure BDA0003144575400000025
然后对得到的高分辨率帧序列IHR进行方差σ＝1.6，模糊半径为3的高斯模糊处理和采样倍数为r的下采样处理，得到对应的低分辨率帧序列
Figure BDA0003144575400000031
第二步，使用部分低分辨率帧序列进行信息构建：
特征提取与通道注意力的过程是：首先将第一步获取的初始n帧低分辨率帧序列ILR中的前m(1≤m≤n,本实施例中m取7)帧每一帧都经过卷积处理进行特征提取，得到浅层特征
Figure BDA0003144575400000032
然后将浅层特征在通道维度上叠加，输入进一个通道注意力模块(SE)，SE的运行过程分为压缩和激发两个步骤：压缩通过在已给特征图(浅层特征
Figure BDA0003144575400000033
)上执行全局平均池化，得到当前特征图的全局压缩特征量，激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值，将特征图和权值进行加权输出浅层特征筛选集合K；如下公式(2)所示：
Figure BDA0003144575400000034
公式(2)中，[,]表示通道维度的叠加操作，SE(·)为通道注意力操作；
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征，并将其通过结构模拟块进行输出信息的构建，输出初始的隐藏信息(h0)和初始的预输出信息(o0)，其中：
快速信息架构调整块操作的具体过程为：将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取，输出深层信息特征，残差块由两个卷积和一个跳层连接组成。
结构模拟块的具体操作是：将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理，得到初始的隐藏信息，同时，将输出的深层信息特征经过另一个卷积层进行特征降维，然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息；
h0采用公式(3)表示：
h0＝ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示：
Figure BDA0003144575400000035
公式(3)和(4)中，Hspc(·)为亚像素卷积操作，FIA(·)为快速信息架构调整块，+表示同通道的像素相加，Hus(·)为r倍的双线性上采样操作，也可采取其他上采样方法，Conv为卷积操作，公式(3)和公式(4)中的卷积操作的卷积核大小相同，二者卷积参数不同，ReLU为激活函数操作，
Figure BDA0003144575400000036
为低分辨率帧序列ILR中的首帧；
第三步，多密集残差块的循环神经网络内的浅层特征提取：
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的，故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标，并且，不同序数所对应的循环神经网络的参数是共享的，t从1顺序遍历到n，1≤t≤n；在第t个序数的循环神经网络中，将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的
Figure BDA0003144575400000037
和
Figure BDA0003144575400000038
与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联，在t＝1时，令ht-1，ot-1和
Figure BDA0003144575400000039
分别初始化为第二步计算出的h0，o0和第一步中低分辨率帧序列ILR中的
Figure BDA00031445754000000310
将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块，获取浅层特征Ft，具体过程为公式(5)：
Figure BDA0003144575400000041
公式(5)中，Ft为浅层特征，Down(·)为下采样，[·,·]为通道维度上的串联，Hsfe(·)为浅层特征提取模块，目的是进行特征提取，包含一个卷积层、一个非线性激活函数ReLU层和一个下采样操作，输出ot-1经过下采样操作处理后和ht-1、
Figure BDA0003144575400000042
一起输入卷积层，最后经非线性激活函数ReLU层输出获得浅层特征Ft；
第四步，通过多密集残差块进行深度细节信息的提取和整合：
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合，每个多密集残差块包含p个密集残差块(RDB)，依次串联(本实验中使用的密集残差块的数量为8-12个)，其中每个密集残差块的具体操作为：首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中，然后将二维卷积输出的特征输入进ReLU激活函数进行激活，得到中间特征
Figure BDA0003144575400000043
然后将中间特征
Figure BDA0003144575400000044
和浅层特征Ft在通道维度进行串联，输入到与上述相同的卷积和激活函数结构中，得到中间特征
Figure BDA0003144575400000045
以此类推将中间特征
Figure BDA0003144575400000046
和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构，然后得到中间特征
Figure BDA0003144575400000047
将中间特征
Figure BDA0003144575400000048
和浅层特征Ft在通道维度进行串联,输入到特征整合层中，得到特征整合映射，将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出
Figure BDA0003144575400000049
具体过程参见公式(6)：
Figure BDA00031445754000000410
公式(6)中，Hff(·)为特征整合层，由一个1×1的二维卷积神经网络组成，它只对通道进行约束；
将
Figure BDA00031445754000000411
输入第二个密集残差块，得到第二个密集残差块的输出
Figure BDA00031445754000000412
以此类推，得到多密集残差块的最终输出为
Figure BDA00031445754000000413
具体过程参见公式(7)：
Figure BDA00031445754000000414
公式(7)中，RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块；
第五步，隐藏状态ht的获取：
将上述第四步得到的多密集残差块的输出
Figure BDA00031445754000000415
输入到隐藏状态生成模块，得到第t个序数的循环神经网络的隐藏状态输出，参见公式(8)：
Figure BDA00031445754000000416
公式(8)中的Hhg(·)为隐藏状态生成模块，由一个3×3的二维卷积神经网络和一个ReLU激活函数组成，此卷积的目的是输出隐藏状态；
第六步，通过SR重建模块获得最终的超分辨率图像：
同时将上述第四步得到的多密集残差块的输出
Figure BDA00031445754000000417
输入到SR重建模块得到最终的超分辨率图像，其过程为：多密集残差块的输出
Figure BDA00031445754000000418
先经过一个卷积层进行通道特征降维和融合，然后将其馈入到亚像素卷积层，亚像素卷积层对所有的像素进行重排，从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像，在这里，H和W的值均为64，r为采样倍数，c为颜色通道数；将超分辨率残差图像与经过r倍上采样处理的低分辨率LR图像
Figure BDA00031445754000000419
相加得到最终的输出结果ot，即获得重建后的超分辨率图像
Figure BDA0003144575400000051
具体过程参见公式(9)：
Figure BDA0003144575400000052
公式(9)中的卷积层采用卷积核大小为3×3的卷积，Hspc(·)为亚像素卷积操作，Hus(·)为r倍的双线性上采样操作；
至此，得到第t个序数的循环神经网络的输出ht、ot和超分辨率图像
Figure BDA0003144575400000053
若此时t<n，则返回至第三步进行第t+1个序数的循环神经网络的运行，若此时t＝n，则表示所有n帧的超分辨率计算完成，得到超分辨率帧序列
Figure BDA0003144575400000054
第七步，计算对于输入视频帧的损失：
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧，经第三步到第六步的循环获得后续的超分辨率帧序列，为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异，训练时采用L1损失函数，
Figure BDA0003144575400000055
公式(10)中的L为计算出的L1损失函数的值；
第八步，将超分辨率的图像结果组合成视频：
根据原有视频帧率，将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频，完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
所述采样倍数r为4，颜色通道数c为3；m＝5～7，n＝8～12。
与现有技术相比，本发明的有益效果是：
本发明突出的实质性特点如下：
(1)本发明方法提出了一个新颖的模块，称作信息构建模块。它可以通过对前几帧信息的提取去重建靠前帧，从而不需要对所有帧都做反向循环，大大减少了计算复杂度和时间开销，同时还能加强靠前帧的重建效果。此外，它还是一个可迁移的组件，可以应用在任何的单向循环神经网络中，去提升它们的重建效果。大量的实验表明，本发明所提出的基于信息构建和多密集残差块的循环视频超分辨率方法在重建效果上超越了当前所有的模型，验证了该模块的有效性。
(2)本发明方法提出了一个改进的循环神经网络。将多密集残差块嵌入到循环神经网络中，由于能够把多密集残差块提取到深度细节信息以隐式的方式在帧间传播，大大提高了视频超分辨率的准确性，由于深度细节信息实在高维度的特征下进行传播，在一定程度上也减少了伪影的产生。用多密集残差块实现了深层特征提取和融合的实时进行，实现特征够复用，能够保持较高的信噪比，在Vid4基准测试集的峰值信噪比达到28dB以上。
本发明的显著进步是：
(1)本发明方法与CN111587447A方法相比，本发明采取利用改进的循环神经网络来进行高维度隐式运动状态的传播。本发明具有的突出的实质性特点和显著进步是不需要计算光流以及显示的运动估计和运动补偿，超分辨率的效果和精度比光流的方法更好，并且速度更快。
(2)本发明方法与CN109102462A方法相比，本发明采取利用多密集残差块来提取和整合细节信息。本发明具有的突出的实质性特点和显著进步是不需要大量的3D卷积块去整合和提取时空信息，而是使用基于多密集残差块的方法来提取和整合细节信息，计算复杂度大大降低，并且本发明的方法采用改进的单循环神经网络，是一个端到端的方法，且内存占有率低。
(3)本发明方法与CN 111260560 A方法相比，本发明采取利用循环神经网络来进行帧间信息整合。本发明具有的突出的实质性特点和显著进步是不需要大量的3D卷积和可变形卷积来进行隐式的对齐，而是使用单向循环神经网络来传递和整合帧间信息，大大降低了时间复杂度和空间复杂度。并且在特征提取与重建时使用模块为密集残差块，相比残差块，对特征的重用会让超分辨率的效果更好，效率更佳。
(4)本发明采取利用密集残差块来提取和融合细节信息，对于隐藏层的特征图可以充分的利用，特征的复用提高了生成特征的使用价值，从而可以更好的去修复深度细节信息，特别是在遇到视频中有较大运动范围的物体时，也不会出现恼人的伪影，超分辨率效果较好。相比RLSP，可以避免梯度消失的问题，同时超分辨率的精度大大提高。此外，RLSP由于没有对靠前帧信息进行额外的处理，导致靠前帧的重建效果不佳，本发明采取使用信息构建模块对靠前帧的细节信息信和结构信息进行充分的提取，大大提升了靠前帧的重建效果，
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明基于信息构建和多密集残差块的循环视频超分辨率方法流程示意框图。
图2为本发明中的基于信息构建和多密集残差块的循环视频超分辨率方法的结构示意图。
图3为本发明中的信息构建模块结构示意图。
图4为本发明中多密集残差块的循环神经网络结构示意图。
图5为本发明中多密集残差块中的一个密集残差块的结构示意图。
具体实施方式
图1所示实施例表明,本发明基于信息构建和多密集残差块的循环视频超分辨率方法的流程如下:
获得视频→对视频数据进行预处理→使用部分低分辨率帧序列进行信息构建→多密集残差循环神经网络内的浅层特征提取→通过多密集残差块进行深度细节信息的提取和整合→隐藏状态的获取→通过SR重建模块获得最终的超分辨率图像→计算对于输入视频帧的损失→将超分辨率的图像结果组合成视频→完成基于多密集残差块的循环视频超分辨率方法。
图2所示实施例显示基于信息构建和多密集残差块的循环视频超分辨率方法，其中隐藏状态道数为128，隐藏层输出通道数为48，输入帧和输出帧的通道数均为3，m为输入帧数，初始化设置为7。
图3所示实施例显示信息构建模块结构示意图，其中m为输入帧数，设置为7，快速信息架构调整块中的多残差块中使用串联的5个残差块，K为浅层特征筛选集合。信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块，输入的1～m帧通过特征提取与通道注意、快速信息架构调整和结构模拟输出初始循环神经网络所需要的输入隐藏状态。
图4所示实施例显示多密集残差块的循环神经网络结构示意图，即为图2中的多密集残差块的循环神经网络构架，Ft为浅层特征，
Figure BDA0003144575400000071
为多密集残差块的最终输出。
图5所示实施例为本发明中密集残差块的结构示意图，其中，
Figure BDA0003144575400000072
Ft的通道大小均为128，为了保证本发明的时间效率，
Figure BDA0003144575400000073
的通道数量均取为32。除了第一个卷积的其他所有卷积，均为通道串联加卷积的操作。
实施例1
本实施例基于信息构建和多密集残差块的循环视频超分辨率方法如下：
第一步，对视频数据进行预处理：
利用random函数和自定义的阈值对视频数据进行旋转或翻转，对旋转或翻转后的视频数据进行抽帧得到视频帧序列V＝(v1,…,vn)，其中，n为视频的总帧数，v1,vn分别为V的第一帧和最后一帧；对所有视频帧进行平均剪裁处理，使其宽和高都统一到256*256像素值，得到视频帧序列V所对应的高分辨率帧序列
Figure BDA0003144575400000074
然后对得到的高分辨率帧序列IHR进行方差σ＝1.6，模糊半径为3的高斯模糊处理和采样倍数为4的下采样处理，得到对应的低分辨率帧序列
Figure BDA0003144575400000075
如下公式(1)所示：
ILR＝BlurDown(AverageCrop(V)) (1)
公式(1)中，BlurDown(·)为高斯模糊下采样，AverageCrop(·)为平均剪裁；
第二步，使用部分低分辨率帧序列进行信息构建：
特征提取与通道注意力的过程是：首先将第一步获取的初始n帧低分辨率帧序列ILR中的前m(1≤m≤n,本实施例中m取7)帧每一帧都经过卷积处理进行特征提取，得到浅层特征
Figure BDA0003144575400000076
然后将浅层特征在通道维度上叠加，输入进一个通道注意力模块(SE)，SE的运行过程分为压缩和激发两个步骤：压缩通过在已给特征图(浅层特征
Figure BDA0003144575400000077
)上执行全局平均池化，得到当前特征图的全局压缩特征量，激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值，将特征图和权值进行加权输出浅层特征筛选集合K，如下公式(2)所示：
Figure BDA0003144575400000078
公式(2)中，[,]表示通道维度的叠加操作，SE(·)为通道注意力操作；
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征，并将其通过结构模拟块进行输出信息的构建，输出初始的隐藏信息(h0)和初始的预输出信息(o0)，其中：
快速信息架构调整块操作的具体过程为：将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取，输出深层信息特征，残差块由两个卷积和一个跳层连接组成。
结构模拟块的具体操作是：将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理，得到初始的隐藏信息，同时，将输出的深层信息特征经过另一个卷积层进行特征降维，然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息；
h0采用公式(3)表示：
h0＝ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示：
Figure BDA0003144575400000081
公式(3)和(4)中，Hspc(·)为亚像素卷积操作，FIA(·)为快速信息架构调整块，+表示同通道的像素相加，Hus(·)为r倍的双线性上采样操作，也可采取其他上采样方法，Conv为卷积操作，公式(3)和公式(4)中的卷积操作的卷积核大小相同，二者卷积参数不同，ReLU为激活函数操作，
Figure BDA0003144575400000082
为低分辨率帧序列ILR中的首帧；
第三步，多密集残差块的循环神经网络内的浅层特征提取：
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的，故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标，并且，不同序数所对应的循环神经网络的参数是共享的，t从1顺序遍历到n，1≤t≤n；在第t个序数的循环神经网络中，将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的
Figure BDA0003144575400000083
和
Figure BDA0003144575400000084
与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联，在t＝1时，令ht-1，ot-1和
Figure BDA0003144575400000085
分别初始化为第二步计算出的h0，o0和第一步中低分辨率帧序列ILR中的
Figure BDA0003144575400000086
即初始时令
Figure BDA0003144575400000087
将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块，获取浅层特征Ft，具体过程为公式(5)：
Figure BDA0003144575400000088
公式(5)中，Ft为浅层特征，Down(·)为下采样，[·,·]为通道维度上的串联，Hsfe(·)为浅层特征提取模块，目的是进行特征提取，包含一个卷积层、一个非线性激活函数ReLU层和一个下采样操作，输出ot-1经过下采样操作处理后和ht-1、
Figure BDA0003144575400000089
一起输入卷积层，最后经非线性激活函数ReLU层输出获得浅层特征Ft；
第四步，通过多密集残差块进行深度细节信息的提取和整合：
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合，每个多密集残差块包含p个密集残差块(RDB)，依次串联，其中每个密集残差块的具体操作为：首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中，然后将二维卷积输出的特征输入进ReLU激活函数进行激活，得到中间特征
Figure BDA00031445754000000810
然后将中间特征
Figure BDA00031445754000000811
和浅层特征Ft在通道维度进行串联，输入到与上述相同的卷积和激活函数结构中，得到中间特征
Figure BDA00031445754000000812
以此类推将中间特征
Figure BDA00031445754000000813
和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构，然后得到中间特征
Figure BDA00031445754000000814
将中间特征
Figure BDA00031445754000000815
和浅层特征Ft在通道维度进行串联,输入到特征整合层中，得到特征整合映射，将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出
Figure BDA00031445754000000816
具体过程参见公式(6)：
Figure BDA00031445754000000817
公式(6)中，Hff(·)为特征整合层，由一个1×1的二维卷积神经网络组成，它只对通道进行约束；
将
Figure BDA00031445754000000818
输入第二个密集残差块，得到第二个密集残差块的输出
Figure BDA00031445754000000819
以此类推，得到多密集残差块的最终输出为
Figure BDA00031445754000000820
具体过程参见公式(7)：
Figure BDA0003144575400000091
公式(7)中，RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块；本实施例中共设置10个密集残差块，即p＝10。
第五步，隐藏状态ht的获取：
将上述第四步得到的多密集残差块的输出
Figure BDA0003144575400000092
输入到隐藏状态生成模块，得到第t个序数的循环神经网络的隐藏状态输出，参见公式(8)：
Figure BDA0003144575400000093
公式(8)中的Hhg(·)为隐藏状态生成模块，由一个3×3的二维卷积神经网络和一个ReLU激活函数组成，此卷积的目的是输出隐藏状态；
第六步，通过SR重建模块获得最终的超分辨率图像：
同时将上述第四步得到的多密集残差块的输出
Figure BDA0003144575400000094
输入到SR重建模块得到最终的超分辨率图像，其过程为：多密集残差块的输出
Figure BDA0003144575400000095
先经过一个卷积层进行通道特征降维和融合，然后将其馈入到亚像素卷积层，亚像素卷积层对所有的像素进行重排，从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像，在这里，H和W的值均为64，r为采样倍数，c为颜色通道数；将超分辨率残差图像与经过4倍上采样处理的低分辨率LR图像
Figure BDA0003144575400000096
相加得到最终的输出结果ot，即获得重建后的超分辨率图像
Figure BDA0003144575400000097
具体过程参见公式(9)：
Figure BDA0003144575400000098
公式(9)中的卷积层采用卷积核大小为3×3的卷积，Hspc(·)为亚像素卷积操作，Hus(·)为r倍的双线性上采样操作；
至此，得到第t个序数的循环神经网络的输出ht、ot和超分辨率图像
Figure BDA0003144575400000099
若此时t<n，则返回至第三步进行第t+1个序数的循环神经网络的运行，若此时t＝n，则表示所有n帧的超分辨率计算完成，得到超分辨率帧序列
Figure BDA00031445754000000910
第七步，计算对于输入视频帧的损失：
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧，经第三步到第六步的循环获得后续的超分辨率帧序列，为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异，训练时采用L1损失函数，
Figure BDA00031445754000000911
公式(10)中的L为计算出的L1损失函数的值；
第八步，将超分辨率的图像结果组合成视频：
根据原有视频帧率，将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频，完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
上述一种基于信息构建和多密集残差块的循环视频超分辨率方法，其中的密集残差块英文缩写为RDB，全称为Residual Dense Block，通道注意力英文缩写为SE，全称为Squeeze and Excitation，线性整流函数英文缩写为ReLU，全称为Rectified LinearUnit，BlurDown下采样均为本技术领域所公知的。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于信息构建和多密集残差块的循环视频超分辨率方法，其特征在于：该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充，使得序数靠前的循环神经网络有足够的信息去重建靠前帧，同时利用多密集残差块提取代表深层次信息的特征，在循环神经网络中以隐藏状态的方式进行传播；包括以下内容：
对视频数据进行预处理，获得对应的低分辨率帧序列
Figure FDA0003470599210000011
构建信息构建模块：所述信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块，输入为前m帧低分辨率帧序列，输出为初始的隐藏信息h0和初始的预输出信息o0；
特征提取与通道注意力的过程是：首先将低分辨率帧序列ILR中的前m帧每一帧都经过卷积处理进行特征提取，1≤m≤n，得到浅层特征
Figure FDA0003470599210000012
然后将浅层特征在通道维度上叠加，输入进一个通道注意力模块SE，获得的浅层特征筛选集合K；
快速信息架构调整块具体结构为：将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取，输出深层信息特征，残差块由两个卷积和一个跳层连接组成；
结构模拟块的具体操作为：将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理，得到初始的隐藏信息，同时，将输出的深层信息特征经过另一个卷积层进行特征降维，然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息；
构建多密集残差块的循环神经网络，将信息构建模块的两个输出输入到多密集残差块的循环神经网络中，经过t次循环得到第t个序数的循环神经网络的输出ht和ot、超分辨率图像
Figure FDA0003470599210000013
若此时t<n，则进行第t+1个序数的循环神经网络的运行，若此时t＝n，则表示所有n帧的超分辨率计算完成，得到超分辨率帧序列
Figure FDA0003470599210000014
2.根据权利要求1所述的基于信息构建和多密集残差块的循环视频超分辨率方法，其特征在于，所述通道注意力模块SE的运行过程分为压缩和激发两个步骤：压缩通过在已给浅层特征
Figure FDA0003470599210000015
上执行全局平均池化，得到当前特征图的全局压缩特征量，激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值，将特征图和权值进行加权输出浅层特征筛选集合K，用公式(2)表示：
Figure FDA0003470599210000016
公式(2)中，[,]表示通道维度的叠加操作，SE(·)为通道注意力操作。
3.根据权利要求1所述的基于信息构建和多密集残差块的循环视频超分辨率方法，其特征在于，所述多密集残差块的循环神经网络中包括浅层特征提取模块、多密集残差块、隐藏状态生成模块和SR重建模块，
所述多密集残差块用来对浅层特征提取模块的浅层输出Ft进行深度细节信息提取和整合，每个多密集残差块包含p个密集残差块，p为不小于2的整数，其中每个密集残差块的具体操作为：首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中，然后将二维卷积输出的特征输入进ReLU激活函数进行激活，得到中间特征
Figure FDA0003470599210000021
卷积核为3×3的二维卷积神经网络和ReLU激活函数构成卷积和激活函数结构；然后将中间特征
Figure FDA0003470599210000022
和浅层特征Ft在通道维度进行串联，输入到与上述相同的卷积和激活函数结构中，得到中间特征
Figure FDA0003470599210000023
以此类推将中间特征
Figure FDA0003470599210000024
和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构，然后得到中间特征
Figure FDA0003470599210000025
将中间特征
Figure FDA0003470599210000026
和浅层特征Ft在通道维度进行串联,输入到特征整合层中，得到特征整合映射，将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出
Figure FDA0003470599210000027
将
Figure FDA0003470599210000028
作为第二个密集残差块的输入，按照上述操作通过第二个密集残差块，得到第二个密集残差块的输出
Figure FDA0003470599210000029
以此类推，得到多密集残差块的最终输出为
Figure FDA00034705992100000210
将多密集残差块的最终输出为
Figure FDA00034705992100000211
输入到隐藏状态生成模块，得到第t个序数的循环神经网络的隐藏状态输出ht，同时将多密集残差块的最终输出
Figure FDA00034705992100000212
输入到SR重建模块得到最终的超分辨率图像
Figure FDA00034705992100000213
所述特征整合层由一个1×1的二维卷积神经网络构成；所述隐藏状态生成模块由一个3×3的二维卷积神经网络和一个ReLU激活函数组成。
4.一种基于信息构建和多密集残差块的循环视频超分辨率方法，该方法的步骤是：
第一步，对视频数据进行预处理：
利用random函数和自定义的阈值对视频数据进行旋转或翻转，对旋转或翻转后的视频数据进行抽帧得到视频帧序列V＝(v1,…,vn)，其中，n为视频的总帧数，v1,vn分别为V的第一帧和最后一帧；对所有视频帧进行平均剪裁处理，使其宽和高都统一到256*256像素值，得到视频帧序列V所对应的高分辨率帧序列
Figure FDA00034705992100000214
然后对得到的高分辨率帧序列IHR进行方差σ＝1.6，模糊半径为3的高斯模糊处理和采样倍数为r的下采样处理，得到对应的低分辨率帧序列
Figure FDA00034705992100000215
第二步，使用部分低分辨率帧序列进行信息构建：
特征提取与通道注意力的过程是：首先将第一步获取的初始n帧低分辨率帧序列ILR中的前m帧每一帧都经过卷积处理进行特征提取，1≤m≤n，得到浅层特征
Figure FDA00034705992100000216
然后将浅层特征在通道维度上叠加，输入进一个通道注意力模块SE，SE的运行过程分为压缩和激发两个步骤：压缩通过在已给特征图，即浅层特征
Figure FDA00034705992100000217
上执行全局平均池化，得到当前特征图的全局压缩特征量，激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值，将特征图和权值进行加权输出浅层特征筛选集合K；
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征，并将其通过结构模拟块进行输出信息的构建，输出初始的隐藏信息h0和初始的预输出信息o0，其中：
快速信息架构调整块操作的具体过程为：将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取，输出深层信息特征，残差块由两个卷积和一个跳层连接组成；
结构模拟块的具体操作是：将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理，得到初始的隐藏信息，同时，将输出的深层信息特征经过另一个卷积层进行特征降维，然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息；
h0采用公式(3)表示：
h0＝ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示：
Figure FDA0003470599210000031
公式(3)和(4)中，Hspc(·)为亚像素卷积操作，FIA(·)为快速信息架构调整块，+表示同通道的像素相加，Hus(·)为r倍的双线性上采样操作，Conv为卷积操作，公式(3)和公式(4)中的卷积操作的卷积核大小相同，二者卷积参数不同，ReLU为激活函数操作，
Figure FDA0003470599210000032
为低分辨率帧序列ILR中的首帧；
第三步，多密集残差块的循环神经网络内的浅层特征提取：
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的，故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标，并且，不同序数所对应的循环神经网络的参数是共享的，t从1顺序遍历到n，1≤t≤n；在第t个序数的循环神经网络中，将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的
Figure FDA0003470599210000033
和
Figure FDA0003470599210000034
与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联，在t＝1时，令ht-1、ot-1和
Figure FDA0003470599210000035
分别初始化为第二步计算出的h0、o0和第一步中低分辨率帧序列ILR中的
Figure FDA0003470599210000036
将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块，获取浅层特征Ft，具体过程为公式(5)：
Figure FDA0003470599210000037
公式(5)中，Ft为浅层特征，Down(·)为下采样，[·,·]为通道维度上的串联，Hsfe(·)为浅层特征提取模块，目的是进行特征提取，包含一个卷积层和一个非线性激活函数ReLU层、下采样，输出ot-1经过下采样处理后和ht-1、
Figure FDA0003470599210000038
一起输入卷积层，最后经非线性激活函数ReLU层输出获得浅层特征Ft；
第四步，通过多密集残差块进行深度细节信息的提取和整合：
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合，每个多密集残差块包含p个密集残差块，依次串联，其中每个密集残差块的具体操作为：首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中，然后将二维卷积输出的特征输入进ReLU激活函数进行激活，得到中间特征
Figure FDA0003470599210000039
然后将中间特征
Figure FDA00034705992100000310
和浅层特征Ft在通道维度进行串联，输入到与上述相同的卷积和激活函数结构中，得到中间特征
Figure FDA00034705992100000311
以此类推将中间特征
Figure FDA00034705992100000312
和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构，然后得到中间特征
Figure FDA00034705992100000313
将中间特征
Figure FDA00034705992100000314
和浅层特征Ft在通道维度进行串联,输入到特征整合层中，得到特征整合映射，将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出
Figure FDA0003470599210000041
具体过程参见公式(6)：
Figure FDA0003470599210000042
公式(6)中，Hff(·)为特征整合层，由一个1×1的二维卷积神经网络组成；
将
Figure FDA0003470599210000043
输入第二个密集残差块，得到第二个密集残差块的输出
Figure FDA0003470599210000044
以此类推，得到多密集残差块的最终输出为
Figure FDA0003470599210000045
具体过程参见公式(7)：
Figure FDA0003470599210000046
公式(7)中，RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块；
第五步，隐藏状态ht的获取：
将上述第四步得到的多密集残差块的输出
Figure FDA0003470599210000047
输入到隐藏状态生成模块，得到第t个序数的循环神经网络的隐藏状态输出，参见公式(8)：
Figure FDA0003470599210000048
公式(8)中的Hhg(·)为隐藏状态生成模块，由一个3×3的二维卷积神经网络和一个ReLU激活函数组成，此卷积的目的是输出隐藏状态；
第六步，通过SR重建模块获得最终的超分辨率图像：
同时将上述第四步得到的多密集残差块的输出
Figure FDA0003470599210000049
输入到SR重建模块得到最终的超分辨率图像，其过程为：多密集残差块的输出
Figure FDA00034705992100000410
先经过一个卷积层进行通道特征降维和融合，然后将其馈入到亚像素卷积层，亚像素卷积层对所有的像素进行重排，从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像，在这里，H和W的值均为64，r为采样倍数，c为颜色通道数；将超分辨率残差图像与经过r倍上采样处理的低分辨率LR图像
Figure FDA00034705992100000411
相加得到最终的输出结果ot，即获得重建后的超分辨率图像
Figure FDA00034705992100000412
具体过程参见公式(9)：
Figure FDA00034705992100000413
公式(9)中的卷积层采用卷积核大小为3×3的卷积，Hspc(·)为亚像素卷积操作，Hus(·)为r倍的双线性上采样操作；
至此，得到第t个序数的循环神经网络的输出ht和ot、超分辨率图像
Figure FDA00034705992100000414
若此时t<n，则返回至第三步进行第t+1个序数的循环神经网络的运行，若此时t＝n，则表示所有n帧的超分辨率计算完成，得到超分辨率帧序列
Figure FDA00034705992100000415
第七步，计算对于输入视频帧的损失：
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧，经第三步到第六步的循环获得后续的超分辨率帧序列，为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异，训练时采用L1损失函数，
Figure FDA00034705992100000416
公式(10)中的L为计算出的L1损失函数的值；
第八步，将超分辨率的图像结果组合成视频：
根据原有视频帧率，将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频，完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
5.根据权利要求4所述的基于信息构建和多密集残差块的循环视频超分辨率方法，其特征在于，所述采样倍数为4，颜色通道数c为3；m＝5～7，n＝8～12；密集残差块的数量为8-12个。
CN202110746815.4A 2021-07-02 2021-07-02 基于信息构建和多密集残差块的循环视频超分辨率方法 Expired - Fee Related CN113487481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746815.4A CN113487481B (zh) 2021-07-02 2021-07-02 基于信息构建和多密集残差块的循环视频超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746815.4A CN113487481B (zh) 2021-07-02 2021-07-02 基于信息构建和多密集残差块的循环视频超分辨率方法

Publications (2)

Publication Number Publication Date
CN113487481A CN113487481A (zh) 2021-10-08
CN113487481B true CN113487481B (zh) 2022-04-12

Family

ID=77940004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746815.4A Expired - Fee Related CN113487481B (zh) 2021-07-02 2021-07-02 基于信息构建和多密集残差块的循环视频超分辨率方法

Country Status (1)

Country Link
CN (1) CN113487481B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173646A (zh) * 2023-08-17 2023-12-05 金陵科技学院 高速公路障碍物检测方法、***、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934771A (zh) * 2019-03-08 2019-06-25 北京航空航天大学 基于循环神经网络的无监督遥感图像超分辨率重建方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111260560A (zh) * 2020-02-18 2020-06-09 中山大学 一种融合注意力机制的多帧视频超分辨率方法
WO2020212973A1 (en) * 2019-04-18 2020-10-22 Orca Ai Ltd. Marine data collection for marine artificial intelligence systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180054A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
US20200162789A1 (en) * 2018-11-19 2020-05-21 Zhan Ma Method And Apparatus Of Collaborative Video Processing Through Learned Resolution Scaling
KR20210019835A (ko) * 2019-08-13 2021-02-23 한국전자통신연구원 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111445390B (zh) * 2020-02-28 2022-03-25 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111583112A (zh) * 2020-04-29 2020-08-25 华南理工大学 视频超分辨率的方法、***、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934771A (zh) * 2019-03-08 2019-06-25 北京航空航天大学 基于循环神经网络的无监督遥感图像超分辨率重建方法
WO2020212973A1 (en) * 2019-04-18 2020-10-22 Orca Ai Ltd. Marine data collection for marine artificial intelligence systems
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111028150A (zh) * 2019-11-28 2020-04-17 武汉大学 一种快速时空残差注意力视频超分辨率重建方法
CN111260560A (zh) * 2020-02-18 2020-06-09 中山大学 一种融合注意力机制的多帧视频超分辨率方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Video Super-Resolution via Bidirectional;Yan Huang,et al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20180430;正文第1015-1028页 *
图像超分辨率重建研究综述;唐艳秋 等;《电子学报》;20200731;正文第1407-1420页 *
基于深度学习的视频超分辨率算法研究;李定一;《中国博士学位论文全文数据库》;20190815;I138-47 *

Also Published As

Publication number Publication date
CN113487481A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN110969577B (zh) 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN106683067B (zh) 一种基于残差子图像的深度学习超分辨率重建方法
CN111179167B (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
CN112348766B (zh) 一种用于监控视频增强的渐进式特征流深度融合网络
US20190206026A1 (en) Frame-Recurrent Video Super-Resolution
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN107240066A (zh) 基于浅层和深层卷积神经网络的图像超分辨率重建算法
CN108805808A (zh) 一种利用卷积神经网络提高视频分辨率的方法
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN111681166A (zh) 一种堆叠注意力机制编解码单元的图像超分辨率重建方法
CN110062232A (zh) 一种基于超分辨率的视频压缩方法及***
CN113409190B (zh) 一种基于多帧分组与反馈网络的视频超分辨率方法
CN110751597A (zh) 基于编码损伤修复的视频超分辨方法
WO2023185284A1 (zh) 视频处理方法和装置
CN114692765A (zh) 视频时空超分模型构建方法、装置、设备及可读存储介质
CN111667406B (zh) 一种基于时域相关性的视频图像超分辨率重建方法
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN113487481B (zh) 基于信息构建和多密集残差块的循环视频超分辨率方法
CN116167920A (zh) 一种基于超分辨率和先验知识的图像压缩与重建方法
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
CN110047038B (zh) 一种基于层级递进网络的单图像超分辨重建方法
CN112991169B (zh) 基于图像金字塔和生成对抗网络的图像压缩方法及***
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220412