CN115861078B - 基于双向时空递归传播神经网络的视频增强方法及*** - Google Patents
基于双向时空递归传播神经网络的视频增强方法及*** Download PDFInfo
- Publication number
- CN115861078B CN115861078B CN202310145957.4A CN202310145957A CN115861078B CN 115861078 B CN115861078 B CN 115861078B CN 202310145957 A CN202310145957 A CN 202310145957A CN 115861078 B CN115861078 B CN 115861078B
- Authority
- CN
- China
- Prior art keywords
- layer
- propagation
- feature extraction
- convolution
- bidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及视频数据增强技术领域，公开了基于双向时空递归传播神经网络的视频增强方法及***，该视频增强方法，构建双向时空递归传播神经网络，再将收集的待增强视频制作为数据集，通过双向时空递归传播神经网络对该数据集进行训练，得到训练后的针对视频超分的双向时空递归传播神经网络。本发明解决了现有技术存在的难以兼顾实时性、视频增强提升、分辨率提升的问题。
Description
技术领域
本发明涉及视频数据增强技术领域，具体是基于双向时空递归传播神经网络的视频增强方法及***。
背景技术
超分辨率技术，是一种从低分辨率图像恢复高分辨率图像，提高图像的质量，从而获得更加清晰的视频和图片的技术。随着深度学习的蓬勃发展，视频和图片的超分辨率技术也取得了很多的大突破。
然而，现在的一些基于神经网络的超分辨率算法，他们的所采用的神经网络，有一些是基于当前超分辨率技术的学术社区上所公开专门用于超分辨率数据集上训练的，这导致这些算法在真实的应用场景或者是一些特定的应用场景上对于视频或者图片的分辨率提升的效果并不突出，还有一些基于神经网络的超分辨率算法在上述的公开数据集和真实的应用场景的视频或者图片的图像分辨率提升和图像增强的效果都很好，但是这些算法的时间开销大，实时性很差。
为了更好的提高针对于特定视频类型的视频增强和分辨率提升的效果，以及提高视频超分模型的实时性，就需要一种能够满足上述条件的超分辨率方法。
发明内容
为克服现有技术的不足，本发明提供了基于双向时空递归传播神经网络的视频增强方法及***，解决现有技术存在的难以兼顾实时性、视频增强提升、分辨率提升的问题。
本发明解决上述问题所采用的技术方案是：
基于双向时空递归传播神经网络的视频增强方法，构建双向时空递归传播神经网络，再将收集的待增强视频制作为数据集，通过双向时空递归传播神经网络对该数据集进行训练，得到训练后的针对视频超分的双向时空递归传播神经网络。
作为一种优选的技术方案，包括以下步骤：
S1，光流计算及特征提取：对输入的视频帧进行帧间对齐以及特征提取；
具体包括以下步骤：
S1A，光流计算：对输入的视频帧进行帧间对齐，然后进入步骤S2；
S1B，特征提取：对输入的视频帧进行特征提取，然后进入步骤S2；
S2，双向递归传播：将经过光流计算的视频帧以及经过特征提取的视频帧输入双向时空递归传播神经网络进行处理，然后进入步骤S3；
S3，上采样：对通过主干网络的输出数据进行上采样，然后将经过上采样后的数据与输入的视频帧聚合，得到超分后的视频帧。
作为一种优选的技术方案，步骤S2包括以下步骤：
S21，将经过光流计算的视频帧依次进行第一反向传播、第一正向传播、第二反向传播、第二正向传播处理；以及，将经过特征提取的视频帧依次进行第一反向传播、第一正向传播、第二反向传播、第二正向传播处理；
S22，将经过光流计算的视频帧依次进行第二反向传播、第二正向传播处理；以及，将经过特征提取的视频帧依次进行第二反向传播、第二正向传播处理。
作为一种优选的技术方案，待增强视频为广电标清视频或广电高清视频。
基于双向时空递归传播神经网络的视频增强***，用于实现所述的基于双向时空递归传播神经网络的视频增强方法，包括以下模块：
光流计算模块：用以，对输入的视频帧进行帧间对齐，然后输入至双向递归传播模块；
特征提取模块：用以，对输入的视频帧进行特征提取，然后输入至双向递归传播模块；
双向递归传播模块：用以，将经过光流计算的视频帧以及经过特征提取的视频帧输入双向时空递归传播神经网络进行处理，然后输入至上采样模块；
上采样模块：用以，对通过主干网络的输出数据进行上采样，然后将经过上采样后的数据与输入的视频帧聚合，得到超分后的视频帧。
作为一种优选的技术方案，所述特征提取模块包括第一特征提取层、第二特征提取层，第一特征提取层、第二特征提取层、双向递归传播模块按视频帧传输方向依次连接，第一特征提取层用以接收输入的视频帧，第一特征提取层还直接与双向递归传播模块连接。
作为一种优选的技术方案，所述第一特征提取层包括依次相连的以下层：一个卷积层、一个LeakyReLU层、5个残差块，所述第二特征提取层；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，每个残差块包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；所述第二特征提取层包括依次相连的以下层：一个卷积层、一个LeakyReLU层；其中，一个卷积层的卷积核大小为3*3、输入通道数和输出通道数均为32、步长为2。
作为一种优选的技术方案，所述双向递归传播模块包括依次连接的第一反向传播层、第一正向传播层、第二反向传播层、第二正向传播层，第一反向传播层与光流计算模块、第二特征提取层分别连接，第二反向传播层与光流计算模块、第一特征提取层分别连接，第二正向传播层与上采样模块连接。
作为一种优选的技术方案，第一反向传播层、第二反向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，每个残差块包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为64，第二反向传播层的卷积层的输入通道数为128；第一正向传播层、第二正向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为96，第二反向传播层的卷积层的输入通道数为160。
作为一种优选的技术方案，所述上采样模块包括依次连接的第一上采样卷积层、第一PixelShuffle层、第二上采样卷积层、第二PixelShuffle层；其中，第一上采样卷积层的卷积核大小为3*3、输入通道数为32、输出通道数是128，第一上采样卷积层的卷积核大小为3*3、输入通道数为32、输出通道数是12。
本发明相比于现有技术，具有以下有益效果：
（1）本发明解决了针对广电高清标清素材的视频的超分算法效果差的问题，通过本发明提出的深度学习神经网络对于广电高清标清素材的针对性训练，解决了大部分视频超分算法对于这种业务场景的超分效果不好的问题；
（2）本发明通过对网络的特殊设计，不但提高了超分的效果，同时还提高了算法的实时性，大大降低了算法的时间开销，使得该算法在真实的业务场景当中表现更加优异。
附图说明
图1为本发明所述的基于双向时空递归传播神经网络的视频增强***的结构示意图；
图2为本发明所述的基于双向时空递归传播神经网络的视频增强***中的上采样层的结构示意图；
图3为本发明所述的基于双向时空递归传播神经网络的视频增强***中的残差块的结构示意图；
图4为采用本发明所述的基于双向时空递归传播神经网络的视频增强方法的流程示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
实施例1
如图1至图4所示，本发明的重点是其神经网络结构，基于双向时空递归传播神经网络的视频增强***的主要结构如图1所示，包括以下模块：
光流计算模块：用以，对输入的视频帧进行帧间对齐，然后输入至双向递归传播模块；
特征提取模块：用以，对输入的视频帧进行特征提取，然后输入至双向递归传播模块；
双向递归传播模块：用以，将经过光流计算的视频帧以及经过特征提取的视频帧输入双向时空递归传播神经网络进行处理，然后输入至上采样模块；
上采样模块：用以，对通过主干网络的输出数据进行上采样，然后将经过上采样后的数据与输入的视频帧聚合，得到超分后的视频帧。
使用时具体步骤如下:
一．光流的计算:本发明的网络的输入为待超分的低分辨视频，经过***的推理后得到提高该视频的分辨率，从而到达超分的效果。为了更有效地利用该视频的相邻帧之间的信息，本发明采用了基于光流的办法来进行帧间对齐，首先用一个计算光流的光流模块，对输入的视频计算出光流结果，最后计算出一次前向传播的光流和一次反向传播光流，和它们下采样两倍的光流，总共四个输出。
二．输入的特征提取:其次，对输入的视频帧进行一次reshape操作，将原本五维的输入整形为四维，再对该四维张量进行特征提取。用带残差连接的特征提取层对输入进行特征提取，该层由一个输出通道数为32、卷积核大小为3*3的卷积层，一个LeakyReLU层和五个残差块构成，每个残差块由俩个输入输出通道数都为32、卷积核为3*3的卷积层、一个Relu层组成。同时用一个由输入输出通道数都为32、步长为2的卷积层和一个LeakyReLU层组成的能够下采样两倍的特征提取层，提取下采样两倍后的特征。
三．主干网络的设计:主干网络采取双向递归传播神经网络。本发明采用包涵前向传播和反向传播的两次递归传播的网络来构成本发明的主干网络。
分别构建了四个网络来完成这两次递归传播，四个网络都由由一个输出通道数为32、卷积核大小为3*3的卷积层，一个LeakyReLU层和由20层与特征提取层相同的残差块组成，不同的是第一次反向传播网络的第一层卷积的输入的通道数为64，第一层正向传播网络的第一层卷积的输入的通道数为96，第二层反向传播网络的第一层卷积的输入的通道数为128，第二层正向传播网络的第一层卷积的输入的通道数为160。
第一次传播（包括正向传播网络和反向传播网络）的输入为由第二步提取的下采样两倍的特征和第一步提取的前向传播和反向传播的下采样两倍的光流。
第二次传播网络（包括正向传播网络和反向传播网络）的输入为第二步的提取的特征和第一步提取的光流，以及上一步第一次传播输出的第一次正向传播输出和第一次反向传播输出。
四．上采样层：本发明将最开始进入***的输入和通过主干网络的输出作为上采样层的输入。按照时序依次对主干网络的输出进行两次卷积和上采样操作，第一次卷积的输出通道数是128，从卷积输出后通过PixelShuffle进行一次上采样，第二次卷积的输出通道数是12，从卷积输出后再通过PixelShuffle进行一次上采样，两次卷积的输入通道数都为32，最后完成上采样操作。然后再将该输出与最开始进入***的输入聚合，从而完成上采样层网络输出的上采样。最后直接将结果输出，得到视频超分后的一组视频帧。
本发明使用基于广电标清高清素材所构建的数据集来对本发明的双向时空递归网络进行训练，获取针对广电标清高清素材的预训练网络权重，再在推理阶段对本发明的***加载预训练网络权重，使用待超分的低分辨率视频作为的网络的输入，最后通过网络的推理来获得最后的视频超分结果，提高视频的分辨率，增强视频的质量。
如图1至图4所示，图1展示了本发明的***的结构，图2展示了本发明的***的结构中的上采样层结构图，图2展示了本发明的***的结构中的残差块结构图，图4展示了本发明的实现流程。
对一个视频进行超分，其详细的步骤如下:
如图1至图4所示，本发明的时空双向递归传播网络结构为：独立的光流计算模块、属于时空双向递归传播网络的特征提取模块（包括不进行下采样的特征提取模块和下采样两倍的特征提取模块）、时空双向递归传播网络的主干网络（两次正向传播和反向传播的递归网络）和上采样网络。对于光流计算模块，现有的一些超分算法通过将视频拆为独立的图片，对图片分别进行超分操作以增强图像质量，但是由于这种操作会造成超分后的视频失真，使得增强的效果不好，于是本发明使用了光流法来进行运动估计，获取视频中相邻帧之间的关系，来提高本发明算法的超分效果。主干网络（两次正向传播和反向传播的递归网络）的设计使得本发明能通过正向传播和反向传播更好地对视频的时序信息进行利用，更能提高***对视频的增强效果。
如图4所示，本发明的实现流程为，将待超分的低分辨率视频作为本发明中的网络的输入，放进本发明的***当中，该***需要加载预训练的权重，首先通过光流计算模块对输入计算光流，以方便网络推理的后续阶段使用，其次通过特征提取网络对输入提取特征，然后将获取的特征和光流共同输入主干网络，通过主干网络对网络进行修复与增强，最后将主干网络的输出放入上采样网络当中，通过上采样网络输出后以得到最后的超分结果。
由于本发明的时空双向递归传播网络是一种端到端的网络，在对某一个低分辨的视频进行提高分辨率和视频增强的时候，可以直接将待超分的视频直接输入***，最后***获取的视频输出就是本发明的超分结果。由于对本发明的***进行了减少网络参数量等提高推理速度的设计，本发明的实时性有了很大的提高，更能满足真实的业务场景对于实时性的需求。
本发明具有以下特点：
1）本发明解决了针对广电高清标清素材的视频的超分算法效果差的问题，通过本发明提出的深度学习神经网络对于广电高清标清素材的针对性训练，解决了大部分视频超分算法对于这种业务场景的超分效果不好的问题；
2）本发明通过对网络的特殊设计，不但提高了超分的效果，同时还提高了算法的实时性，大大降低了算法的时间开销，使得该算法在真实的业务场景当中表现更加优异。
如上所述，可较好地实现本发明。
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。
Claims (6)
1.基于双向时空递归传播神经网络的视频增强方法，其特征在于，构建双向时空递归传播神经网络，再将收集的待增强视频制作为数据集，通过双向时空递归传播神经网络对该数据集进行训练，得到训练后的针对视频超分的双向时空递归传播神经网络；
包括以下步骤：
S1，光流计算及特征提取：对输入的视频帧进行帧间对齐以及特征提取；
具体包括以下步骤：
S1A，光流计算：对输入的视频帧进行帧间对齐，然后进入步骤S2；
S1B，特征提取：对输入的视频帧进行特征提取，然后进入步骤S2；
S2，双向递归传播：将经过光流计算的视频帧以及经过特征提取的视频帧输入双向时空递归传播神经网络进行处理，然后进入步骤S3；
S3，上采样：对通过主干网络的输出数据进行上采样，然后将经过上采样后的数据与输入的视频帧聚合，得到超分后的视频帧；
S1A采用光流计算模块实现，步骤S1B采用特征提取模块实现，步骤S2采用双向递归传播模块实现，步骤S3采用上采样模块实现；
所述特征提取模块包括第一特征提取层、第二特征提取层，第一特征提取层、第二特征提取层、双向递归传播模块按视频帧传输方向依次连接，第一特征提取层用以接收输入的视频帧，第一特征提取层还直接与双向递归传播模块连接；
所述双向递归传播模块包括依次连接的第一反向传播层、第一正向传播层、第二反向传播层、第二正向传播层，第一反向传播层与光流计算模块、第二特征提取层分别连接，第二反向传播层与光流计算模块、第一特征提取层分别连接，第二正向传播层与上采样模块连接；
第一反向传播层、第二反向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，每个残差块包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为64，第二反向传播层的卷积层的输入通道数为128；第一正向传播层、第二正向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为96，第二反向传播层的卷积层的输入通道数为160。
2.根据权利要求1所述的基于双向时空递归传播神经网络的视频增强方法，其特征在于，步骤S2包括以下步骤：
S21，将经过光流计算的视频帧依次进行第一反向传播、第一正向传播、第二反向传播、第二正向传播处理；以及，将经过特征提取的视频帧依次进行第一反向传播、第一正向传播、第二反向传播、第二正向传播处理；
S22，将经过光流计算的视频帧依次进行第二反向传播、第二正向传播处理；以及，将经过特征提取的视频帧依次进行第二反向传播、第二正向传播处理。
3.根据权利要求1或2所述的基于双向时空递归传播神经网络的视频增强方法，其特征在于，待增强视频为广电标清视频或广电高清视频。
4.基于双向时空递归传播神经网络的视频增强***，其特征在于，用于实现权利要求1至3任一项所述的基于双向时空递归传播神经网络的视频增强方法，包括以下模块：
光流计算模块：用以，对输入的视频帧进行帧间对齐，然后输入至双向递归传播模块；
特征提取模块：用以，对输入的视频帧进行特征提取，然后输入至双向递归传播模块；
双向递归传播模块：用以，将经过光流计算的视频帧以及经过特征提取的视频帧输入双向时空递归传播神经网络进行处理，然后输入至上采样模块；
上采样模块：用以，对通过主干网络的输出数据进行上采样，然后将经过上采样后的数据与输入的视频帧聚合，得到超分后的视频帧；
所述特征提取模块包括第一特征提取层、第二特征提取层，第一特征提取层、第二特征提取层、双向递归传播模块按视频帧传输方向依次连接，第一特征提取层用以接收输入的视频帧，第一特征提取层还直接与双向递归传播模块连接；
所述双向递归传播模块包括依次连接的第一反向传播层、第一正向传播层、第二反向传播层、第二正向传播层，第一反向传播层与光流计算模块、第二特征提取层分别连接，第二反向传播层与光流计算模块、第一特征提取层分别连接，第二正向传播层与上采样模块连接；
第一反向传播层、第二反向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，每个残差块包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为64，第二反向传播层的卷积层的输入通道数为128；第一正向传播层、第二正向传播层均包括依次连接的一个卷积层、一个LeakyReLU层和20个残差块；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；第一反向传播层的卷积层的输入通道数为96，第二反向传播层的卷积层的输入通道数为160。
5.根据权利要求4所述的基于双向时空递归传播神经网络的视频增强***，其特征在于，所述第一特征提取层包括依次相连的以下层：一个卷积层、一个LeakyReLU层、5个残差块，所述第二特征提取层；其中，一个卷积层的卷积核大小为3*3、输出通道数为32，每个残差块包括依次相连的第一残差卷积层、第二残差卷积层、Relu层，第一残差卷积层、第二残差卷积层的输入通道数和输出通道数均为32；所述第二特征提取层包括依次相连的以下层：一个卷积层、一个LeakyReLU层；其中，一个卷积层的卷积核大小为3*3、输入通道数和输出通道数均为32、步长为2。
6.根据权利要求5所述的基于双向时空递归传播神经网络的视频增强***，其特征在于，所述上采样模块包括依次连接的第一上采样卷积层、第一PixelShuffle层、第二上采样卷积层、第二PixelShuffle层；其中，第一上采样卷积层的卷积核大小为3*3、输入通道数为32、输出通道数是128，第一上采样卷积层的卷积核大小为3*3、输入通道数为32、输出通道数是12。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310145957.4A CN115861078B (zh) | 2023-02-22 | 2023-02-22 | 基于双向时空递归传播神经网络的视频增强方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310145957.4A CN115861078B (zh) | 2023-02-22 | 2023-02-22 | 基于双向时空递归传播神经网络的视频增强方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115861078A CN115861078A (zh) | 2023-03-28 |
| CN115861078B true CN115861078B (zh) | 2023-05-12 |
Family
ID=85658622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310145957.4A Active CN115861078B (zh) | 2023-02-22 | 2023-02-22 | 基于双向时空递归传播神经网络的视频增强方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861078B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8279341B1 (en) * | 2007-02-26 | 2012-10-02 | MotionDSP, Inc. | Enhancing the resolution and quality of sequential digital images |
| CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
| CN112712537A (zh) * | 2020-12-21 | 2021-04-27 | 深圳大学 | 视频时空超分辨率实现方法及装置 |
| CN114494023A (zh) * | 2022-04-06 | 2022-05-13 | 电子科技大学 | 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 |
| CN114710673A (zh) * | 2022-04-06 | 2022-07-05 | 北京广播电视台 | 一种针对suvc编解码的图像上采样方法 |
| CN114926336A (zh) * | 2022-05-20 | 2022-08-19 | 深圳软牛科技有限公司 | 视频超分辨率重建方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090060035A1 (en) * | 2007-08-28 | 2009-03-05 | Freescale Semiconductor, Inc. | Temporal scalability for low delay scalable video coding |
-
2023
- 2023-02-22 CN CN202310145957.4A patent/CN115861078B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8279341B1 (en) * | 2007-02-26 | 2012-10-02 | MotionDSP, Inc. | Enhancing the resolution and quality of sequential digital images |
| CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
| CN112712537A (zh) * | 2020-12-21 | 2021-04-27 | 深圳大学 | 视频时空超分辨率实现方法及装置 |
| CN114494023A (zh) * | 2022-04-06 | 2022-05-13 | 电子科技大学 | 一种基于运动补偿与稀疏增强的视频超分辨率实现方法 |
| CN114710673A (zh) * | 2022-04-06 | 2022-07-05 | 北京广播电视台 | 一种针对suvc编解码的图像上采样方法 |
| CN114926336A (zh) * | 2022-05-20 | 2022-08-19 | 深圳软牛科技有限公司 | 视频超分辨率重建方法、装置、计算机设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Temporal Modulation Network for Controllable Space-Time Video Super-Resolution;Gang Xu等;《arxiv.org/abs/2104.10642》;第1-20页第1-6节 * |
| Video Super-Resolution Transformer;Jiezhang Cao等;《arxiv.org/abs/2106.06847》;第1-21页第1-6节 * |
| 基于多尺度特征残差学习卷积神经网络的视频超分辨率方法;林琦;陈婧;曾焕强;朱建清;蔡灿辉;;信号处理(第01期);第54-61页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115861078A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111311490B (zh) | 基于多帧融合光流的视频超分辨率重建方法 | |
| CN110120011B (zh) | 一种基于卷积神经网络和混合分辨率的视频超分辨方法 | |
| CN108765296B (zh) | 一种基于递归残差注意力网络的图像超分辨率重建方法 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
| CN110889895B (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| US11995796B2 (en) | Method of reconstruction of super-resolution of video frame | |
| CN110751597B (zh) | 基于编码损伤修复的视频超分辨方法 | |
| CN112750094B (zh) | 一种视频处理方法及*** | |
| CN112991183A (zh) | 一种基于多帧注意力机制渐进式融合的视频超分辨率方法 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN113066022B (zh) | 一种基于高效时空信息融合的视频比特增强方法 | |
| CN111711817B (zh) | 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法 | |
| CN108989731B (zh) | 一种提高视频空间分辨率的方法 | |
| CN111031315B (zh) | 基于注意力机制和时间依赖性的压缩视频质量增强方法 | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN111860363A (zh) | 一种视频图像的处理方法及装置、电子设备、存储介质 | |
| CN113747242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115330631A (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
| CN112862675A (zh) | 时空超分辨率的视频增强方法和*** | |
| CN115861078B (zh) | 基于双向时空递归传播神经网络的视频增强方法及*** | |
| CN113362239A (zh) | 一种基于特征交互的深度学习图像修复方法 | |
| CN111932459A (zh) | 视频图像的处理方法及装置、电子设备、存储介质 | |
| CN116668738A (zh) | 一种视频时空超分辨率重构方法、装置及存储介质 | |
| CN115546030A (zh) | 基于孪生超分辨率网络的压缩视频超分辨率方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |