CN114926336A - 视频超分辨率重建方法、装置、计算机设备及存储介质 - Google Patents
视频超分辨率重建方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114926336A CN114926336A CN202210554865.7A CN202210554865A CN114926336A CN 114926336 A CN114926336 A CN 114926336A CN 202210554865 A CN202210554865 A CN 202210554865A CN 114926336 A CN114926336 A CN 114926336A
- Authority
- CN
- China
- Prior art keywords
- super
- video
- resolution
- noise reduction
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000009467 reduction Effects 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了视频超分辨率重建方法、装置、计算机设备及存储介质,该方法包括:获取待进行超分辨率重建的视频序列;采用轻量级残差降噪网络对所述视频序列进行降噪处理;将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。本发明基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络,对视频序列进行降噪处理,然后构建具有双向传播及光流对齐的视频超分辨网络,对降噪后的视频序列进行重建处理,从而提高视频超分辨率重建效果,并且采用轻量级残差降噪网络可以加快重建运行速度。
Description
技术领域
本发明涉及视频处理技术领域,特别涉及视频超分辨率重建方法、装置、计算机设备及存储介质。
背景技术
随着多媒体产品的流行程度越来越高,在视频采集、压缩、传输及保存的过程中会出现不同程度的失真,导致最终的视频质量比较差,因而需要用超分辨重建算法来获取更清晰的视频内容。与传统的视频超分辨率重建算法相比,基于深度学习的算法已成为更加主流的研究方法,在视频翻新、网络视频播放、智能安防、医疗影像等领域都有着广泛的应用。然而失真的视频中含有大量的噪声,现有的研究都直接对失真的视频进行超分辨率重建,将噪声的影响放大效果并不理想。
视频超分辨率是指将低分辨率的视频,增强转化为高分辨视频。其应用的范围非常的广泛,比如视频翻新、智能安防、医疗影像,还有比较流行的网络视频播放,即在低宽带的条件下传输低分辨率视频,再通过视频超分的算法在播放端还原成高分辨率的视频。
与图像的超分辨率重建相比,视频超分辨率重建带来了额外的挑战,需要考虑帧之间的连续性及处理速率的问题。当前大多视频超分辨率重建直接采用了图像超分辨率算法,仅使用当前帧的信息作为重建内容,从而导致最终重建效果不甚理想。
发明内容
本发明实施例提供了一种视频超分辨率重建方法、装置、计算机设备及存储介质,旨在提高视频超分辨率重建效果和运行速度。
第一方面,本发明实施例提供了一种视频超分辨率重建方法,包括:
获取待进行超分辨率重建的视频序列;
采用轻量级残差降噪网络对所述视频序列进行降噪处理;
将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
第二方面,本发明实施例提供了一种视频超分辨率重建装置,包括:
视频序列获取单元,用于获取待进行超分辨率重建的视频序列;
视频序列降噪单元,用于采用轻量级残差降噪网络对所述视频序列进行降噪处理;
超分辨率重建单元,用于将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的视频超分辨率重建方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的视频超分辨率重建方法。
本发明实施例提供了一种视频超分辨率重建方法、装置、计算机设备及存储介质,该方法包括:获取待进行超分辨率重建的视频序列;采用轻量级残差降噪网络对所述视频序列进行降噪处理;将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。本发明实施例基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络,对视频序列进行降噪处理,然后构建具有双向传播及光流对齐的视频超分辨网络,对降噪后的视频序列进行重建处理,从而提高视频超分辨率重建效果,并且采用轻量级残差降噪网络来加快重建运行速度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频超分辨率重建方法的流程示意图;
图2为本发明实施例提供的一种视频超分辨率重建方法的子流程示意图;
图3为本发明实施例提供的一种视频超分辨率重建装置的示意性框图;
图4为本发明实施例提供的一种视频超分辨率重建装置的子示意性框图;
图5为本发明实施例提供的一种视频超分辨率重建方法中轻量级残差降噪网络的网络结构示意图;
图6为本发明实施例提供的一种视频超分辨率重建方法的测试结果对比示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面请参见图1,图1为本发明实施例提供的一种视频超分辨率重建方法的流程示意图,具体包括:步骤S101~S103。
S101、获取待进行超分辨率重建的视频序列;
S102、采用轻量级残差降噪网络对所述视频序列进行降噪处理;
S103、将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
本实施例中,首先通过轻量级残差降噪网络对获取的视频序列进行降噪处理,然后利用视频超分辨率网络对降噪后得到的视频序列中的帧进行超分辨率重建,以得到对应的特征图。本实施例基于轻量级降噪网络的视频超分重建方法通过引入残差去噪网络,对视频序列进行降噪处理,然后构建具有双向传播及光流对齐的视频超分辨网络,对降噪后的视频序列进行重建处理,从而提高视频超分辨率重建效果,并且采用轻量级残差降噪网络来加快重建运行速度。
在一实施例中,所述步骤S102包括:
利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理;其中,所述第一降噪模块包括第一卷积和LeakyReLu激活函数层,所述第二降噪模块包括连续多层降噪层,且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积,所述第三降噪模块包括第三卷积层;所述第一卷积和第三卷积均为3*3*c*64卷积,所述第二卷积为3*3*64*64卷积,c为图片通道数;
式中,D(It)表示轻量级残差降噪网络D输出的残差,It表示视频序列中的第t帧。
由于噪声图片与原图片的残差非常小,而根据ResNet中的理论,当残差为0的时候,网络之间的映射相当于恒等映射,是一种非常容易训练的网络结构。现实噪声是非常小的一部分,即带噪声的图片与原图的残差非常小,因而残差学***滑降噪网络,将残差学习应用到视频降噪上。也就是说,通过所述轻量级残差降噪网络进行降噪处理,网络整体设计是端到端的网络输出,不同的是,本实施例的输入是当前帧,输出是残差图。带有噪声的图像经过一系列的卷积处理,最后生成一张只包含噪声的残差图。
由于是针对视频类的降噪,为了达到实时的效果,可以将网络的深度设定为20,以满足性能需求。在降噪的过程中,将卷积核大小设置为3*3,并且去掉池化层,轻量级残差降噪网络具体的网络结构如图5所示。
图5所示的网络结构包括三个部分,即所述的第一降噪模块、第二降噪模块和第三降噪模块,其中:
第一降噪模块:Conv(3*3*c*64)+LeakyReLu(c代表图片通道数),即第一卷积和LeakyReLu激活函数层;
第二降噪模块:Conv(3*3*64*64)+ReLu+Conv(3*3*64*64),即第二卷积、ReLu激活函数、第二卷积;
第三降噪模块:Conv(3*3*c*64),即第三卷积层。
将视频序列中的第t帧计做D(It),并用D表示轻量级残差降噪网络的过程,那么经过轻量级残差降噪网络D输出为残差D(It),降噪后的帧:
优化目标是残差图片与网络输出之间的MSE(均方误差)。这样的网络设计会在隐层中将真实的图片从原噪音图片中消除。同时为了使得降噪的强度变得可控,降噪的强度可以反复循环进行。
在一实施例中,如图2所示,所述步骤S103包括:步骤S201~S204。
S201、采用双向传播的方式对视频序列中的帧提取空间传播特征;
本步骤中,考虑到单向传播获取信息比较少,因此采用双向传播的方式来获取视频序列中的帧的更多的信息,从而提高最终的视频输出质量。
在一具体实施例中,所述步骤S201包括:
S202、基于光流对齐对所述空间传播特征进行对齐处理;
本步骤中,与图像超分辨率重建不同的是,视频需要考虑图像对齐问题,如果不对齐将难以收敛,导致最终效果比较差。因而与基于流的方法相似,本实施例将采用光流对齐方法,对提取的空间传播特征在特征空间上对齐。
在一具体实施例中,所述步骤S202包括:
S203、将对齐后的空间传播特征输入至残差模块,并由所述残差输出所述视频序列中的帧的中间变量;
本步骤中,通过残差模块对对齐的空间传播特征做进一步的调整。
在一具体实施例中,所述步骤S203包括:
式中,R{b,f}表示残差模块。
S204、基于像素重组对所述中间变量进行上采样处理,得到所述超分辨率重建特征图。
在一具体实施例中,所述步骤S204包括:
按照下式对所述中间变量进行上采样处理,得到超分辨率重建特征图的当前帧Ht:
本实施例中,考虑到远帧信息的重要性及单向传播获取信息比较少的缺点,故采取双向传播来充分利用视频序列中的信息,并使用光流的空间特征进行对齐。然后,将对齐的特征经过残差模块输出中间变量,最终基于像素重组,将低分辨率的特征图通过上采样得到高分辨率的特征图。
在一具体应用场景中,为了更好的模拟真实场景所带来的失真,本实施例从常用的视频网站收集视频数据,然后对其进行视频压缩构建训练数据集。同时,也在训练数据集里随机添加了模糊、噪声、尺寸变换及JPEG压缩等操作来获取低分辨率的带噪声视频。再将该训练数据集输入至本发明实施例所提供的视频超分辨率重建方法中进行训练学习。
最终的实验结果对比如图6所示。挑取了一组视频中的第1帧,第11帧,第21帧作为参考。图6中的第一行是原视频图,第二行是未进行降噪的结果图,第三行是降噪超分的结果图,即本发明实施例所提供的视频超分辨率重建方法的实验结果。从对比图可以看出,本发明实施例所提供的视频超分辨率重建方法的效果非常清晰自然,优于未降噪的结果。
同时,本发明实施例所提供的视频超分辨率重建方法是在大规模的数据集上训练所得,未作场景的区分。而针对不同的场景,则可以收集不同的数据集对本发明实施例所提供的视频超分辨率重建方法进行训练学习,以提高重建效果,从而达到适应多种处理场景的需求。
图3为本发明实施例提供的一种视频超分辨率重建装置300的示意性框图,该装置300包括:
视频序列获取单元301,用于获取待进行超分辨率重建的视频序列;
视频序列降噪单元302,用于采用轻量级残差降噪网络对所述视频序列进行降噪处理;
超分辨率重建单元303,用于将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
在一实施例中,所述视频序列降噪单元302包括:
残差降噪单元,用于利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理;其中,所述第一降噪模块包括第一卷积和LeakyReLu激活函数层,所述第二降噪模块包括连续多层降噪层,且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积,所述第三降噪模块包括第三卷积层;所述第一卷积和第三卷积均为3*3*c*64卷积,所述第二卷积为3*3*64*64卷积,c为图片通道数;
式中,D(It)表示轻量级残差降噪网络D输出的残差,It表示视频序列中的第t帧。
在一实施例中,如图4所示,所述超分辨率重建单元303包括:
双向传播单元401,用于采用双向传播的方式对视频序列中的帧提取空间传播特征;
光流对齐单元402,用于基于光流对齐对所述空间传播特征进行对齐处理;
变量输出单元403,用于将对齐后的空间传播特征输入至残差模块,并由所述残差输出所述视频序列中的帧的中间变量;
像素重组单元404,用于基于像素重组对所述中间变量进行上采样处理,得到所述超分辨率重建特征图。
在一实施例中,所述双向传播单元401包括:
在一实施例中,所述光流对齐单元402包括:
在一实施例中,所述变量输出单元403包括:
式中,R{b,f}表示残差模块。
在一实施例中,所述像素重组单元404包括:
采样处理单元,用于按照下式对所述中间变量进行上采样处理,得到超分辨率重建特征图的当前帧Ht:
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备,可以包括存储器和处理器,存储器中存有计算机程序,处理器调用存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种视频超分辨率重建方法,其特征在于,包括:
获取待进行超分辨率重建的视频序列;
采用轻量级残差降噪网络对所述视频序列进行降噪处理;
将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
2.根据权利要求1所述的视频超分辨率重建方法,其特征在于,所述采用轻量级残差降噪网络对所述视频序列进行降噪处理,包括:
利用所述轻量级残差降噪网络中的第一降噪模块、第二降噪模块和第三降噪模块依次对所述视频序列进行降噪处理;其中,所述第一降噪模块包括第一卷积和LeakyReLu激活函数层,所述第二降噪模块包括连续多层降噪层,且每一降噪层依次包括第二卷积、ReLu激活函数、第二卷积,所述第三降噪模块包括第三卷积层;所述第一卷积和第三卷积均为3*3*c*64卷积,所述第二卷积为3*3*64*64卷积,c为图片通道数;
式中,D(It)表示轻量级残差降噪网络D输出的残差,It表示视频序列中的第t帧。
3.根据权利要求1所述的视频超分辨率重建方法,其特征在于,所述将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图,包括:
采用双向传播的方式对视频序列中的帧提取空间传播特征;
基于光流对齐对所述空间传播特征进行对齐处理;
将对齐后的空间传播特征输入至残差模块,并由所述残差输出所述视频序列中的帧的中间变量;
基于像素重组对所述中间变量进行上采样处理,得到所述超分辨率重建特征图。
8.一种视频超分辨率重建装置,其特征在于,包括:
视频序列获取单元,用于获取待进行超分辨率重建的视频序列;
视频序列降噪单元,用于采用轻量级残差降噪网络对所述视频序列进行降噪处理;
超分辨率重建单元,用于将降噪处理后的视频序列输入至视频超分辨率网络中,并由所述视频超分辨率网络输出所述视频序列对应的超分辨率重建特征图。
9.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频超分辨率重建方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频超分辨率重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210554865.7A CN114926336A (zh) | 2022-05-20 | 2022-05-20 | 视频超分辨率重建方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210554865.7A CN114926336A (zh) | 2022-05-20 | 2022-05-20 | 视频超分辨率重建方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114926336A true CN114926336A (zh) | 2022-08-19 |
Family
ID=82810960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210554865.7A Pending CN114926336A (zh) | 2022-05-20 | 2022-05-20 | 视频超分辨率重建方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114926336A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861078A (zh) * | 2023-02-22 | 2023-03-28 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及*** |
CN117499558A (zh) * | 2023-11-02 | 2024-02-02 | 北京市燃气集团有限责任公司 | 一种视频图像优化处理方法及装置 |
CN118154430A (zh) * | 2024-05-10 | 2024-06-07 | 清华大学 | 时空角融合动态光场智能成像方法 |
-
2022
- 2022-05-20 CN CN202210554865.7A patent/CN114926336A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861078A (zh) * | 2023-02-22 | 2023-03-28 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及*** |
CN115861078B (zh) * | 2023-02-22 | 2023-05-12 | 成都索贝数码科技股份有限公司 | 基于双向时空递归传播神经网络的视频增强方法及*** |
CN117499558A (zh) * | 2023-11-02 | 2024-02-02 | 北京市燃气集团有限责任公司 | 一种视频图像优化处理方法及装置 |
CN118154430A (zh) * | 2024-05-10 | 2024-06-07 | 清华大学 | 时空角融合动态光场智能成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
CN110163827B (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及介质 | |
CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及*** | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN113139898B (zh) | 基于频域分析和深度学习的光场图像超分辨率重建方法 | |
CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN103167284B (zh) | 一种基于画面超分辨率的视频流传输方法及*** | |
CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及*** | |
CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
CN110610467B (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
CN113538287B (zh) | 视频增强网络训练方法、视频增强方法及相关装置 | |
CN114757828A (zh) | 基于Transformer的视频时空超分辨率方法 | |
CN105590296B (zh) | 一种基于双字典学习的单帧图像超分辨率复原方法 | |
Chen et al. | Image denoising via deep network based on edge enhancement | |
CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN116883265A (zh) | 一种基于增强特征融合机制的图像去模糊方法 | |
CN116668738A (zh) | 一种视频时空超分辨率重构方法、装置及存储介质 | |
CN116208812A (zh) | 一种基于立体事件和强度相机的视频插帧方法及*** | |
US11928855B2 (en) | Method, device, and computer program product for video processing | |
CN113542780B (zh) | 一种网络直播视频的压缩伪影去除方法及装置 | |
CN112016456B (zh) | 基于自适应反向投影深度学习的视频超分辨率方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |