CN114092339A - 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 - Google Patents

基于跨帧自注意力变换网络的时空视频超分辨率重建方法 Download PDF

Info

Publication number
CN114092339A
CN114092339A CN202210076937.1A CN202210076937A CN114092339A CN 114092339 A CN114092339 A CN 114092339A CN 202210076937 A CN202210076937 A CN 202210076937A CN 114092339 A CN114092339 A CN 114092339A
Authority
CN
China
Prior art keywords
frame
cross
self
resolution
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210076937.1A
Other languages
English (en)
Other versions
CN114092339B (zh
Inventor
隋修宝
张文辉
周明亮
纪程
周逸成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210076937.1A priority Critical patent/CN114092339B/zh
Publication of CN114092339A publication Critical patent/CN114092339A/zh
Application granted granted Critical
Publication of CN114092339B publication Critical patent/CN114092339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,包括以下步骤:采集连续图片序列,将其进行双三次插值降采样,并删除偶数帧,构成训练集;构建基于跨帧自注意力变换的时空视频超分辨率重建网络;利用训练集对基于跨帧自注意力变换网络进行训练;将低分辨率低帧率的连续图片序列输入所述训练完成的基于跨帧自注意力变换网络,获得高帧率高分辨率的连续图片序列。本发明能够通过一个端对端的神经网络同时实现空间和时间尺度的超分辨率,有效提高了对时空特征信息的利用,能够产生高帧率高分辨率的视频超分辨率重建效果。

Description

基于跨帧自注意力变换网络的时空视频超分辨率重建方法
技术领域
本发明涉及计算机视觉技术领域,更具体的说是涉及一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法。
背景技术
超分辨率重建技术的目的是将低分辨率的图片重建成高分辨率的图片,是计算机视觉领域一个重要分支,该技术广泛应用于安防监控、医疗成像、视频转播、遥感等领域。视频超分辨率重建技术旨在通过提取当前帧和相邻帧的信息来对当前帧进行超分辨率重建。相较于单帧超分辨率重建技术,视频超分辨率重建技术在处理图像序列时的重建效果更为理想。
随着深度学习技术的发展,基于深度学习的视频超分辨率重建技术相较于传统方法往往能获得更深的特征信息。而这些信息具有时间和空间上的关联性,因此,通过端对端的网络实现时空视频超分辨率重建成为了可能。目前的时空超分辨率重建技术往往采用的是两阶段方式,即首先通过超分辨率重建技术对空间尺度进行超分重建,再通过插帧方式对之前的超分结果进行插帧实现时间尺度的超分辨率重建。这种两阶段的时空超分辨率重建方式都需要使用大量的计算资源,不利于现实中的应用场景。而且根据目前的算法发展,性能较好的算法多采用深度学习框架,而两阶段的时空超分辨重建方法往往需要对图片序列进行两次特征提取,这种操作造成了现有计算资源的浪费,而且会导致前后两种方法的特征语义不一致导致重建结果在某些场景出现一定模糊。
发明内容
本发明的目的在于提供一种于跨帧自注意力变换网络的时空视频超分辨率重建方法,采用端对端的时空视频超分辨率重建方法同时提高原视频序列的时间和空间分辨率。
实现本发明的技术解决方案为:一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,包括以下步骤:
S1、采集连续图片序列作为原始图片序列,对其进行双三次插值降采样,并删除降采样后的序列的偶数帧,得到处理后的图片序列,处理后的图片序列与原始图片序列共同构成训练集。
S2、构建基于跨帧自注意力变换时空视频超分辨率重建网络,并对其进行训练,得到训练完成的基于跨帧自注意力变换网络,具体如下:
S21、采用3×3的二维卷积核分别对训练集中的每帧图片进行浅层特征提取,获得对应的浅层特征图F t c ,其中c代表经过二维卷积核处理后所得的特征图的通道数,t代表目前处理的帧序号。
S22、假设F t c F t c +2为相邻的两帧浅层特征图,对F t c F t c +2做可变形卷积操作,分 别得到它们对应的偏置变量
Figure 215853DEST_PATH_IMAGE001
Figure 660741DEST_PATH_IMAGE002
,设置可训练参数αβ,获得中间帧浅层特征 图F t c +1
S23、分别将浅层特征图F t c F t c +1F t c +2碎片化,并附着时序编码,对应得到处理后相邻三帧浅层特征图F t c F t c +1F t c +2的编码特征图VQK,利用跨帧自注意力变换网络相邻编码特征图QK做自相关处理,得到最大似然矩阵T。并以最大似然矩阵T为索引,在编码特征图V中搜索,搜索过程中采用不同的相关步长,对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3。
S24、将当前帧对应的浅层特征图F t c +1通过残差块进行深层特征提取,并结合最大 似然矩阵
Figure 653974DEST_PATH_IMAGE003
和不同尺度的相似矩阵由粗到细地重建出当前帧图片。
S25、更新卷积和权重,重复S21-S24直至收敛,得到训练完成的基于跨帧自注意力变换网络。
S3、利用训练好的基于跨帧自注意力变换网络对低分辨率低帧率的连续图片序列进行处理,获得高帧率高分辨率的连续图片序列。
本发明与现有技术相比,其显著优点在于:
(1)本发明公开提供了一种基于跨帧自注意力变换网络的时空视频超分辨率方法,该方法能够通过一个端对端的神经网络同时实现空间和时间尺度的超分辨率,有效提高了对时空特征信息的利用,能够产生高帧率高质量的视频重建效果。
(2)引入了深度跨帧自注意力机制,对相邻帧的特征图进行了相关性的计算,搜索到了对当前帧特征图重建的最优相邻帧特征图区域;利用多尺度重建模块,能有效利用深度跨帧自注意力机制所搜索到的对当前帧特征图重建的最优相邻帧特征图区域,由粗到细地生成当前帧图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图作简单地介绍,显而易见地,下面描述的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明基于跨帧自注意力变换网络的时空视频超分辨率重建方法的流程图。
图2为本发明基于跨帧自注意力变换时空视频超分辨率重建网络的构建训练流程图。
图3为本发明提供的基于跨帧自注意力变换网络的时空视频超分辨率重建方法的框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面将结合本设计实例对具体实施方式、以及本次发明的技术难点、发明点进行进一步介绍。
结合图1、图2和图3,本发明公开了一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,包括以下步骤:
S1、采集连续图片序列作为原始图片序列,对其进行双三次插值降采样,并删除降采样后的序列的偶数帧,得到处理后的图片序列,处理后的图片序列与原始图片序列共同构成训练集。
为了进一步实施上述技术方案,S1中,采集连续图片序列作为原始图片序列,对其进行双三次插值降采样,并删除降采样后序列的偶数帧,得到处理后的图片序列,此时获得低分辨率低帧率和高分辨率高帧率的训练图片序列对,按照时间顺序,处理后的图片序列作为网络输入,原始图片序列作为网络输出。
S2、构建基于跨帧自注意力变换时空视频超分辨率重建网络,并对其进行训练,得到训练完成的基于跨帧自注意力变换网络,具体如下:
S21、采用3×3的二维卷积核分别对训练集中的每帧图片进行浅层特征提取,获得对应的浅层特征图F t c ,其中c代表经过二维卷积核处理后所得的特征图的通道数,t代表目前处理的帧序号。
S22、假设F t c F t c +2为相邻的两帧浅层特征图,对F t c F t c +2做可变形卷积操作,分 别得到它们对应的偏置变量
Figure 500707DEST_PATH_IMAGE001
Figure 789868DEST_PATH_IMAGE002
,设置可训练参数αβ,获得中间帧浅层特征 图F t c +1,具体如下:
S22-1、通过常规卷积得到每个卷积点的可学习的参数偏移量Δx 1、Δx 2
Figure 987631DEST_PATH_IMAGE004
Figure 535287DEST_PATH_IMAGE005
其中g代表常规卷积操作。
S22-2、利用可变形卷积算出每个采样点的偏移变量:
Figure 236527DEST_PATH_IMAGE006
其中,Dconv代表可变形卷积;采样点为浅层特征图中的特征像素点、
S22-3、通过设置可训练参数αβ获得相邻两帧图片中间帧的浅层特征图F t+1 c
Figure 195125DEST_PATH_IMAGE007
需要说明的是,这里训练参数αβ实际为1×1,步长为1的二维卷积运算。
S23、分别将浅层特征图F t c F t c +1F t c +2碎片化,并附着时序编码,对应得到处理后相邻三帧浅层特征图F t c F t c +1F t c +2的编码特征图VQK,利用跨帧自注意力变换网络相邻编码特征图QK做自相关处理,得到最大似然矩阵T。并以最大似然矩阵T为索引,在编码特征图V中搜索,搜索过程中采用不同的相关步长,对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3,具体如下:
S23-1、将F t c F t c +1F t c +2碎片化并附着时序编码:
Figure 880184DEST_PATH_IMAGE008
其中G代表碎片化和碎片的时序编码,VF t c 对应的编码特征图矩阵,QF t c +1对应的编码特征图矩阵,KF t c +2对应的编码特征图矩阵。
S23-2、通过自注意力计算碎片的相关性t i,j
Figure 965951DEST_PATH_IMAGE009
其中,(·)代表自相关运算,q i,j Q中的区域(i,j)的碎片,k i,j K中的区域(i,j)的碎片,t i,j 为最大似然矩阵T中区域(i,j)的相似性。
S23-3、以最大似然矩阵T为索引在相邻一帧的浅层特征图F t c 中搜索,分别采用不同的相关步长,获得不同尺度相似矩阵Lv1、Lv2和Lv3:
Figure 272430DEST_PATH_IMAGE010
其中L 1代表相关步长为1的特征索引搜索,L 2代表相关步长为2的特征索引搜索,L 4代表相关步长为4的特征索引搜索。
需要说明的是,在对特征图碎片化的过程中,特征图被碎片成16×16的尺寸大小,并附着余弦时序编码。为取得不同尺度的相似举证,分别采用1,2,4的步长,使其结果成2倍递增。
S24、将当前帧对应的浅层特征图F t c +1通过残差块进行深层特征提取,并结合最大 似然矩阵
Figure 683820DEST_PATH_IMAGE003
和不同尺度的相似矩阵由粗到细地重建出当前帧图片。
为了进一步实施上述技术方案,S24中,将当前帧对应的浅层特征图F t c +1通过残差块进行深层特征提取,并结合最大似然矩阵T和不同尺度的相似矩阵由粗到细地重建出当前帧图片I,具体如下:
Figure 325017DEST_PATH_IMAGE011
Figure 198164DEST_PATH_IMAGE012
Figure 139575DEST_PATH_IMAGE013
Figure 190708DEST_PATH_IMAGE014
其中f代表残差块运算,↑代表上采样。
需要说明的是,上述上采样过程均采用双三次插值的方式进行,每次放大系数为2倍。
S25、更新卷积和权重,重复S21-S24直至收敛,得到训练完成的基于跨帧自注意力变换网络。
S3、利用训练好的基于跨帧自注意力变换网络对低分辨率低帧率的连续图片序列进行处理,获得高帧率高分辨率的连续图片序列。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,其特征在于,包括以下步骤:
S1、采集连续图片序列作为原始图片序列,对其进行双三次插值降采样,并删除降采样后的序列的偶数帧,得到处理后的图片序列,处理后的图片序列与原始图片序列共同构成训练集;
S2、构建基于跨帧自注意力变换时空视频超分辨率重建网络,并对其进行训练,得到训练完成的基于跨帧自注意力变换网络,具体如下:
S21、采用3×3的二维卷积核分别对训练集中的每帧图片进行浅层特征提取,获得对应的浅层特征图F t c ,其中c代表经过二维卷积核处理后所得的特征图的通道数,t代表目前处理的帧序号;
S22、假设F t c F t c +2为相邻的两帧浅层特征图,对F t c F t c +2做可变形卷积操作,分别得 到它们对应的偏置变量
Figure 41518DEST_PATH_IMAGE001
Figure 627351DEST_PATH_IMAGE002
,设置可训练参数αβ,获得中间帧浅层特征图F t c +1
S23、分别将浅层特征图F t c F t c +1F t c +2碎片化,并附着时序编码,对应得到处理后相邻三帧浅层特征图F t c F t c +1F t c +2的编码特征图VQK,利用跨帧自注意力变换网络相邻编码特征图QK做自相关处理,得到最大似然矩阵T;并以最大似然矩阵T为索引,在编码特征图V中搜索,搜索过程中采用不同的相关步长,对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3;
S24、将当前帧对应的浅层特征图F t c +1通过残差块进行深层特征提取,并结合最大似然 矩阵
Figure 794152DEST_PATH_IMAGE003
和不同尺度的相似矩阵由粗到细地重建出当前帧图片;
S25、更新卷积和权重,重复S21-S24直至收敛,得到训练完成的基于跨帧自注意力变换网络;
S3、利用训练好的基于跨帧自注意力变换网络对低分辨率低帧率的连续图片序列进行处理,获得高帧率高分辨率的连续图片序列。
2.根据权利要求1所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方 法,其特征在于,S22中,假设F t c F t c +2为相邻的两帧浅层特征图,对F t c F t c +2做可变形卷积 操作,分别得到它们对应的偏置变量
Figure 296678DEST_PATH_IMAGE001
Figure 569527DEST_PATH_IMAGE002
,设置可训练参数αβ,获得中间帧 浅层特征图F t c +1,具体如下:
S22-1、通过常规卷积得到每个卷积点的可学习的参数偏移量Δx 1、Δx 2
Figure 32870DEST_PATH_IMAGE004
其中g代表常规卷积操作;
S22-2、利用可变形卷积算出每个采样点的偏移变量:
Figure 800100DEST_PATH_IMAGE005
其中,Dconv代表可变形卷积;采样点为浅层特征图中的特征像素点;
S22-3、通过设置可训练参数αβ获得相邻两帧图片中间帧的浅层特征图F t+1 c
Figure 766919DEST_PATH_IMAGE006
3.根据权利要求2所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,其特征在于,分别将浅层特征图F t c F t c +1F t c +2碎片化,并附着时序编码,对应得到处理后相邻三帧浅层特征图F t c F t c +1F t c +2的编码特征图VQK,利用跨帧自注意力变换网络相邻编码特征图QK做自相关处理,得到最大似然矩阵T;并以最大似然矩阵T为索引,在编码特征图V中搜索,搜索过程中采用不同的相关步长,对应获得不同尺度相似矩阵记为Lv1、Lv2和Lv3,具体如下:
S23-1、将F t c F t c +1F t c +2碎片化并附着时序编码:
Figure 459937DEST_PATH_IMAGE007
其中G代表碎片化和碎片的时序编码,VF t c 对应的编码特征图矩阵,QF t c +1对应的编码特征图矩阵,KF t c +2对应的编码特征图矩阵;
S23-2、通过自注意力计算碎片的相关性t i,j
Figure 879417DEST_PATH_IMAGE008
其中,(·)代表自相关运算,q i,j Q中的区域(i,j)的碎片,k i,j K中的区域(i,j)的碎片,t i,j 为最大似然矩阵T中区域(i,j)的相似性;
S23-3、以最大似然矩阵T为索引在相邻一帧的浅层特征图F t c 中搜索,分别采用不同的相关步长,获得不同尺度相似矩阵Lv1、Lv2和Lv3:
Figure 496343DEST_PATH_IMAGE009
其中L 1代表相关步长为1的特征索引搜索,L 2代表相关步长为2的特征索引搜索,L 4代表相关步长为4的特征索引搜索。
4.根据权利要求3所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,其特征在于,S24中,将当前帧对应的浅层特征图F t c +1通过残差块进行深层特征提取,并结合最大似然矩阵T和不同尺度的相似矩阵由粗到细地重建出当前帧图片I,具体如下:
Figure 317669DEST_PATH_IMAGE010
其中f代表残差块运算,↑代表上采样。
5.根据权利要求1所述的一种基于跨帧自注意力变换网络的时空视频超分辨率重建方法,其特征在于,S24中,由于最大似然矩阵T的尺寸较小,在和不同尺度的相似矩阵的结合过程,采用上采样不断对齐进行放大。
CN202210076937.1A 2022-01-24 2022-01-24 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 Active CN114092339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210076937.1A CN114092339B (zh) 2022-01-24 2022-01-24 基于跨帧自注意力变换网络的时空视频超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076937.1A CN114092339B (zh) 2022-01-24 2022-01-24 基于跨帧自注意力变换网络的时空视频超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN114092339A true CN114092339A (zh) 2022-02-25
CN114092339B CN114092339B (zh) 2022-05-20

Family

ID=80309178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076937.1A Active CN114092339B (zh) 2022-01-24 2022-01-24 基于跨帧自注意力变换网络的时空视频超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114092339B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN112419153A (zh) * 2020-11-23 2021-02-26 深圳供电局有限公司 图像超分辨率重建方法、装置、计算机设备和存储介质
CN112734644A (zh) * 2021-01-19 2021-04-30 安徽工业大学 一种多个注意力结合光流的视频超分辨模型及方法
CN112750094A (zh) * 2020-12-30 2021-05-04 合肥工业大学 一种视频处理方法及***
CN112801877A (zh) * 2021-02-08 2021-05-14 南京邮电大学 一种视频帧的超分辨率重构方法
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859106A (zh) * 2019-01-28 2019-06-07 桂林电子科技大学 一种基于自注意力的高阶融合网络的图像超分辨率重建方法
CN112419153A (zh) * 2020-11-23 2021-02-26 深圳供电局有限公司 图像超分辨率重建方法、装置、计算机设备和存储介质
CN112750094A (zh) * 2020-12-30 2021-05-04 合肥工业大学 一种视频处理方法及***
CN112734644A (zh) * 2021-01-19 2021-04-30 安徽工业大学 一种多个注意力结合光流的视频超分辨模型及方法
CN112801877A (zh) * 2021-02-08 2021-05-14 南京邮电大学 一种视频帧的超分辨率重构方法
CN113034380A (zh) * 2021-02-09 2021-06-25 浙江大学 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置
CN113205456A (zh) * 2021-04-30 2021-08-03 东北大学 一种面向实时视频会话业务的超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANG GAO等: "Super-resolution reconstruction algorithm based on adaptive convolution kernel size selection", 《PROCEEDINGS OF SPIE》 *
葛瑶: "基于时间与空间域的视频超分辨率重建", 《万方数据》 *

Also Published As

Publication number Publication date
CN114092339B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN112801877B (zh) 一种视频帧的超分辨率重构方法
CN115222601A (zh) 基于残差混合注意力网络的图像超分辨率重建模型及方法
CN103167284B (zh) 一种基于画面超分辨率的视频流传输方法及***
CN113139898B (zh) 基于频域分析和深度学习的光场图像超分辨率重建方法
CN110570351B (zh) 一种基于卷积稀疏编码的图像超分辨率重建方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN112102163B (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN115131675A (zh) 一种基于参考影像纹理迁移的遥感影像压缩方法及***
CN114757828A (zh) 基于Transformer的视频时空超分辨率方法
CN113554058A (zh) 视觉目标图像分辨率增强的方法、***、装置及存储介质
CN111800630A (zh) 一种视频超分辨率重建的方法、***及电子设备
CN115731141A (zh) 面向机动目标动态监测的天基遥感图像时空融合方法
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
CN114387161B (zh) 一种视频超分辨率重建方法
CN114581762A (zh) 一种基于多尺度条形池化和金字塔池化的道路提取方法
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与***
CN114092339B (zh) 基于跨帧自注意力变换网络的时空视频超分辨率重建方法
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及***
Li et al. RGSR: A two-step lossy JPG image super-resolution based on noise reduction
CN117097853A (zh) 一种基于深度学习的实时抠像方法及***
CN110766612A (zh) 一种基于深度学习的图像超分辨率方法
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant