CN113487481B - 基于信息构建和多密集残差块的循环视频超分辨率方法 - Google Patents
基于信息构建和多密集残差块的循环视频超分辨率方法 Download PDFInfo
- Publication number
- CN113487481B CN113487481B CN202110746815.4A CN202110746815A CN113487481B CN 113487481 B CN113487481 B CN 113487481B CN 202110746815 A CN202110746815 A CN 202110746815A CN 113487481 B CN113487481 B CN 113487481B
- Authority
- CN
- China
- Prior art keywords
- resolution
- information
- convolution
- output
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000010276 construction Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 82
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 33
- 230000000306 recurrent effect Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 20
- 230000010354 integration Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 8
- 238000007906 compression Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 230000001902 propagating effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 29
- 230000000694 effects Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明为基于信息构建和多密集残差块的循环视频超分辨率方法,该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得序数靠前的循环神经网络有足够的信息去重建靠前帧,同时利用多密集残差块提取代表深层次信息的特征,在循环神经网络中以隐藏状态的方式进行传播;包括以下内容:对视频数据进行预处理,获得对应的低分辨率帧序列;构建信息构建模块,输入为前m帧低分辨率帧序列,输出为初始的隐藏信息h0和初始的预输出信息o0;构建多密集残差块的循环神经网络,将信息构建模块的两个输出输入到多密集残差块的循环神经网络中,得到超分辨率帧序列。可以胜任在线超分辨率任务。
Description
技术领域
本发明的技术方案涉及视频的超分辨率重建,具体地说是基于信息构建和多密集残差块的循环视频超分辨率方法。
背景技术
随着5G时代的到来,视频逐渐代替图像成为互联网传输的主流信息,越来越多的超高清视频数据正在悄无声息的改变着人们的生活。然而,对于应用厂商,如何将这些大量的高清视频快速、清晰的传递到用户的手中无疑成为了需要解决的问题。高质量视频往往经过压缩编码后在通道中传输,传输到终端后进行解码。但是这个过程是有损的,部分像素可能在编解码时发生丢失,抑或在传输过程中丢失,导致解码后的视频质量大大下降,影响用户体验。超分辨率技术是通过计算和填补缺失信息将低分辨率视频修复还原成高分辨率视频的一种方法,将解码后的视频经过超分辨率算法处理,可以提升视频的质量,从而缓解在编解码和传输过程中的质量损伤。
与单帧图像的超分辨率方法不同,视频数据是由连续帧组成的,如何充分利用时空信息是恢复视频细节的关键问题。传统的基于重建和学习的超分辨率方法对于超高清视频的修复效果并不理想,现有的单向循环神经网络的视频超分辨率方法在靠前帧的重建时由于无法获取到丰富的细节信息,使得它们对初始帧的重建效果极差,极大的影响超分辨率的效果和用户体验度。双向循环神经网络的方法无法及时的输出重建完毕的视频帧,在视频传输等应用领域受到了极大的限制。如CN111587447A公开了一种帧循环视频超分辨率方法,该方法通过利用显示的运动估计和光流方法对当前待处理的帧进行扭曲和运动补偿来挖掘时间信息然后进行递归和迭代,从而实现超分辨率重建,该方法的缺点是:这种显示的运动补偿方法很依赖运动估计所计算出的光流的精度,一旦光流的计算出现偏差,则会导致严重的伪影和失真问题,从而严重的影响超分辨率的结果。CN109102462A公开了一种基于深度学习的视频超分辨率重建方法,该方法先使用双向循环网络进行前后向特征提取,再使用深度3D反向投影对时空信息进行整合。该方法的缺点是:双向循环网络需要先对所有视频帧进行计算才能进一步输入到下一个模块,这使其在视频超分辨率任务中不能做到在线处理,在对时空信息进行整合时使用大量的3D卷积会使计算复杂度大大增加,加重计算负担,并且这样先提取再整合的分离式的方法无法复用所生成特征信息,使得计算效率大大降低,特别是在当处理较高分辨率或较多帧的视频时,不仅时间长,还对内存要求高。CN111260560A公开了一种融合注意力机制的多帧视频超分辨率方法,该方法连接3D卷积特征对齐模块和变形卷积特征对齐模块一起作为隐式对齐模块,再使用多个加入空间及通道注意力机制的残差块进行特征重建。该方法的缺点是:首先,3D卷积特征对齐模块和变形卷积特征对齐模块均为用时超高的模块,会使计算参数量大大提升,大大延长了超分辨率时间,严重影响超分辨率过程的效率。其次,该方法在使用残差块进行特征重建时,残差块生成的局部特征不能有效的反复利用,浪费了计算资源,添加的注意力机制利用在特征重建上影响甚微,反而会增加计算负担。
发明内容
针对现有技术的不足,本发明所要解决的技术问题是:提供基于信息构建和多密集残差块的循环视频超分辨率方法,该方法利用信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得靠前的循环神经网络有足够的信息去重建靠前帧,克服了单向循环神经网络方法在靠前帧的重建效果不佳的缺陷,相比双向循环神经网络减小了内存占用和计算开销,并且可以胜任在线超分辨率任务;利用多密集残差块提取和整合深层次信息的特征,并在循环神经网络中以隐藏状态的方式进行传播,克服了现有技术对时空信息整合不足的缺陷。
本发明解决该技术问题所采用的技术方案是:基于信息构建和多密集残差块的循环视频超分辨率方法,该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得序数靠前的循环神经网络有足够的信息去重建靠前帧,同时利用多密集残差块提取代表深层次信息的特征,在循环神经网络中以隐藏状态的方式进行传播;包括以下内容:
构建信息构建模块:所述信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块,输入为前m帧低分辨率帧序列,输出为初始的隐藏信息h0和初始的预输出信息o0;
特征提取与通道注意力的过程是:首先将低分辨率帧序列ILR中的前m(1≤m≤n)帧每一帧都经过卷积处理进行特征提取,得到浅层特征然后将浅层特征在通道维度上叠加,输入进一个通道注意力模块SE,获得的浅层特征筛选集合K;
快速信息架构调整块具体结构为:将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取,输出深层信息特征,残差块由两个卷积和一个跳层连接组成;
结构模拟块的具体操作为:将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理,得到初始的隐藏信息,同时,将输出的深层信息特征经过另一个卷积层进行特征降维,然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息;
构建多密集残差块的循环神经网络,将信息构建模块的两个输出输入到多密集残差块的循环神经网络中,经过t次循环得到第t个序数的循环神经网络的输出ht、ot和超分辨率图像若此时t<n,则进行第t+1个序数的循环神经网络的运行,若此时t=n,则表示所有n帧的超分辨率计算完成,得到超分辨率帧序列
具体步骤如下:
第一步,对视频数据进行预处理:
利用random函数和自定义的阈值对视频数据进行旋转或翻转,对旋转或翻转后的视频数据进行抽帧得到视频帧序列V=(v1,…,vn),其中,n为视频的总帧数,v1,vn分别为V的第一帧和最后一帧;对所有视频帧进行平均剪裁处理,使其宽和高都统一到256*256像素值,得到视频帧序列V所对应的高分辨率帧序列然后对得到的高分辨率帧序列IHR进行方差σ=1.6,模糊半径为3的高斯模糊处理和采样倍数为r的下采样处理,得到对应的低分辨率帧序列
第二步,使用部分低分辨率帧序列进行信息构建:
然后将浅层特征在通道维度上叠加,输入进一个通道注意力模块(SE),SE的运行过程分为压缩和激发两个步骤:压缩通过在已给特征图(浅层特征)上执行全局平均池化,得到当前特征图的全局压缩特征量,激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值,将特征图和权值进行加权输出浅层特征筛选集合K;如下公式(2)所示:
公式(2)中,[,]表示通道维度的叠加操作,SE(·)为通道注意力操作;
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征,并将其通过结构模拟块进行输出信息的构建,输出初始的隐藏信息(h0)和初始的预输出信息(o0),其中:
快速信息架构调整块操作的具体过程为:将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取,输出深层信息特征,残差块由两个卷积和一个跳层连接组成。
结构模拟块的具体操作是:将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理,得到初始的隐藏信息,同时,将输出的深层信息特征经过另一个卷积层进行特征降维,然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息;
h0采用公式(3)表示:
h0=ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示:
公式(3)和(4)中,Hspc(·)为亚像素卷积操作,FIA(·)为快速信息架构调整块,+表示同通道的像素相加,Hus(·)为r倍的双线性上采样操作,也可采取其他上采样方法,Conv为卷积操作,公式(3)和公式(4)中的卷积操作的卷积核大小相同,二者卷积参数不同,ReLU为激活函数操作,为低分辨率帧序列ILR中的首帧;
第三步,多密集残差块的循环神经网络内的浅层特征提取:
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的,故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标,并且,不同序数所对应的循环神经网络的参数是共享的,t从1顺序遍历到n,1≤t≤n;在第t个序数的循环神经网络中,将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的和与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联,在t=1时,令ht-1,ot-1和分别初始化为第二步计算出的h0,o0和第一步中低分辨率帧序列ILR中的将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块,获取浅层特征Ft,具体过程为公式(5):
公式(5)中,Ft为浅层特征,Down(·)为下采样,[·,·]为通道维度上的串联,Hsfe(·)为浅层特征提取模块,目的是进行特征提取,包含一个卷积层、一个非线性激活函数ReLU层和一个下采样操作,输出ot-1经过下采样操作处理后和ht-1、一起输入卷积层,最后经非线性激活函数ReLU层输出获得浅层特征Ft;
第四步,通过多密集残差块进行深度细节信息的提取和整合:
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合,每个多密集残差块包含p个密集残差块(RDB),依次串联(本实验中使用的密集残差块的数量为8-12个),其中每个密集残差块的具体操作为:首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中,然后将二维卷积输出的特征输入进ReLU激活函数进行激活,得到中间特征然后将中间特征和浅层特征Ft在通道维度进行串联,输入到与上述相同的卷积和激活函数结构中,得到中间特征以此类推将中间特征和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构,然后得到中间特征将中间特征和浅层特征Ft在通道维度进行串联,输入到特征整合层中,得到特征整合映射,将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出具体过程参见公式(6):
公式(6)中,Hff(·)为特征整合层,由一个1×1的二维卷积神经网络组成,它只对通道进行约束;
公式(7)中,RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块;
第五步,隐藏状态ht的获取:
公式(8)中的Hhg(·)为隐藏状态生成模块,由一个3×3的二维卷积神经网络和一个ReLU激活函数组成,此卷积的目的是输出隐藏状态;
第六步,通过SR重建模块获得最终的超分辨率图像:
同时将上述第四步得到的多密集残差块的输出输入到SR重建模块得到最终的超分辨率图像,其过程为:多密集残差块的输出先经过一个卷积层进行通道特征降维和融合,然后将其馈入到亚像素卷积层,亚像素卷积层对所有的像素进行重排,从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像,在这里,H和W的值均为64,r为采样倍数,c为颜色通道数;将超分辨率残差图像与经过r倍上采样处理的低分辨率LR图像相加得到最终的输出结果ot,即获得重建后的超分辨率图像具体过程参见公式(9):
公式(9)中的卷积层采用卷积核大小为3×3的卷积,Hspc(·)为亚像素卷积操作,Hus(·)为r倍的双线性上采样操作;
第七步,计算对于输入视频帧的损失:
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧,经第三步到第六步的循环获得后续的超分辨率帧序列,为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异,训练时采用L1损失函数,
公式(10)中的L为计算出的L1损失函数的值;
第八步,将超分辨率的图像结果组合成视频:
根据原有视频帧率,将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频,完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
所述采样倍数r为4,颜色通道数c为3;m=5~7,n=8~12。
与现有技术相比,本发明的有益效果是:
本发明突出的实质性特点如下:
(1)本发明方法提出了一个新颖的模块,称作信息构建模块。它可以通过对前几帧信息的提取去重建靠前帧,从而不需要对所有帧都做反向循环,大大减少了计算复杂度和时间开销,同时还能加强靠前帧的重建效果。此外,它还是一个可迁移的组件,可以应用在任何的单向循环神经网络中,去提升它们的重建效果。大量的实验表明,本发明所提出的基于信息构建和多密集残差块的循环视频超分辨率方法在重建效果上超越了当前所有的模型,验证了该模块的有效性。
(2)本发明方法提出了一个改进的循环神经网络。将多密集残差块嵌入到循环神经网络中,由于能够把多密集残差块提取到深度细节信息以隐式的方式在帧间传播,大大提高了视频超分辨率的准确性,由于深度细节信息实在高维度的特征下进行传播,在一定程度上也减少了伪影的产生。用多密集残差块实现了深层特征提取和融合的实时进行,实现特征够复用,能够保持较高的信噪比,在Vid4基准测试集的峰值信噪比达到28dB以上。
本发明的显著进步是:
(1)本发明方法与CN111587447A方法相比,本发明采取利用改进的循环神经网络来进行高维度隐式运动状态的传播。本发明具有的突出的实质性特点和显著进步是不需要计算光流以及显示的运动估计和运动补偿,超分辨率的效果和精度比光流的方法更好,并且速度更快。
(2)本发明方法与CN109102462A方法相比,本发明采取利用多密集残差块来提取和整合细节信息。本发明具有的突出的实质性特点和显著进步是不需要大量的3D卷积块去整合和提取时空信息,而是使用基于多密集残差块的方法来提取和整合细节信息,计算复杂度大大降低,并且本发明的方法采用改进的单循环神经网络,是一个端到端的方法,且内存占有率低。
(3)本发明方法与CN 111260560 A方法相比,本发明采取利用循环神经网络来进行帧间信息整合。本发明具有的突出的实质性特点和显著进步是不需要大量的3D卷积和可变形卷积来进行隐式的对齐,而是使用单向循环神经网络来传递和整合帧间信息,大大降低了时间复杂度和空间复杂度。并且在特征提取与重建时使用模块为密集残差块,相比残差块,对特征的重用会让超分辨率的效果更好,效率更佳。
(4)本发明采取利用密集残差块来提取和融合细节信息,对于隐藏层的特征图可以充分的利用,特征的复用提高了生成特征的使用价值,从而可以更好的去修复深度细节信息,特别是在遇到视频中有较大运动范围的物体时,也不会出现恼人的伪影,超分辨率效果较好。相比RLSP,可以避免梯度消失的问题,同时超分辨率的精度大大提高。此外,RLSP由于没有对靠前帧信息进行额外的处理,导致靠前帧的重建效果不佳,本发明采取使用信息构建模块对靠前帧的细节信息信和结构信息进行充分的提取,大大提升了靠前帧的重建效果,
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明基于信息构建和多密集残差块的循环视频超分辨率方法流程示意框图。
图2为本发明中的基于信息构建和多密集残差块的循环视频超分辨率方法的结构示意图。
图3为本发明中的信息构建模块结构示意图。
图4为本发明中多密集残差块的循环神经网络结构示意图。
图5为本发明中多密集残差块中的一个密集残差块的结构示意图。
具体实施方式
图1所示实施例表明,本发明基于信息构建和多密集残差块的循环视频超分辨率方法的流程如下:
获得视频→对视频数据进行预处理→使用部分低分辨率帧序列进行信息构建→多密集残差循环神经网络内的浅层特征提取→通过多密集残差块进行深度细节信息的提取和整合→隐藏状态的获取→通过SR重建模块获得最终的超分辨率图像→计算对于输入视频帧的损失→将超分辨率的图像结果组合成视频→完成基于多密集残差块的循环视频超分辨率方法。
图2所示实施例显示基于信息构建和多密集残差块的循环视频超分辨率方法,其中隐藏状态道数为128,隐藏层输出通道数为48,输入帧和输出帧的通道数均为3,m为输入帧数,初始化设置为7。
图3所示实施例显示信息构建模块结构示意图,其中m为输入帧数,设置为7,快速信息架构调整块中的多残差块中使用串联的5个残差块,K为浅层特征筛选集合。信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块,输入的1~m帧通过特征提取与通道注意、快速信息架构调整和结构模拟输出初始循环神经网络所需要的输入隐藏状态。
实施例1
本实施例基于信息构建和多密集残差块的循环视频超分辨率方法如下:
第一步,对视频数据进行预处理:
利用random函数和自定义的阈值对视频数据进行旋转或翻转,对旋转或翻转后的视频数据进行抽帧得到视频帧序列V=(v1,…,vn),其中,n为视频的总帧数,v1,vn分别为V的第一帧和最后一帧;对所有视频帧进行平均剪裁处理,使其宽和高都统一到256*256像素值,得到视频帧序列V所对应的高分辨率帧序列然后对得到的高分辨率帧序列IHR进行方差σ=1.6,模糊半径为3的高斯模糊处理和采样倍数为4的下采样处理,得到对应的低分辨率帧序列如下公式(1)所示:
ILR=BlurDown(AverageCrop(V)) (1)
公式(1)中,BlurDown(·)为高斯模糊下采样,AverageCrop(·)为平均剪裁;
第二步,使用部分低分辨率帧序列进行信息构建:
然后将浅层特征在通道维度上叠加,输入进一个通道注意力模块(SE),SE的运行过程分为压缩和激发两个步骤:压缩通过在已给特征图(浅层特征)上执行全局平均池化,得到当前特征图的全局压缩特征量,激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值,将特征图和权值进行加权输出浅层特征筛选集合K,如下公式(2)所示:
公式(2)中,[,]表示通道维度的叠加操作,SE(·)为通道注意力操作;
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征,并将其通过结构模拟块进行输出信息的构建,输出初始的隐藏信息(h0)和初始的预输出信息(o0),其中:
快速信息架构调整块操作的具体过程为:将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取,输出深层信息特征,残差块由两个卷积和一个跳层连接组成。
结构模拟块的具体操作是:将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理,得到初始的隐藏信息,同时,将输出的深层信息特征经过另一个卷积层进行特征降维,然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息;
h0采用公式(3)表示:
h0=ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示:
公式(3)和(4)中,Hspc(·)为亚像素卷积操作,FIA(·)为快速信息架构调整块,+表示同通道的像素相加,Hus(·)为r倍的双线性上采样操作,也可采取其他上采样方法,Conv为卷积操作,公式(3)和公式(4)中的卷积操作的卷积核大小相同,二者卷积参数不同,ReLU为激活函数操作,为低分辨率帧序列ILR中的首帧;
第三步,多密集残差块的循环神经网络内的浅层特征提取:
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的,故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标,并且,不同序数所对应的循环神经网络的参数是共享的,t从1顺序遍历到n,1≤t≤n;在第t个序数的循环神经网络中,将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的和与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联,在t=1时,令ht-1,ot-1和分别初始化为第二步计算出的h0,o0和第一步中低分辨率帧序列ILR中的即初始时令将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块,获取浅层特征Ft,具体过程为公式(5):
公式(5)中,Ft为浅层特征,Down(·)为下采样,[·,·]为通道维度上的串联,Hsfe(·)为浅层特征提取模块,目的是进行特征提取,包含一个卷积层、一个非线性激活函数ReLU层和一个下采样操作,输出ot-1经过下采样操作处理后和ht-1、一起输入卷积层,最后经非线性激活函数ReLU层输出获得浅层特征Ft;
第四步,通过多密集残差块进行深度细节信息的提取和整合:
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合,每个多密集残差块包含p个密集残差块(RDB),依次串联,其中每个密集残差块的具体操作为:首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中,然后将二维卷积输出的特征输入进ReLU激活函数进行激活,得到中间特征然后将中间特征和浅层特征Ft在通道维度进行串联,输入到与上述相同的卷积和激活函数结构中,得到中间特征以此类推将中间特征和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构,然后得到中间特征将中间特征和浅层特征Ft在通道维度进行串联,输入到特征整合层中,得到特征整合映射,将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出具体过程参见公式(6):
公式(6)中,Hff(·)为特征整合层,由一个1×1的二维卷积神经网络组成,它只对通道进行约束;
公式(7)中,RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块;本实施例中共设置10个密集残差块,即p=10。
第五步,隐藏状态ht的获取:
公式(8)中的Hhg(·)为隐藏状态生成模块,由一个3×3的二维卷积神经网络和一个ReLU激活函数组成,此卷积的目的是输出隐藏状态;
第六步,通过SR重建模块获得最终的超分辨率图像:
同时将上述第四步得到的多密集残差块的输出输入到SR重建模块得到最终的超分辨率图像,其过程为:多密集残差块的输出先经过一个卷积层进行通道特征降维和融合,然后将其馈入到亚像素卷积层,亚像素卷积层对所有的像素进行重排,从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像,在这里,H和W的值均为64,r为采样倍数,c为颜色通道数;将超分辨率残差图像与经过4倍上采样处理的低分辨率LR图像相加得到最终的输出结果ot,即获得重建后的超分辨率图像具体过程参见公式(9):
公式(9)中的卷积层采用卷积核大小为3×3的卷积,Hspc(·)为亚像素卷积操作,Hus(·)为r倍的双线性上采样操作;
第七步,计算对于输入视频帧的损失:
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧,经第三步到第六步的循环获得后续的超分辨率帧序列,为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异,训练时采用L1损失函数,
公式(10)中的L为计算出的L1损失函数的值;
第八步,将超分辨率的图像结果组合成视频:
根据原有视频帧率,将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频,完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
上述一种基于信息构建和多密集残差块的循环视频超分辨率方法,其中的密集残差块英文缩写为RDB,全称为Residual Dense Block,通道注意力英文缩写为SE,全称为Squeeze and Excitation,线性整流函数英文缩写为ReLU,全称为Rectified LinearUnit,BlurDown下采样均为本技术领域所公知的。
本发明未述及之处适用于现有技术。
Claims (5)
1.一种基于信息构建和多密集残差块的循环视频超分辨率方法,其特征在于:该方法利用引入信息构建模块对初始的循环神经网络进行先验信息构建和填充,使得序数靠前的循环神经网络有足够的信息去重建靠前帧,同时利用多密集残差块提取代表深层次信息的特征,在循环神经网络中以隐藏状态的方式进行传播;包括以下内容:
构建信息构建模块:所述信息构建模块包括特征提取与通道注意力、快速信息架构调整块和结构模拟块,输入为前m帧低分辨率帧序列,输出为初始的隐藏信息h0和初始的预输出信息o0;
特征提取与通道注意力的过程是:首先将低分辨率帧序列ILR中的前m帧每一帧都经过卷积处理进行特征提取,1≤m≤n,得到浅层特征然后将浅层特征在通道维度上叠加,输入进一个通道注意力模块SE,获得的浅层特征筛选集合K;
快速信息架构调整块具体结构为:将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取,输出深层信息特征,残差块由两个卷积和一个跳层连接组成;
结构模拟块的具体操作为:将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理,得到初始的隐藏信息,同时,将输出的深层信息特征经过另一个卷积层进行特征降维,然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息;
3.根据权利要求1所述的基于信息构建和多密集残差块的循环视频超分辨率方法,其特征在于,所述多密集残差块的循环神经网络中包括浅层特征提取模块、多密集残差块、隐藏状态生成模块和SR重建模块,
所述多密集残差块用来对浅层特征提取模块的浅层输出Ft进行深度细节信息提取和整合,每个多密集残差块包含p个密集残差块,p为不小于2的整数,其中每个密集残差块的具体操作为:首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中,然后将二维卷积输出的特征输入进ReLU激活函数进行激活,得到中间特征卷积核为3×3的二维卷积神经网络和ReLU激活函数构成卷积和激活函数结构;然后将中间特征和浅层特征Ft在通道维度进行串联,输入到与上述相同的卷积和激活函数结构中,得到中间特征以此类推将中间特征和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构,然后得到中间特征将中间特征和浅层特征Ft在通道维度进行串联,输入到特征整合层中,得到特征整合映射,将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出
所述特征整合层由一个1×1的二维卷积神经网络构成;所述隐藏状态生成模块由一个3×3的二维卷积神经网络和一个ReLU激活函数组成。
4.一种基于信息构建和多密集残差块的循环视频超分辨率方法,该方法的步骤是:
第一步,对视频数据进行预处理:
利用random函数和自定义的阈值对视频数据进行旋转或翻转,对旋转或翻转后的视频数据进行抽帧得到视频帧序列V=(v1,…,vn),其中,n为视频的总帧数,v1,vn分别为V的第一帧和最后一帧;对所有视频帧进行平均剪裁处理,使其宽和高都统一到256*256像素值,得到视频帧序列V所对应的高分辨率帧序列然后对得到的高分辨率帧序列IHR进行方差σ=1.6,模糊半径为3的高斯模糊处理和采样倍数为r的下采样处理,得到对应的低分辨率帧序列
第二步,使用部分低分辨率帧序列进行信息构建:
然后将浅层特征在通道维度上叠加,输入进一个通道注意力模块SE,SE的运行过程分为压缩和激发两个步骤:压缩通过在已给特征图,即浅层特征上执行全局平均池化,得到当前特征图的全局压缩特征量,激发通过一个中间有ReLU激活函数的两层全连接的瓶颈层结构得到特征图中每个通道的权值,将特征图和权值进行加权输出浅层特征筛选集合K;
接着将获得的浅层特征筛选集合K经过一个快速信息架构调整块获得深层信息特征,并将其通过结构模拟块进行输出信息的构建,输出初始的隐藏信息h0和初始的预输出信息o0,其中:
快速信息架构调整块操作的具体过程为:将浅层特征筛选集合K先通过一个卷积和ReLU激活函数后输入进串联堆叠的多残差块进行深层特征提取,输出深层信息特征,残差块由两个卷积和一个跳层连接组成;
结构模拟块的具体操作是:将快速信息架构调整块输出的深层信息特征经过一个卷积层和ReLU激活函数处理,得到初始的隐藏信息,同时,将输出的深层信息特征经过另一个卷积层进行特征降维,然后将其馈入到亚像素卷积层并与经过r倍上采样处理的低分辨率初始图像相加得到初始的预输出信息;
h0采用公式(3)表示:
h0=ReLU(Conv(FIA(K))) (3)
o0采用公式(4)表示:
公式(3)和(4)中,Hspc(·)为亚像素卷积操作,FIA(·)为快速信息架构调整块,+表示同通道的像素相加,Hus(·)为r倍的双线性上采样操作,Conv为卷积操作,公式(3)和公式(4)中的卷积操作的卷积核大小相同,二者卷积参数不同,ReLU为激活函数操作,为低分辨率帧序列ILR中的首帧;
第三步,多密集残差块的循环神经网络内的浅层特征提取:
由于循环神经网络的序数和需要超分辨率的低分辨率帧的下标是一一对应的,故统一定义t为循环神经网络的序数或需要超分辨率的低分辨率帧的下标,并且,不同序数所对应的循环神经网络的参数是共享的,t从1顺序遍历到n,1≤t≤n;在第t个序数的循环神经网络中,将第一步中得到的低分辨率帧序列ILR中的第t、t-1帧的和与第t-1个循环神经网络输出的隐藏状态ht-1以及下采样r倍的输出结果ot-1在通道维度上进行串联,在t=1时,令ht-1、ot-1和分别初始化为第二步计算出的h0、o0和第一步中低分辨率帧序列ILR中的将串联完毕的序列输入到多密集残差块的循环神经网络中的浅层特征提取模块,获取浅层特征Ft,具体过程为公式(5):
公式(5)中,Ft为浅层特征,Down(·)为下采样,[·,·]为通道维度上的串联,Hsfe(·)为浅层特征提取模块,目的是进行特征提取,包含一个卷积层和一个非线性激活函数ReLU层、下采样,输出ot-1经过下采样处理后和ht-1、一起输入卷积层,最后经非线性激活函数ReLU层输出获得浅层特征Ft;
第四步,通过多密集残差块进行深度细节信息的提取和整合:
将上述第三步获取的浅层特征Ft通过多密集残差块来进行深度细节信息提取和整合,每个多密集残差块包含p个密集残差块,依次串联,其中每个密集残差块的具体操作为:首先将浅层特征Ft输入到一个卷积核为3×3的二维卷积神经网络中,然后将二维卷积输出的特征输入进ReLU激活函数进行激活,得到中间特征然后将中间特征和浅层特征Ft在通道维度进行串联,输入到与上述相同的卷积和激活函数结构中,得到中间特征以此类推将中间特征和浅层特征Ft在通道维度串联输入相同的卷积和激活函数结构,然后得到中间特征将中间特征和浅层特征Ft在通道维度进行串联,输入到特征整合层中,得到特征整合映射,将得到的特征整合映射与原始输入到密集残差块中的浅层特征相加得到第一个密集残差块的输出具体过程参见公式(6):
公式(6)中,Hff(·)为特征整合层,由一个1×1的二维卷积神经网络组成;
公式(7)中,RDB1,RDB2,…,RDBp均为结构相同但参数不共享的的密集残差块;
第五步,隐藏状态ht的获取:
公式(8)中的Hhg(·)为隐藏状态生成模块,由一个3×3的二维卷积神经网络和一个ReLU激活函数组成,此卷积的目的是输出隐藏状态;
第六步,通过SR重建模块获得最终的超分辨率图像:
同时将上述第四步得到的多密集残差块的输出输入到SR重建模块得到最终的超分辨率图像,其过程为:多密集残差块的输出先经过一个卷积层进行通道特征降维和融合,然后将其馈入到亚像素卷积层,亚像素卷积层对所有的像素进行重排,从而使大小为H×W×r2c的特征图排列成大小为rH×rW×c的超分辨率残差图像,在这里,H和W的值均为64,r为采样倍数,c为颜色通道数;将超分辨率残差图像与经过r倍上采样处理的低分辨率LR图像相加得到最终的输出结果ot,即获得重建后的超分辨率图像具体过程参见公式(9):
公式(9)中的卷积层采用卷积核大小为3×3的卷积,Hspc(·)为亚像素卷积操作,Hus(·)为r倍的双线性上采样操作;
第七步,计算对于输入视频帧的损失:
经过上述第一步到第六步构建了基于信息构建和多密集残差块的循环神经网络模型并且计算出超分辨率的第一帧,经第三步到第六步的循环获得后续的超分辨率帧序列,为了衡量上述获得的最终的超分辨率帧序列ISR与第一步获得的高分辨率帧序列IHR之间的差异,训练时采用L1损失函数,
公式(10)中的L为计算出的L1损失函数的值;
第八步,将超分辨率的图像结果组合成视频:
根据原有视频帧率,将超分辨率后的超分辨率帧序列ISR合成为对应帧率的视频,完成基于信息构建和多密集残差块的循环视频超分辨率处理过程。
5.根据权利要求4所述的基于信息构建和多密集残差块的循环视频超分辨率方法,其特征在于,所述采样倍数为4,颜色通道数c为3;m=5~7,n=8~12;密集残差块的数量为8-12个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110746815.4A CN113487481B (zh) | 2021-07-02 | 2021-07-02 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110746815.4A CN113487481B (zh) | 2021-07-02 | 2021-07-02 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113487481A CN113487481A (zh) | 2021-10-08 |
CN113487481B true CN113487481B (zh) | 2022-04-12 |
Family
ID=77940004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110746815.4A Expired - Fee Related CN113487481B (zh) | 2021-07-02 | 2021-07-02 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113487481B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173646A (zh) * | 2023-08-17 | 2023-12-05 | 金陵科技学院 | 高速公路障碍物检测方法、***、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
WO2020212973A1 (en) * | 2019-04-18 | 2020-10-22 | Orca Ai Ltd. | Marine data collection for marine artificial intelligence systems |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015180054A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种基于图像超分辨率的视频编解码方法及装置 |
US20200162789A1 (en) * | 2018-11-19 | 2020-05-21 | Zhan Ma | Method And Apparatus Of Collaborative Video Processing Through Learned Resolution Scaling |
KR20210019835A (ko) * | 2019-08-13 | 2021-02-23 | 한국전자통신연구원 | 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
CN111445390B (zh) * | 2020-02-28 | 2022-03-25 | 天津大学 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
CN111583112A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 视频超分辨率的方法、***、装置和存储介质 |
-
2021
- 2021-07-02 CN CN202110746815.4A patent/CN113487481B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109934771A (zh) * | 2019-03-08 | 2019-06-25 | 北京航空航天大学 | 基于循环神经网络的无监督遥感图像超分辨率重建方法 |
WO2020212973A1 (en) * | 2019-04-18 | 2020-10-22 | Orca Ai Ltd. | Marine data collection for marine artificial intelligence systems |
CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
CN111028150A (zh) * | 2019-11-28 | 2020-04-17 | 武汉大学 | 一种快速时空残差注意力视频超分辨率重建方法 |
CN111260560A (zh) * | 2020-02-18 | 2020-06-09 | 中山大学 | 一种融合注意力机制的多帧视频超分辨率方法 |
Non-Patent Citations (3)
Title |
---|
Video Super-Resolution via Bidirectional;Yan Huang,et al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20180430;正文第1015-1028页 * |
图像超分辨率重建研究综述;唐艳秋 等;《电子学报》;20200731;正文第1407-1420页 * |
基于深度学习的视频超分辨率算法研究;李定一;《中国博士学位论文全文数据库》;20190815;I138-47 * |
Also Published As
Publication number | Publication date |
---|---|
CN113487481A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109903228B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
CN112348766B (zh) | 一种用于监控视频增强的渐进式特征流深度融合网络 | |
US20190206026A1 (en) | Frame-Recurrent Video Super-Resolution | |
CN111260560B (zh) | 一种融合注意力机制的多帧视频超分辨率方法 | |
CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
CN108805808A (zh) | 一种利用卷积神经网络提高视频分辨率的方法 | |
CN112801901A (zh) | 基于分块多尺度卷积神经网络的图像去模糊算法 | |
CN111681166A (zh) | 一种堆叠注意力机制编解码单元的图像超分辨率重建方法 | |
CN110062232A (zh) | 一种基于超分辨率的视频压缩方法及*** | |
CN113409190B (zh) | 一种基于多帧分组与反馈网络的视频超分辨率方法 | |
CN110751597A (zh) | 基于编码损伤修复的视频超分辨方法 | |
WO2023185284A1 (zh) | 视频处理方法和装置 | |
CN114692765A (zh) | 视频时空超分模型构建方法、装置、设备及可读存储介质 | |
CN111667406B (zh) | 一种基于时域相关性的视频图像超分辨率重建方法 | |
CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
CN113487481B (zh) | 基于信息构建和多密集残差块的循环视频超分辨率方法 | |
CN116167920A (zh) | 一种基于超分辨率和先验知识的图像压缩与重建方法 | |
CN116681592A (zh) | 基于多尺度自适应非局部注意力网络的图像超分辨率方法 | |
CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
CN112991169B (zh) | 基于图像金字塔和生成对抗网络的图像压缩方法及*** | |
CN116668738A (zh) | 一种视频时空超分辨率重构方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220412 |