CN113888426B - 一种基于深度可分离残差网络的电力监控视频去模糊方法 - Google Patents

一种基于深度可分离残差网络的电力监控视频去模糊方法 Download PDF

Info

Publication number
CN113888426B
CN113888426B CN202111141397.2A CN202111141397A CN113888426B CN 113888426 B CN113888426 B CN 113888426B CN 202111141397 A CN202111141397 A CN 202111141397A CN 113888426 B CN113888426 B CN 113888426B
Authority
CN
China
Prior art keywords
frame
feature map
feature
alignment
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111141397.2A
Other languages
English (en)
Other versions
CN113888426A (zh
Inventor
王明
黄少雄
郝雨
赵成
孙立成
倪妍妍
张竹
王庆军
吴少雷
冯玉
骆晨
吴凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
Hefei University of Technology
State Grid Anhui Electric Power Co Ltd
Marketing Service Center of State Grid Anhui Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
Hefei University of Technology
State Grid Anhui Electric Power Co Ltd
Marketing Service Center of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd, Hefei University of Technology, State Grid Anhui Electric Power Co Ltd, Marketing Service Center of State Grid Anhui Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
Priority to CN202111141397.2A priority Critical patent/CN113888426B/zh
Publication of CN113888426A publication Critical patent/CN113888426A/zh
Application granted granted Critical
Publication of CN113888426B publication Critical patent/CN113888426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度可分离残差网络的电力监控视频去模糊方法，属于视频复原技术领域，解决视频帧序列对齐融合不精确造成的去模糊复原效果差的问题；本发明采用隔帧对齐融合网络将输入的视频帧序列进行对齐和融合，对齐操作作用于隔帧的两帧图像，充分利用目标帧和支持帧的特征信息，对输入的存在复杂运动的视频帧序列进行准确对齐融合，使模型能够处理更长的时序关系，利用更多的场景信息，有效提高去模糊复原效果；在隔帧对齐网络后级联一个特征提取网络，该特征提取网络中采用了深度可分离卷积方式，较大程度上减少了模型的参数量，缩短了模型推理运行时间。

Description

一种基于深度可分离残差网络的电力监控视频去模糊方法
技术领域
本发明属于视频复原技术领域，涉及一种基于深度可分离残差网络的电力监控视频去模糊方法。
背景技术
智能电力监控***通过分析电力监控场景中的视频和图像，获取电力***运行状态等信息，大量的监控视频、运行故障抓拍图片等对于了解和还原事故现场情况、认定事故责任是必不可少的依据。然而，视频图像在采集的过程中，成像质量会受到各种因素的影响。同时监控设备所拍摄的视频会受天气、传输带宽等因素的影响，导致所拍摄的画面存在模糊现象，对视频图像的分析以及工作人员的研判产生一定的干扰甚至造成错误判断。因此，研究电力监控视频去模糊技术对智能电力监控***的正确运转有重要意义。
电力监控场景具有环境复杂多样，成像质量不可控的特点，因此在电力监控视频中，易出现连续性的模糊图像。相比图像去模糊任务，视频去模糊利用同一场景下的连续模糊图像作为输入，进行去模糊复原，其训练样本原始数据为视频格式，比起简单图片，拍摄要求及存储成本也较高，但视频去模糊能够利用更加丰富的场景信息和更多的前后帧信息，可以达到更好的去模糊效果。当前的视频去模糊模型仅仅将视频去模糊任务看作图像去模糊任务的扩展，这种对视频去模糊的简单处理方法并未考虑各个相邻帧之间的联系，不仅忽略了其他相邻帧的特征信息，也忽略了视频本身的时间特性，无法得到质量更高的去模糊结果，在处理具有简单模糊和相对稳定的场景中尚可使用，但是当视频中存在较大幅度位移或者模糊比较严重，甚至存在严重遮挡等情况下，复原效果会大幅下降。在一个视频片段中不同时间间隔的支持帧对于目标帧的运动偏移量也不同，这种现象在视频帧序列存在大幅度复杂运动的情况下尤为明显。因此，在进行去模糊任务之间，精确对齐视频帧序列中的各帧，以及融合对齐后有着不同运动和模糊的特征，是提高视频去模糊效果的较为有效的方法。图像对齐旨在找到一幅图像与另一幅图像像素间的空间映射关系，即目标帧和支持帧的相同特征可能出现在不同位置的像素上。未对齐的视频帧会给视频去模糊任务引入较多的运动噪声，并且随着不断加深的神经网络可能导致噪声不断扩大，对最终的去模糊效果造成严重影响。
目前大部分的多帧图像去模糊算法将所有帧同等看待，忽略了视频帧之间的时间信息和运动信息，使用同一个对齐融合网络处理不同时间距离的支持帧，显然相对于目标帧距离更远的支持帧往往具有更大的偏移量，使用一个对齐融合网络同时对不同相邻视频帧进行对齐融合，这无疑是困难的。将视频帧序列中的各帧进行对齐融合后，再进行后续的重建步骤，后续的重建步骤通过级联一个图像去模糊网络模型得以实现，然而，目前的图像去模糊网络模型存在模型大、参数量多、特征提取过程不充分、去模糊效果不佳等等问题，造成模型计算过程复杂，推理速度慢，很难完成实时去模糊任务。
申请公布日2020年03月27日、申请公布号为CN110930327A的中国发明专利申请《基于级联深度残差网络的视频去噪方法》公开了一种基于级联深度残差网络的视频去噪方法，该方法可处理亮度或色度分量，以多帧图像为输入，采用两个级联的深度残差网络抑制视频噪声，有效的提高了检测器的准确率，降低了误检率。但是该文献并未解决视频帧序列对齐融合不精确造成的去模糊复原效果差的问题。
发明内容
本发明的目的在于设计一种基于深度可分离残差网络的电力监控视频去模糊方法，以解决现有技术中视频帧序列对齐融合不精确造成的去模糊复原效果差的问题。
本发明是通过以下技术方案解决上述技术问题的：
一种基于深度可分离残差网络的电力监控视频去模糊方法，包括以下步骤：
S1、构建模糊-清晰图像对的原始训练样本，获取包含空间变换的训练样本集；
S2、建立电力监控视频去模糊复原网络模型，所述去模糊复原网络模型包括依次连接的隔帧对齐融合网络、特征提取网络、上采样重建网络和叠加模块；所述的隔帧对齐融合网络用于在输入的视频帧序列中以隔帧分方式逐渐地将目标帧左右两侧的支持帧与目标帧对齐融合；所述特征提取网络包括多个特征提取模块，每个特征提取模块以深度可分离残差模块为核心构件进行堆叠；
S3、采用包含空间变换的训练样本集对电力监控视频去模糊复原网络模型进行训练，得到训练后的电力监控视频去模糊复原网络模型；
S4、将待处理的模糊电力监控视频帧序列输入所述训练后的电力监控视频去模糊复原网络进行去模糊复原，得到对应清晰的电力监控视频帧序列，并将清晰的电力监控视频帧序列恢复成清晰视频。
本发明采用隔帧对齐融合网络将输入的视频帧序列进行对齐和融合，对齐操作作用于隔帧的两帧图像，充分利用目标帧和支持帧的特征信息，对输入的存在复杂运动的视频帧序列进行准确对齐融合，使模型能够处理更长的时序关系，利用更多的场景信息，可以有效提高去模糊复原效果；在隔帧对齐网络后级联一个特征提取网络，该特征提取网络中采用了深度可分离卷积方式，较大程度上减少了模型的参数量，缩短了模型推理运行时间，给实时去模糊任务提供了解决方案。
作为本发明技术方案的进一步改进，步骤S1中所述构建模糊-清晰图像对的原始训练样本的方法为：将拍摄的电力监控场景下的原始清晰视频添加REDS数据集中，再加入全局运动模糊进行模糊化处理，得到存在运动模糊的电力监控视频；分别将原始清晰视频和存在运动模糊的电力监控视频按照帧进行切分，将得到的清晰视频帧和模糊视频帧按照时间顺序一一对应，形成清晰-模糊图像对，得到原始训练样本；所述获取包含空间变换的训练样本集的方法为：采用随机水平翻转和旋转的方法对每个原始训练样本进行数据增强，得到包含空间变换的训练样本集。
作为本发明技术方案的进一步改进，步骤S2中所述深度可分离残差模块包含三个深度可分离卷积层，相邻的两个深度可分离卷积层之间使用非线性激活函数Relu和Dropout层进行连接；所述深度可分离卷积层由深度卷积和逐点卷积构成，所述深度卷积使用3×3大小的卷积核，所述逐点卷积使用1×1大小的卷积核；所述叠加模块为加法器，用于将上采样重建网络输出的特征图与原始输入特征图相加。
作为本发明技术方案的进一步改进，所述的特征提取模块的工作过程为：首先，使用两次跨步卷积将输入进行下采样，缩小至原始图像的1/4大小，作为特征提取网络的输入，初始特征记为f1；接着对f1依次进行两次卷积操作，提取到的特征分别记作f、f3，此时f2的特征图大小为f3的2倍；其次，将f3输入深度可分离残差模块后进行上采样，与同样进行深度可分离残差操作后的f2进行融合叠加得到f4，再将f4进行上采样，此时特征图大小恢复为输入大小；最后，将f1依次进行两次深度可分离残差操作后，与f4进行融合得到f5；再将f5进行三次深度可分离残差操作，即可得到特征提取模块的输出。
作为本发明技术方案的进一步改进，所述上采样重建网络采用像素重组方法具体过程如下：首先，使用具有r2个卷积核大小为1×1的卷积层进行特征提取，假设输入的低分辨率特征图通道数为1，通过卷积操作后得到的特征图大小与卷积前保持相同，但通道数变为r2；其次，将特征图中每个位置的r2个通道排列成r×r大小的图像块，将所有图像块按照特定位置周期性的顺序进行组合，从而将大小为H×W×r2的图像重排列成rH×rW大小的输出图像。
作为本发明技术方案的进一步改进，步骤S3中所述采用包含空间变换的训练样本集对电力监控视频去模糊复原网络模型进行训练，得到训练后的电力监控视频去模糊复原网络模型的方法为：
S31、设定模型训练迭代次数，对电力监控视频去模糊网络模型的初始学习率、优化器参数、批次大小进行初始化；
S32、将单次训练输入的视频帧序列长度变量记为T，T>1且取值为奇数，以T为采样长度将包含空间变换的视频帧序列输入电力监控视频去模糊复原网络中；
S33、采用两个跨步卷积层对输入的视频帧序列{It+n}进行特征提取，同时将其特征图大小缩小为原尺寸的1/4，得到与其中每个帧相对应的特征序列{Ft+n},n∈[-k,r]；其中，It代表当前需要去模糊复原的模糊视频帧，称其为目标帧；k代表输入的视频帧序列中目标帧左侧的支持帧数量，r代表输入的视频帧序列中目标帧右侧的支持帧数量，k+r+1即为输入的视频帧长度T，通常情况下，取k的值等于r；
S34、采用隔帧对齐融合网络对视频帧序列{It+n}进行隔帧对齐特征融合，得到对齐融合后的特征图；
S35、采用特征提取网络对所述对齐融合后的特征图进行更深层的特征提取，得到包含语义信息和内容信息的特征图；
S36、采用上采样重建网络对特征提取网络得到的特征图进行放大，得到与原始输入图像相同大小的特征图；
S37、采用叠加模块将步骤S36得到的特征图与原始输入图像进行叠加，得到目标帧的复原图像；
S38、在训练过程中，使用优化器不断对损失函数进行计算，并使其最小化，从而对电力监控视频去模糊网络模型的卷积核参数进行优化更新；
S39、对于每个输入的视频帧序列，重复步骤S32～S38，直至迭代次数达到设定的模型训练迭代次数。
作为本发明技术方案的进一步改进，步骤S38中所述损失函数为：
其中，I表示真实图像，表示经过网络复原的图像，h、w、c分别是图像的高度、宽度和通道数，∈为常量；i,j,k表示图像中的像素位置，0≤i≤h-1，0≤j≤w-1，0≤k≤c-1。
作为本发明技术方案的进一步改进，步骤S34中所述采用隔帧对齐融合网络对视频帧序列{It+n}进行隔帧对齐特征融合，得到对齐融合后的特征图的方法具体为：
S341、对于目标帧左侧的视频特征图序列：首先，从最左端特征图Ft-k开始，使用对齐模块将特征序列中的第一帧特征图Ft-k对齐到特征序列右侧方向的第三帧特征图Ft-k+2，然后使用融合模块将对齐后的第一帧特征图Ft-k和第三帧特征图Ft-k+2进行融合，得到融合后的特征图像F2；接着将特征序列中的第二帧特征图Ft-k+1与第四帧特征图Ft-k+3进行对齐并融合得到F3；重复上述间隔一帧的对齐和融合过程，一直到Ft结束得到Ft-1；最后将对齐融合操作得到的F2、F3一直到Ft-1依次完成两两对齐融合，得到目标帧左侧所有特征完成对齐融合操作后的结果
S342、对于目标帧右侧的视频特征图序列：首先，从最右端特征图Ft+r开始，使用对齐模块将特征序列中的最后一帧特征图Ft+r对齐到特征序列左侧方向的第三帧特征图Ft+r-2，然后使用融合模块将对齐后的Ft+r和Ft+r-2进行融合得到F-2；接着将特征序列中的倒数第二帧特征图Ft+r-1与倒数第四帧特征图Ft+r-3进行对齐并融合得到F-3；重复上述间隔一帧的对齐和融合过程，一直到Ft得到F-(t-1)；最后将对齐融合操作得到的F-2、F-3一直到F-(t-1)依次两两完成对齐融合，得到目标帧右侧(包括目标帧)所有特征完成对齐融合操作后的结果
S343、先采用对齐模块对上述得到的特征和/>进行对齐，再采用融合模块将对齐后的特征/>和/>进行融合，得到所有输入的视频帧序列对齐融合后的特征F`t。
作为本发明技术方案的进一步改进，步骤S341中所述使用对齐模块将特征序列中的第一帧特征图Ft-k对齐到特征序列右侧方向的第三帧特征图Ft-k+2，然后使用融合模块将对齐后的第一帧特征图Ft-k和第三帧特征图Ft-k+2进行融合，得到融合后的特征图像F2的方法具体为：
a)将第一帧特征图Ft-k与第三帧特征图Ft-k+2的大小表示为W×H×C，其中W、H、C分别为特征图的宽度、高度和通道数；
b)将第一帧特征图Ft-k通过两次步长为2的跨步卷积，分别得到底层大小为W/4×H/4×C的第一帧特征图和上层大小为W/2×H/2×C的第一帧特征图；将第三帧特征图Ft-k+2通过两次步长为2的跨步卷积，分别得到底层大小为W/4×H/4×C的第三帧特征图和上层大小为W/2×H/2×C的第三帧特征图；
c)将所述底层大小为W/4×H/4×C的第一帧特征图和所述底层大小为W/4×H/4×C的第三帧特征图使用TDAN方法进行对齐，得到对齐后的底层特征图；将所述上层大小为W/2×H/2×C的第一帧特征图和所述上层大小为W/2×H/2×C的第三帧特征图使用TDAN方法进行对齐，得到对齐后的上层特征图；将所述对齐后的底层特征图的尺寸扩大两倍，并与所述对齐后的上层特征图进行融合，得到融合后的大小为W/2×H/2×C的特征图；
d)在特征金字塔的每一层上重复上述步骤c)，直至金字塔的最顶层，得到大小为W×H×C的特征图，将大小为W×H×C的特征图与第三帧特征图Ft-k+2进行对齐融合，得到最终第一帧特征图Ft-k与第三帧特征图Ft-k+2对齐融合的特征图F2。
作为本发明技术方案的进一步改进，所述使用TDAN方法进行对齐具体为：首先，将第一帧特征图Ft-k与第三帧特征图Ft-k+2中的某一层的两个特征图F和F`在通道方向上进行连接叠加，得到W×H×2C叠加特征图；其次，将所述叠加后特征图输入卷积网络，计算出一个卷积核的偏移量；最后，根据得到的卷积核的偏移量将特征图F输入可变形卷积神经网络中，得到最终对齐后的特征图。
本发明的优点在于：
(1)本发明采用隔帧对齐融合网络将输入的视频帧序列进行对齐和融合，对齐操作作用于隔帧的两帧图像，充分利用目标帧和支持帧的特征信息，对输入的存在复杂运动的视频帧序列进行准确对齐融合，使模型能够处理更长的时序关系，利用更多的场景信息，可以有效提高去模糊复原效果；在隔帧对齐网络后级联一个特征提取网络，该特征提取网络中采用了深度可分离卷积方式，较大程度上减少了模型的参数量，缩短了模型推理运行时间，给实时去模糊任务提供了解决方案。
(2)本发明使用深度可分离卷积代替传统卷积方式，降低网络计算量的同时模型推理速度加快。
(3)本发明采用的特征提取网络吸收了特征金字塔的优秀思想，能够自适应学习并融合多尺度特征，建模能力更强大。
(4)本发明的特征融合考虑了不同视频帧和同一帧上不同位置对于复原效果具有不同的贡献度，能够更加有效地融合视频帧序列中各帧的特征。
附图说明
图1是本发明实施例的一种基于深度可分离残差网络的电力监控视频去模糊方法的流程图；
图2为视频去模糊模型和图像去模糊模型的区别与联系示意图；其中，(a)为图像去模糊网络模型示意图；(b)为视频去模糊网络模型示意图；
图3为本发明实施例的电力监控视频去模糊网络模型的结构示意图；
图4为本发明实施例的隔帧对齐融合网络结构示意图；
图5为本发明实施例的特征金字塔对齐方法示意图；
图6为本发明实施例的特征金字塔对齐中使用的TDAN对齐方法示意图；
图7为本发明实施例的特征金字塔融合方法示意图；
图8为本发明实施例中的传统残差模块和改进后的残差模块结构对比示意图；其中，(a)为传统残差模块处理结构示意图，(b)为本发明的改进后的深度可分离残差模块结构示意图；
图9为本发明实施例的特征提取模块结构示意图；
图10为本发明实施例的上采样像素重组方法；
图11为本发明实施例的对测试用例数据的去模糊放大效果图；
图12为本发明实施例的对输电线路监控的去模糊效果图；
图13为本发明实施例的对配电***监控的去模糊效果图；
图14为本发明实施例的对变压台站监控的去模糊效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
实施例一
如图1所示，一种基于深度可分离残差网络的电力监控视频去模糊方法，包括以下步骤：
1、构建模糊-清晰图像对的训练样本，获取包含空间变换的训练样本集
1.1、将拍摄的电力监控场景下的原始清晰视频添加REDS数据集中，再加入全局运动模糊进行模糊化处理，得到存在运动模糊的电力监控视频；分别将原始清晰视频和存在运动模糊的电力监控视频按照帧进行切分，将得到的清晰视频帧和模糊视频帧按照时间顺序一一对应，形成清晰-模糊图像对，得到原始训练样本。
1.2、对每个原始训练样本进行数据增强，进一步扩大训练集大小，数据增强方法采用随机水平翻转和旋转，得到包含空间变换的训练样本集。
示例性地，构建训练样本：在训练阶段输入长度固定为7，例如，当前需要复原的目标帧为第i帧图像，输入长度为7，T为2，那么输入图像序列可表示为：
i-3，i-2，i-1，i，i+1，i+2，i+3；
2、如图2(b)和图3所示，建立电力监控视频去模糊复原网络模型，所述去模糊复原网络模型包括依次连接的隔帧对齐融合网络、特征提取网络、上采样重建网络和叠加模块；
所述特征提取网络使用多个特征提取模块组成，每个特征提取模块以深度可分离残差模块为核心；参照图9，所述特征提取网络使用13个特征提取模块组成，深度可分离残差模块作为特征提取模块的核心构件进行堆叠，进而构建特征提取网络；具体为：首先，使用两次跨步卷积将输入进行下采样，缩小至原始图像的1/4大小，作为特征提取网络的输入，初始特征记为f1；接着对f1依次进行两次卷积操作，提取到的特征分别记作f、f3，此时f2的特征图大小为f3的2倍；其次，将f3输入深度可分离残差模块后进行上采样，与同样进行深度可分离残差操作后的f2进行融合叠加得到f4，再将f4进行上采样，此时特征图大小恢复为输入大小；最后，将f1依次进行两次深度可分离残差操作后，与f4进行融合得到f5；最后将f5进行三次深度可分离残差操作，即可得到特征提取模块的输出。
参照图8，深度可分离残差模块使用深度可分离卷积方式替代原始残差模块中的传统卷积方式，并加入Dropout层，去掉BN层，增加卷积层数。示例性地，参考图8(b)，改进的深度可分离残差模块的结构如下：共使用三个深度可分离卷积层对输入特征图进行学习；每两层深度可分离卷积层之间使用非线性激活函数Relu和Dropout层进行连接，去掉最外面一层深度可分离卷积层的Relu激活函数；跳跃连接中使用1×1卷积来匹配输入输出维度。其中，Dropout层可在训练中使部分节点以一定概率不参与训练，能够有效防止过拟合；深度可分离卷积层由深度卷积和逐点卷积构成，深度卷积使用3×3大小的卷积核，逐点卷积使用1×1大小的卷积核。
所述叠加模块为加法器，所述加法器用于将上采样重建网络输出的特征图与原始输入特征图相加，得到最终输出结果。
3、采用包含空间变换的训练样本集对电力监控视频去模糊复原网络模型进行训练，得到训练后的电力监控视频去模糊复原网络模型；
3.1、设定模型训练迭代次数，对电力监控视频去模糊网络模型的初始学习率、优化器参数、批次大小进行初始化；本实施例中，设定批次大小为8，最大训练次数为300000，使用Adam作为优化器，网络的所有结构层的学习率均初始化为4e-4。
使用的损失函数定义如下：
其中，I表示真实图像，表示经过网络复原的图像，h、w、c分别是图像的高度、宽度和通道数，∈为常量；i,j,k表示图像中的像素位置，0≤i≤h-1，0≤j≤w-1，0≤k≤c-1；为了保证训练过程中的数值稳定，在损失函数中加入了一个很小的常量∈，取1e-3。
3.2、将单次训练输入的视频帧序列长度变量记为T，T>1且取值为奇数，以T为采样长度将包含空间变换的视频帧序列输入电力监控视频去模糊复原网络中，进行训练，电力监控视频去模糊复原网络模型的网络结构参照图2。
3.3、采用两个跨步卷积层对输入的视频帧序列{It+n}进行特征提取，同时将其特征图大小缩小为原尺寸的1/4，得到与其中每个帧相对应的特征序列{Ft+n},n∈[-k,r]；其中，It代表当前需要去模糊复原的模糊视频帧，称其为目标帧；k代表输入的视频帧序列中目标帧左侧的支持帧数量，r代表输入的视频帧序列中目标帧右侧的支持帧数量，k+r+1即为输入的视频帧长度T，通常情况下，取k的值等于r。
3.4、参照图4，采用隔帧对齐融合网络对视频帧序列{It+n}进行隔帧对齐特征融合，得到对齐融合后的特征图；
3.4.1、对于目标帧左侧的视频特征图序列：首先，从最左端特征图Ft-k开始，使用对齐模块将特征序列中的第一帧特征图Ft-k对齐到特征序列右侧方向的第三帧特征图Ft-k+2，然后使用融合模块将对齐后的第一帧特征图Ft-k和第三帧特征图Ft-k+2进行融合，得到融合后的特征图像F2；接着将特征序列中的第二帧特征图Ft-k+1与第四帧特征图Ft-k+3进行对齐并融合得到F3；重复上述间隔一帧的对齐和融合过程，一直到Ft结束得到Ft-1；最后将对齐融合操作得到的F2、F3一直到Ft-1依次完成两两对齐融合，得到目标帧左侧(包括目标帧)所有特征完成对齐融合操作后的结果
参照图5，所述使用对齐模块将特征序列中的第一帧特征图Ft-k对齐到特征序列右侧方向的第三帧特征图Ft-k+2，然后使用融合模块将对齐后的第一帧特征图Ft-k和第三帧特征图Ft-k+2进行融合，得到融合后的特征图像F2的方法具体为：
a)将第一帧特征图Ft-k与第三帧特征图Ft-k+2的大小表示为W×H×C，其中W、H、C分别为特征图的宽度、高度和通道数；
b)将第一帧特征图Ft-k通过两次步长为2的跨步卷积，分别得到底层大小为W/4×H/4×C的第一帧特征图和上层大小为W/2×H/2×C的第一帧特征图；将第三帧特征图Ft-k+2通过两次步长为2的跨步卷积，分别得到底层大小为W/4×H/4×C的第三帧特征图和上层大小为W/2×H/2×C的第三帧特征图；
c)将所述底层大小为W/4×H/4×C的第一帧特征图和所述底层大小为W/4×H/4×C的第三帧特征图使用TDAN方法进行对齐，得到对齐后的底层特征图；将所述上层大小为W/2×H/2×C的第一帧特征图和所述上层大小为W/2×H/2×C的第三帧特征图使用TDAN方法进行对齐，得到对齐后的上层特征图；将所述对齐后的底层特征图的尺寸扩大两倍，并与所述对齐后的上层特征图进行融合，得到融合后的大小为W/2×H/2×C的特征图；
参照图6，所述TDAN方法进行对齐具体为：
首先，将第一帧特征图Ft-k与第三帧特征图Ft-k+2中的某一层的两个特征图F和F`在通道方向上进行连接叠加，得到W×H×2C叠加特征图；
其次，将所述叠加后特征图输入卷积网络，计算出一个卷积核的偏移量；
最后，根据得到的卷积核的偏移量将特征图F输入可变形卷积神经网络中，得到最终对齐后的特征图。
d)在特征金字塔的每一层上重复上述步骤c)，直至金字塔的最顶层，得到大小为W×H×C的特征图，将大小为W×H×C的特征图与第三帧特征图Ft-k+2进行对齐融合，得到最终第一帧特征图Ft-k与第三帧特征图Ft-k+2对齐融合的特征图F2。
3.4.2、对于目标帧右侧的视频特征图序列：首先，从最右端特征图Ft+r开始，使用对齐模块将特征序列中的最后一帧特征图Ft+r对齐到特征序列左侧方向的第三帧特征图Ft+r-2，然后使用融合模块将对齐后的Ft+r和Ft+r-2进行融合得到F-2；接着将特征序列中的倒数第二帧特征图Ft+r-1与倒数第四帧特征图Ft+r-3进行对齐并融合得到F-3；重复上述间隔一帧的对齐和融合过程，一直到Ft得到F-(t-1)；最后将对齐融合操作得到的F-2、F-3一直到F-(t-1)依次两两完成对齐融合，得到目标帧右侧(包括目标帧)所有特征完成对齐融合操作后的结果
3.4.3、先采用对齐模块对上述得到的特征和/>进行对齐，再采用融合模块将对齐后的特征/>和/>进行融合，得到所有输入的视频帧序列对齐融合后的特征F`t。
参照图7，上述过程中将两个特征图进行融合的具体过程为：
首先，将输入的两个特征图A、B按照对位元素相加的方式进行叠加，得到新的特征图F，对新的特征图F进行全局平均池化后，使用两个全连接层学习特征图各通道的重要程度，即权重；
其次，使用1×1的卷积分别将初始输入的两个特征图A、B的通道数提升到与当前一致，并与上一步得到的权重相乘分别得到两个新的特征图C和D；
最后，将初始输入的两张特征图A与C、B与D相乘后分别得到A`、B`，使用softmax函数重新标定权重，将A`、B`按照各自权重相加，得到最终的融合结果F`。
3.5、采用特征提取网络对所述对齐融合后的特征图进行更深层的特征提取，得到包含语义信息和内容信息的特征图；
3.6、采用上采样重建网络对特征提取网络得到的特征图进行放大，得到与原始输入图像相同大小的特征图；
参照图10，本实施例的上采样方法采用像素重组方法，具体过程如下：
首先，使用具有r2个卷积核大小为1×1的卷积层进行特征提取(r为上采样倍数)，假设输入的低分辨率特征图通道数为1，通过卷积操作后得到的特征图大小与卷积前保持相同，但通道数变为r2。
其次，将特征图中每个位置的r2个通道排列成r×r大小的图像块，将所有图像块按照特定位置周期性的顺序进行组合，从而将大小为H×W×r2的图像重排列成rH×rW大小的输出图像。
3.7、采用叠加模块将子步骤3.6得到的特征图与原始输入图像进行叠加，得到目标帧的复原图像；
3.8、在训练过程中，使用优化器不断对损失函数进行计算，并尽可能使其最小化，从而对电力监控视频去模糊网络模型的卷积核参数进行优化更新；
3.9、对于每个输入的视频帧序列，重复子步骤3.2-3.8，直至迭代次数达到设定的模型训练迭代次数。
4、将待处理的模糊电力监控视频帧序列输入所述训练后的电力监控视频去模糊复原网络进行去模糊复原，得到对应清晰的电力监控视频帧序列，并将清晰的电力监控视频帧序列恢复成清晰视频。
试验验证
分别在不同天气情况(包括晴天、雨天和沙尘天)，不同道路类型，包括(城市道路和国道)，不同时间段(包括白天和夜晚)对电力监控视频进行去模糊测试，验证了本文算法的有效性。如图11-14所示，图中左边为去模糊前的场景，右边为去模糊后的场景，比对部分使用白色线框进行标记。具体如下：
(1)分别在不同天气情况(包括晴天、雨天和沙尘天)，不同道路类型(包括城市道路和国道)，不同时间段(包括白天和夜晚)，采集电力监控视频；
(2)将采集的各个场景下的模糊电力监控视频按照帧进行切分，得到对应的模糊视频帧序列，将模糊视频帧序列输入训练好的电力监控视频去模糊网络模型中，得到清晰的电力监控视频帧序列。
(3)将经过处理得到的清晰电力监控视频帧序列按照原始视频帧率进行还原，得到MP4格式的清晰电力监控视频。
本发明方法中采用结合了深度可分离残差模块、特征金字塔的特征提取模块来构建特征提取网络，可以进行多尺度的特征提取和特征融合。通过改进原始残差模块的结构，降低参数量的同时有效的将低层次细节特征和高层次语义特征进行结合，提高网络的学习能力。使用深度可分离卷积取代原始残差模块中传统的卷积方式，将其分解为深度卷积与逐点卷积，大大降低了卷积过程中的参数量。与原残差模块相比，改进后的残差模块不仅降低了计算量，而且增强了对通道间关系的建模能力，更有助于提高模型的去某复原能力；采用隔帧对齐融合网络，在输入的视频帧序列中以隔帧分方式逐渐地将目标帧左右两侧的支持帧与目标帧对齐融合，极大提高了模型对存在大位移、模糊、遮挡等复杂运动的视频帧序列进行去模糊的鲁棒性；在隔帧渐对齐融合网络中对经过卷积层特征提取后的特征图进行对齐，不易受到噪声的影响；隔帧对齐融合网络不但可以有效提高对齐的准确性，而且能够对齐融合更多数量的视频帧序列帧，因此其能够使用更多的场景信息，有助于提高模型的复原效果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，包括以下步骤：
S1、构建模糊-清晰图像对的原始训练样本，获取包含空间变换的训练样本集；
S2、建立电力监控视频去模糊复原网络模型，所述模型包括依次连接的隔帧对齐融合网络、特征提取网络、上采样重建网络和叠加模块；所述的隔帧对齐融合网络用于在输入的视频帧序列中以隔帧方式逐渐地将目标帧左右两侧的支持帧与目标帧对齐融合；所述特征提取网络包括多个特征提取模块，每个特征提取模块以深度可分离残差模块为核心构件进行堆叠；
S3、采用包含空间变换的训练样本集对电力监控视频去模糊复原网络模型进行训练，得到训练后的电力监控视频去模糊复原网络模型，具体方法为：
S31、设定模型训练迭代次数，对电力监控视频去模糊网络模型的初始学习率、优化器参数、批次大小进行初始化；
S32、将单次训练输入的视频帧序列长度变量记为T，T>1且取值为奇数，以T为采样长度将包含空间变换的视频帧序列输入电力监控视频去模糊复原网络中；
S33、采用两个跨步卷积层对输入的视频帧序列{}进行特征提取，同时将其特征图大小缩小为原尺寸的1/4，得到与其中每个帧相对应的特征序列{/>},/>；其中，/>代表当前需要去模糊复原的模糊视频帧，称其为目标帧；k代表输入的视频帧序列中目标帧左侧的支持帧数量，r代表输入的视频帧序列中目标帧右侧的支持帧数量，/>即为输入的视频帧长度T，通常情况下，取k的值等于r；
S34、采用隔帧对齐融合网络对视频帧序列{}进行隔帧对齐特征融合，得到对齐融合后的特征图，具体方法为：
S341、对于目标帧左侧的视频特征图序列：首先，从最左端特征图开始，使用对齐模块将特征序列中的第一帧特征图/>对齐到特征序列右侧方向的第三帧特征图，然后使用融合模块将对齐后的第一帧特征图/>和第三帧特征图/>进行融合，得到融合后的特征图像/>，具体方法为：
a）将第一帧特征图与第三帧特征图/>的大小表示为/>其中/>、/>、分别为特征图的宽度、高度和通道数；
b）将第一帧特征图通过两次步长为2的跨步卷积，分别得到底层大小为的第一帧特征图和上层大小为/>的第一帧特征图；将第三帧特征图/>通过两次步长为2的跨步卷积，分别得到底层大小为/>的第三帧特征图和上层大小为/>的第三帧特征图；
c）将所述底层大小为的第一帧特征图和所述底层大小为的第三帧特征图使用TDAN方法进行对齐，得到对齐后的底层特征图；将所述上层大小为/>的第一帧特征图和所述上层大小为/>的第三帧特征图使用TDAN方法进行对齐，得到对齐后的上层特征图；将所述对齐后的底层特征图的尺寸扩大两倍，并与所述对齐后的上层特征图进行融合，得到融合后的大小为/>的特征图；
d）在特征金字塔的每一层上重复上述步骤c），直至金字塔的最顶层，得到大小为的特征图，将大小为/>的特征图与第三帧特征图/>进行对齐融合，得到最终第一帧特征图/>与第三帧特征图/>对齐融合的特征图/>；
接着将特征序列中的第二帧特征图与第四帧特征图/>进行对齐并融合得到/>；重复上述间隔一帧的对齐和融合过程，一直到/>结束得到/>；最后将对齐融合操作得到的/>、/>一直到/>依次完成两两对齐融合，得到目标帧左侧所有特征完成对齐融合操作后的结果/>；
S342、对于目标帧右侧的视频特征图序列：首先，从最右端特征图开始，使用对齐模块将特征序列中的最后一帧特征图/>对齐到特征序列左侧方向的第三帧特征图，然后使用融合模块将对齐后的/>和/>进行融合得到/>；接着将特征序列中的倒数第二帧特征图/>与倒数第四帧特征图/>进行对齐并融合得到/>；重复上述间隔一帧的对齐和融合过程，一直到/>得到/>；最后将对齐融合操作得到的、/>一直到/>依次两两完成对齐融合，得到目标帧右侧所有特征完成对齐融合操作后的结果/>；
S343、先采用对齐模块对上述得到的特征和/>进行对齐，再采用融合模块将对齐后的特征/>和/>进行融合，得到所有输入的视频帧序列对齐融合后的特征/>；
S35、采用特征提取网络对所述对齐融合后的特征图进行更深层的特征提取，得到包含语义信息和内容信息的特征图；
S36、采用上采样重建网络对特征提取网络得到的特征图进行放大，得到与原始输入图像相同大小的特征图；
S37、采用叠加模块将步骤S36得到的特征图与原始输入图像进行叠加，得到目标帧的复原图像；
S38、在训练过程中，使用优化器不断对损失函数进行计算，并使其最小化，从而对电力监控视频去模糊网络模型的卷积核参数进行优化更新；所述损失函数为：
其中，表示真实图像，/>表示经过网络复原的图像，/>、/>、/>分别是图像的高度、宽度和通道数，/>为常量；/>表示图像中的像素位置，/>，/>，/>；
S39、对于每个输入的视频帧序列，重复步骤S32～S38，直至迭代次数达到设定的模型训练迭代次数；
S4、将待处理的模糊电力监控视频帧序列输入所述训练后的电力监控视频去模糊复原网络模型进行去模糊复原，得到对应清晰的电力监控视频帧序列，并将清晰的电力监控视频帧序列恢复成清晰视频。
2.根据权利要求1所述的一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，步骤S1中所述构建模糊-清晰图像对的原始训练样本的方法为：将拍摄的电力监控场景下的原始清晰视频添加REDS数据集中，再加入全局运动模糊进行模糊化处理，得到存在运动模糊的电力监控视频；分别将原始清晰视频和存在运动模糊的电力监控视频按照帧进行切分，将得到的清晰视频帧和模糊视频帧按照时间顺序一一对应，形成清晰-模糊图像对，得到原始训练样本；所述获取包含空间变换的训练样本集的方法为：采用随机水平翻转和旋转的方法对每个原始训练样本进行数据增强，得到包含空间变换的训练样本集。
3.根据权利要求1所述的一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，步骤S2中所述深度可分离残差模块包含三个深度可分离卷积层，相邻的两个深度可分离卷积层之间使用非线性激活函数Relu和Dropout层进行连接；所述深度可分离卷积层由深度卷积和逐点卷积构成，所述深度卷积使用3×3大小的卷积核，所述逐点卷积使用1×1大小的卷积核；所述叠加模块为加法器，用于将上采样重建网络输出的特征图与原始输入特征图相加。
4.根据权利要求3所述的一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，所述的特征提取模块的工作过程为：首先，使用两次跨步卷积将输入进行下采样，缩小至原始图像的1/4大小，作为特征提取网络的输入，初始特征记为f1；接着对f1依次进行两次卷积操作，提取到的特征分别记作f、f3，此时f2的特征图大小为f3的2倍；其次，将f3输入深度可分离残差模块后进行上采样，与同样进行深度可分离残差操作后的f2进行融合叠加得到f4，再将f4进行上采样，此时特征图大小恢复为输入大小；最后，将f1依次进行两次深度可分离残差操作后，与f4进行融合得到f5；再将f5进行三次深度可分离残差操作，即可得到特征提取模块的输出。
5.根据权利要求4所述的一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，所述上采样重建网络采用像素重组方法具体过程如下：首先，使用具有个卷积核大小为1×1的卷积层进行特征提取，假设输入的低分辨率特征图通道数为1，通过卷积操作后得到的特征图大小与卷积前保持相同，但通道数变为/>；其次，将特征图中每个位置的/>个通道排列成r×r大小的图像块，将所有图像块按照特定位置周期性的顺序进行组合，从而将大小为/>的图像重排列成rH×rW大小的输出图像。
6.根据权利要求1所述的一种基于深度可分离残差网络的电力监控视频去模糊方法，其特征在于，所述使用TDAN方法进行对齐具体为：首先，将第一帧特征图与第三帧特征图/>中的某一层的两个特征图F和F`在通道方向上进行连接叠加，得到/>叠加特征图；其次，将所述叠加后特征图输入卷积网络，计算出一个卷积核的偏移量；最后，根据得到的卷积核的偏移量将特征图F输入可变形卷积神经网络中，得到最终对齐后的特征图。
CN202111141397.2A 2021-09-28 2021-09-28 一种基于深度可分离残差网络的电力监控视频去模糊方法 Active CN113888426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111141397.2A CN113888426B (zh) 2021-09-28 2021-09-28 一种基于深度可分离残差网络的电力监控视频去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111141397.2A CN113888426B (zh) 2021-09-28 2021-09-28 一种基于深度可分离残差网络的电力监控视频去模糊方法

Publications (2)

Publication Number Publication Date
CN113888426A CN113888426A (zh) 2022-01-04
CN113888426B true CN113888426B (zh) 2024-06-14

Family

ID=79007368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111141397.2A Active CN113888426B (zh) 2021-09-28 2021-09-28 一种基于深度可分离残差网络的电力监控视频去模糊方法

Country Status (1)

Country Link
CN (1) CN113888426B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419517A (zh) * 2022-01-27 2022-04-29 腾讯科技（深圳）有限公司 视频帧处理方法、装置、计算机设备及存储介质
CN114119428B (zh) * 2022-01-29 2022-09-23 深圳比特微电子科技有限公司 一种图像去模糊方法和装置
CN116051380B (zh) * 2023-01-13 2023-08-22 深圳大学 一种视频超分辨率处理方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024002B2 (en) * 2019-03-14 2021-06-01 Intel Corporation Generating gaze corrected images using bidirectionally trained network
CN111524068B (zh) * 2020-04-14 2023-06-02 长安大学 一种基于深度学习的变长输入超分辨率视频重建方法
CN111754438B (zh) * 2020-06-24 2021-04-27 安徽理工大学 基于多分支门控融合的水下图像复原模型及其复原方法
CN112288630A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于改进的广泛深度神经网络的超分辨率图像重建方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961186A (zh) * 2018-06-29 2018-12-07 赵岩 一种基于深度学习的老旧影片修复重制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
轻量化GAN超分辨率图像重构算法在实时人脸识别中的应用;曾凡智;邹磊;周燕;邱腾达;陈嘉文;;小型微型计算机***;20200904(第09期);全文 *

Also Published As

Publication number Publication date
CN113888426A (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN113888426B (zh) 一种基于深度可分离残差网络的电力监控视频去模糊方法
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN111062892B (zh) 一种基于复合残差网络和深层监督的单幅图像去雨方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110782399A (zh) 一种基于多任务cnn的图像去模糊方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN111462013A (zh) 一种基于结构化残差学习的单图去雨方法
CN111640060A (zh) 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法
CN111626090B (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
Yin et al. Visual attention dehazing network with multi-level features refinement and fusion
CN111696033A (zh) 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法
CN112102163A (zh) 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
Yu et al. Split-attention multiframe alignment network for image restoration
CN115526779A (zh) 一种基于动态注意力机制的红外图像超分辨率重建方法
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN114494050A (zh) 一种基于事件相机的自监督视频去模糊和图像插帧方法
Shen et al. RSHAN: Image super-resolution network based on residual separation hybrid attention module
CN117350927A (zh) 一种基于深度学习的图像去雨方法
Xia et al. Unsupervised optical flow estimation with dynamic timing representation for spike camera
CN116703768A (zh) 盲点去噪网络模型的训练方法、装置、介质和设备
CN116485642A (zh) 基于transformer尺度流估计的视频超分辨成像重建方法
CN112686828B (zh) 视频去噪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant